實時追蹤科研動態(tài)丨7.13精選新論文，附ChatPaper綜述

2023-07-14 10:58 作者:AMiner科技 0人讀過 | 我要投稿

作為科研人員，每天需要檢索和瀏覽大量的學術(shù)文獻，以獲取最新的科技進展和研究成果。

然而，傳統(tǒng)的檢索和閱讀方式已經(jīng)無法滿足科研人的需求。

ChatPaper，一款集檢索、閱讀、知識問答于一體的文獻知識工具。幫助你快提高檢索、閱讀論文效率，獲取最新領(lǐng)域研究動態(tài)，讓科研工作更加游刃有余。

結(jié)合前沿動態(tài)訂閱功能，精選arXiv當日熱門新論文，形成論文綜述，讓大家更加快速了解前沿動態(tài)。

如果想要對某篇論文進行深入對話，可以直接復制論文鏈接到瀏覽器上或者直達ChatPaper頁面：https://www.aminer.cn/chat/g/

2023年7月13日精選新論文列表：

1.Objaverse-XL: A Universe of 10M+ 3D Objects

鏈接：https://www.aminer.cn/pub/64ae8ecebb296d05669f83c9/

ChatPaper綜述：說明了3D視覺任務在獲取高質(zhì)量3D數(shù)據(jù)方面面臨的挑戰(zhàn)，并指出現(xiàn)有的自然語言處理和2D視覺模型在許多任務上取得了顯著的進展，主要是通過擴大訓練數(shù)據(jù)的規(guī)模。然而，3D視覺任務沒有同樣的進展。為解決這個問題，研究人員提出了Objaverse-XL數(shù)據(jù)集，該數(shù)據(jù)集包含1000萬多個3D對象，來自多種不同的來源，包括手動設計的對象、地標和日常物品的攝影測量掃描以及歷史和古董工藝品的專業(yè)掃描。Objaverse-XL代表了3D數(shù)據(jù)集領(lǐng)域中最大規(guī)模和最多樣化，為3D視覺提供了重大的新可能性。實驗證明了Objaverse-XL所提供的規(guī)模帶來的改進。通過利用超過1億個多視圖渲染圖像對Zero123進行新視圖合成訓練，我們實現(xiàn)了強大的零樣本泛化能力。希望發(fā)布Objaverse-XL能夠在大規(guī)模的3D視覺領(lǐng)域促進進一步的創(chuàng)新。

2.DNAGPT: A Generalized Pretrained Tool for Multiple DNA Sequence Analysis Tasks

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711a6/

ChatPaper綜述：指出了DNA序列分析中存在的問題：DNA相關(guān)數(shù)據(jù)的要求復雜多樣，包括序列和表達水平等不同類型的信息。然而，目前還沒有針對這些特點專門設計的模型。因此，摘要提出了DNAGPT，一個經(jīng)過預訓練的通用基礎(chǔ)模型，可以應用于任何DNA序列分析任務。該模型能夠同時處理和輸出DNA序列和數(shù)字。此外，獨特的令牌設計使用戶可以根據(jù)自己的任務需求設計提示，使其適用于任何類型的任務。研究者評估了該模型在分類、回歸和生成任務上的性能，證明了DNAGPT可以從預訓練中獲益，并且可以為任何下游任務帶來性能提升。該模型不僅是基因組分析領(lǐng)域的一次新嘗試，也為生物學中基礎(chǔ)模型的應用提供了新的方向。

3.Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

鏈接：https://www.aminer.cn/pub/64af76f13fda6d7f06471852/

ChatPaper綜述：論文討論了大型語言模型在理解和回應人類指令時可能存在的問題。盡管大規(guī)模預訓練賦予了模型生成自然語言響應的強大能力，但這些預訓練模型仍有可能在理解人類指令方面失敗。為了增強語言模型解釋和回應指令的能力，指令微調(diào)成為該領(lǐng)域的一個關(guān)鍵方法。最近的研究發(fā)現(xiàn)，即使只有少量高質(zhì)量的指令遵循數(shù)據(jù)，大型語言模型也可以經(jīng)過微調(diào)而表現(xiàn)出色。然而，對于選擇微調(diào)語言模型的高質(zhì)量數(shù)據(jù)集，尚缺乏明確的指導原則。在本文中，我們提出了InstructMining，一種評估指令遵循數(shù)據(jù)質(zhì)量的線性規(guī)則。我們使用具體的自然語言指標來構(gòu)建InstructMining。為了研究數(shù)據(jù)質(zhì)量與這些指標之間的關(guān)系，我們還進行了大量的微調(diào)實驗。實驗結(jié)果用于估計InstructMining中的參數(shù)。為了進一步研究其性能，我們使用InstructMining從未見過的數(shù)據(jù)集中選擇高質(zhì)量數(shù)據(jù)。結(jié)果表明，InstructMining可以幫助從各種指令遵循數(shù)據(jù)集中選擇相對高質(zhì)量的樣本。與在未過濾數(shù)據(jù)集上進行微調(diào)的模型相比，在InstructMining選擇的數(shù)據(jù)集上進行微調(diào)的模型在42.5%的案例中表現(xiàn)更好。

4.PolyLM: An Open Source Polyglot Large Language Model

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f0647132f/

ChatPaper綜述：文章介紹了一個開源的多語言大語言模型(PolyLM)，該模型能夠在理解、推理和生成自然語言指令方面表現(xiàn)出顯著的能力。然而，目前大語言模型的發(fā)展主要集中在英語等高資源語言上，因此限制了它們在其他語言上的適用性和研究。因此，研究人員提出了PolyLM，這是一個在6400億(B)個標記上進行訓練的多語言大語言模型，提供了兩種模型大小可選：1.7B和13B。為了增強它的多語言能力，研究人員采用了以下方法：1)將雙語數(shù)據(jù)集合并到訓練數(shù)據(jù)中；2)采用課程學習策略，在預訓練的第一階段將非英語數(shù)據(jù)的比例從30%增加到最后階段的60%。此外，研究人員還提出了一種多語言自我指導方法，可以自動生成132.7K個多樣化的多語言指令用于模型的微調(diào)。通過收集多個現(xiàn)有的多語言任務，包括多語言理解、問題回答、生成和翻譯，評估了模型的性能。廣泛的實驗證實，PolyLM在多語言任務上超過了其他開源模型（如LLaMA和BLOOM），同時在英語上保持可比較的性能。文章提供了該模型、指令數(shù)據(jù)和多語言基準測試的訪問鏈接。

5.Towards Robust and Efficient Continual Language Learning

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f06471218/

ChatPaper綜述：說明了一個問題：如何在新任務中快速適應模型，以便能夠從過去的任務中“轉(zhuǎn)移”相關(guān)知識。同時，也指出這種策略存在負面遷移的風險，可能會對新任務的準確性產(chǎn)生不良影響。為了解決這個問題，作者提出了一個評估基準，其中包含了不同可能的遷移情景，包括高潛力的正向遷移、高潛力的負向遷移、沒有預期效果以及混合遷移效果等。作者還提出了一個簡單但有效的學習方法，通過選擇性策略從過去任務的檢查點初始化新模型，以最大程度地利用具有正向遷移潛力的任務信息，并避免可能對模型造成困惑的干擾任務的負面影響。然而，仍然存在一定的局限性，作者希望通過這個評估基準能夠幫助學術(shù)界進一步構(gòu)建和分析這樣的學習方法。

6.Stack More Layers Differently: High-Rank Training Through Low-Rank Updates

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711ea/

ChatPaper綜述：論文主要研究了訓練大型神經(jīng)網(wǎng)絡的替代方法。盡管通過擴展參數(shù)規(guī)模來提高網(wǎng)絡性能的方法（scaling）非常占主導地位且有效，但訓練過參數(shù)化模型的必要性仍然不太清楚，而替代方法并不一定能夠降低訓練高性能模型的成本。為了解決這個問題，論文作者探索了一種名為ReLoRA的新方法，該方法利用低秩更新（low-rank updates）來訓練高秩網(wǎng)絡。他們將ReLoRA應用于帶有多達350M參數(shù)的Transformer語言模型的預訓練，并證明其性能與常規(guī)神經(jīng)網(wǎng)絡訓練相當。此外，他們觀察到ReLoRA的效率隨著模型規(guī)模的增加而增加，這使其成為高效訓練數(shù)十億參數(shù)網(wǎng)絡的有希望的方法。這些研究結(jié)果揭示了低秩訓練技術(shù)的潛力及其對擴展定律的影響。

7.Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f064712f4/

ChatPaper綜述：研究解決了在機器人模仿中的一個問題，即在現(xiàn)實世界中，通過真實機器人進行專家演示的成本昂貴。相比之下，通過采集人類執(zhí)行任務的視頻可以更便宜地收集大量數(shù)據(jù)。因此，人類視頻演示是學習可擴展機器人操作策略的有希望的數(shù)據(jù)來源。作者利用眼部-手部攝像機的局部可觀測性和簡單的固定圖像屏蔽方案，無需使用任何顯式的域適應方法來彌合人類和機器人數(shù)據(jù)之間的視覺差異。在8個涉及3自由度和6自由度機械臂控制的現(xiàn)實任務中，該方法平均提高了眼部-手部操作策略的成功率58％（絕對值），使機器人能夠泛化到在機器人演示數(shù)據(jù)中未見過的新環(huán)境配置和新任務。

8.Transformers in Reinforcement Learning: A Survey

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f06471308/

ChatPaper綜述：文章主要探討了在強化學習中使用transformer所面臨的問題和挑戰(zhàn)，以及它們?nèi)绾伪粦脕斫鉀Q這些問題。經(jīng)典強化學習算法存在著不穩(wěn)定的訓練、信用分配、缺乏可解釋性和局部不可觀測性等挑戰(zhàn)，而transformer及其變體具有一些特性使其適合應對這些挑戰(zhàn)。該文章還討論了transformer在強化學習各個方面的應用，包括表示學習、轉(zhuǎn)換和獎勵函數(shù)建模以及策略優(yōu)化。文章還提到了最近的研究，旨在通過可視化技術(shù)和高效的訓練策略來提高transformer在強化學習中的解釋性和效率。此外，根據(jù)具體應用的需求，transformer架構(gòu)通常需要進行相應的調(diào)整。文章還概述了transformer在機器人學、醫(yī)學、語言建模、云計算和組合優(yōu)化等領(lǐng)域的應用情況。最后，文章討論了在強化學習中使用transformer的局限性，并評估了它們在推動該領(lǐng)域未來突破的潛力。

9.A Comprehensive Survey of Deep Transfer Learning for Anomaly Detection in Industrial Time Series: Methods, Applications, and Directions

鏈接：https://www.aminer.cn/pub/64af76ed3fda6d7f064711b0/

ChatPaper綜述：說明了工業(yè)時間序列異常檢測中存在的一個問題，即標準深度學習方法在每個輕微不同的情況下都需要大量的標記數(shù)據(jù)來進行訓練，這在工業(yè)過程和環(huán)境的動態(tài)性下是不切實際的。為了解決這個問題，深度遷移學習提供了一種解決方案，它通過利用相關(guān)任務的知識并考慮數(shù)據(jù)分布的變化，在幾乎沒有額外標記數(shù)據(jù)的情況下解決新任務。這種方法不需要為每個新設置重新訓練模型，并且大大減少了標記數(shù)據(jù)的需求量。該調(diào)查對深度遷移學習進行了深入的評估，研究了遷移學習的問題設置，并對當前主流的深度遷移學習方法進行了分類。此外，我們還深入探討了在制造過程監(jiān)控、預防性維護、能源管理和基礎(chǔ)設施設施監(jiān)測等主要工業(yè)領(lǐng)域中應用深度遷移學習的時間序列異常檢測任務。最后，我們強調(diào)了工業(yè)環(huán)境下深度遷移學習的挑戰(zhàn)和局限性，并提供了針對這些任務的解決方案設計和實施的實際指導，提供了具體的可操作建議。

10.Fairness and Diversity in Recommender Systems: A Survey

鏈接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3668a/

ChatPaper綜述：主要說明了在推薦系統(tǒng)中，單一關(guān)注效用目標是不足以解決現(xiàn)實世界問題的，因此出現(xiàn)了越來越多關(guān)注公平性和多樣性的推薦系統(tǒng)研究。雖然大多數(shù)現(xiàn)有研究獨立地探討了公平性和多樣性，但我們發(fā)現(xiàn)這兩個領(lǐng)域之間存在著強烈的聯(lián)系。在這份調(diào)查中，我們首先分別討論了公平性和多樣性，然后深入探討了它們之間的聯(lián)系。此外，受用戶級公平性和項目級公平性的概念啟發(fā)，我們擴大了對多樣性的理解，不僅包括項目級別，還包括用戶級別。通過對用戶和項目級別多樣性的擴展視角，我們重新解釋了公平性研究的觀點。這種新穎的視角增強了我們對與公平相關(guān)的工作的理解，并為未來的研究方向鋪平了道路。