Evidentiality-guided Generation for Knowledge-Intensive NLP Task
Title: Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks (基于證據(jù)性的知識(shí)密集型自然語(yǔ)言處理任務(wù)生成)
論文簡(jiǎn)要 :
本文提出了一種基于證據(jù)性的生成模型，用于解決知識(shí)密集型自然語(yǔ)言處理任務(wù)中生成模型忽略證據(jù)性的問(wèn)題，并通過(guò)多任務(wù)學(xué)習(xí)和銀標(biāo)簽挖掘方法取得了顯著的性能提升。
背景信息:
論文背景: 知識(shí)密集型自然語(yǔ)言處理任務(wù)需要從大量的文本中檢索相關(guān)證據(jù)，以生成正確的答案或分類(lèi)標(biāo)簽。
過(guò)去方案: 過(guò)去的方法使用檢索-生成框架，但生成模型往往忽略了檢索到的證據(jù)的證據(jù)性，導(dǎo)致生成模型依賴(lài)于不相關(guān)的文本或產(chǎn)生錯(cuò)誤的輸出。
論文的Motivation: 本文的動(dòng)機(jī)是解決生成模型忽略證據(jù)性的問(wèn)題，通過(guò)引入證據(jù)性預(yù)測(cè)任務(wù)和銀標(biāo)簽挖掘方法，使生成模型能夠更好地關(guān)注相關(guān)證據(jù)，從而提高性能。
方法:
a. 理論背景:
本文提出了一種多任務(wù)學(xué)習(xí)框架，將證據(jù)性預(yù)測(cè)納入生成模型的訓(xùn)練中。該框架由兩個(gè)組件組成：基礎(chǔ)生成模型和證據(jù)性引導(dǎo)生成模型。
b. 技術(shù)路線:
基礎(chǔ)生成模型使用檢索增強(qiáng)生成方法進(jìn)行訓(xùn)練，首先訓(xùn)練一個(gè)檢索模型，用于為給定查詢(xún)檢索相關(guān)段落。然后，生成模型根據(jù)檢索到的段落生成最終輸出。
為了提高生成模型根據(jù)具有正確證據(jù)的段落生成答案的能力，引入了證據(jù)性引導(dǎo)生成模型。該模型訓(xùn)練用于預(yù)測(cè)檢索集中每個(gè)段落的二元證據(jù)性標(biāo)簽。
為了獲得高質(zhì)量的銀標(biāo)簽，采用了一種任務(wù)無(wú)關(guān)的方法。訓(xùn)練一個(gè)證據(jù)性標(biāo)注模型，用于預(yù)測(cè)一個(gè)段落是否支持黃金輸出。該模型使用部分可用的黃金段落注釋和通過(guò)留一生成方法收集的數(shù)據(jù)進(jìn)行訓(xùn)練。
作者提出了一個(gè)多任務(wù)學(xué)習(xí)框架，將答案生成和證據(jù)性預(yù)測(cè)結(jié)合起來(lái)，以提高知識(shí)密集型NLP任務(wù)的性能。模型結(jié)構(gòu)：
使用T5模型（Raffel et al., 2020）作為基礎(chǔ)生成器，同時(shí)增加了一個(gè)額外的解碼器用于證據(jù)性預(yù)測(cè)。證據(jù)性預(yù)測(cè)的目的是判斷每個(gè)檢索到的段落是否包含支持最終輸出的正確證據(jù)。
使用一個(gè)基于RoBERTa模型（Liu et al., 2019）的二分類(lèi)模型作為證據(jù)性標(biāo)注模型，用于給每個(gè)段落分配一個(gè)證據(jù)性標(biāo)簽，表示該段落是否支持給定的問(wèn)題和答案。
使用一種新穎的離開(kāi)一法（leave-one-out）生成策略來(lái)挖掘證據(jù)性標(biāo)簽，即通過(guò)屏蔽某個(gè)段落來(lái)評(píng)估它對(duì)生成正確答案的重要性。作者使用這種方法來(lái)找到目標(biāo)任務(wù)的金標(biāo)準(zhǔn)證據(jù)段落，并用它們來(lái)訓(xùn)練證據(jù)性標(biāo)注模型。
使用訓(xùn)練好的證據(jù)性標(biāo)注模型來(lái)給所有的訓(xùn)練數(shù)據(jù)生成銀標(biāo)準(zhǔn)證據(jù)性標(biāo)簽，然后用它們來(lái)訓(xùn)練多任務(wù)生成器。
在五個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別涉及開(kāi)放域問(wèn)答、事實(shí)驗(yàn)證和知識(shí)增強(qiáng)對(duì)話三個(gè)知識(shí)密集型任務(wù)。實(shí)驗(yàn)結(jié)果表明，作者的方法在所有數(shù)據(jù)集上都顯著優(yōu)于基線模型，并在FaVIQ-Ambig、FEVER和WoW上達(dá)到了最新水平。
舉個(gè)例子說(shuō)明一下模型的工作流程。假設(shè)我們的目標(biāo)任務(wù)是開(kāi)放域問(wèn)答，我們的問(wèn)題是“誰(shuí)是美國(guó)第一任總統(tǒng)？”，答案是“喬治·華盛頓”。模型會(huì)執(zhí)行以下步驟：
首先，使用一個(gè)檢索模塊來(lái)從大規(guī)模的語(yǔ)料庫(kù)中檢索出與問(wèn)題相關(guān)的段落，例如維基百科或其他網(wǎng)頁(yè)?？梢允褂肂M25算法或其他方法來(lái)進(jìn)行檢索。
然后，使用證據(jù)性標(biāo)注模型來(lái)給每個(gè)檢索到的段落分配一個(gè)證據(jù)性標(biāo)簽，表示該段落是否支持給定的問(wèn)題和答案。例如，如果一個(gè)段落包含了“喬治·華盛頓是美國(guó)第一任總統(tǒng)”的信息，那么它就會(huì)被標(biāo)記為正面證據(jù)；如果一個(gè)段落包含了“喬治·華盛頓是英國(guó)第一任總理”的信息，那么它就會(huì)被標(biāo)記為負(fù)面證據(jù)；如果一個(gè)段落沒(méi)有包含任何與問(wèn)題和答案相關(guān)的信息，那么它就會(huì)被標(biāo)記為無(wú)關(guān)證據(jù)。
接下來(lái)，使用多任務(wù)生成器來(lái)根據(jù)問(wèn)題和檢索到的段落生成答案和證據(jù)性預(yù)測(cè)。答案生成器會(huì)嘗試生成一個(gè)簡(jiǎn)潔而準(zhǔn)確的答案，證據(jù)性預(yù)測(cè)器會(huì)嘗試預(yù)測(cè)每個(gè)段落的證據(jù)性得分，表示該段落對(duì)生成正確答案的貢獻(xiàn)程度。
最后，使用一個(gè)后處理模塊來(lái)對(duì)生成的答案和證據(jù)性預(yù)測(cè)進(jìn)行優(yōu)化和校驗(yàn)。優(yōu)化的目標(biāo)是使答案更加流暢和自然，校驗(yàn)的目標(biāo)是使答案更加可靠和一致。例如，可以使用語(yǔ)言模型或其他方法來(lái)進(jìn)行優(yōu)化，可以使用事實(shí)驗(yàn)證或其他方法來(lái)進(jìn)行校驗(yàn)。
結(jié)果:
a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:
作者使用額外的元數(shù)據(jù)，如黃金維基百科文章標(biāo)題，來(lái)標(biāo)記證據(jù)性，當(dāng)在檢索到的上下文中找不到黃金答案時(shí)。
該額外的元數(shù)據(jù)在大多數(shù)數(shù)據(jù)集中通常不可用，因此作者將此變體視為WoW和FaVIQ數(shù)據(jù)集的基本真實(shí)設(shè)置。
作者的方法不依賴(lài)于此額外的元數(shù)據(jù)，因此他們的變體可以達(dá)到更高的數(shù)值。
作者在LOO-gen變體中刪除了留一生成策略，該策略?xún)H包含訓(xùn)練證據(jù)性模型的第一步，用于自然問(wèn)題。
消融結(jié)果顯示，當(dāng)刪除多任務(wù)輔助學(xué)習(xí)時(shí)，性能明顯下降，特別是在FaVIQ-A數(shù)據(jù)集上。
刪除證據(jù)挖掘組件也會(huì)降低所有三個(gè)數(shù)據(jù)集的性能，表明挖掘證據(jù)性標(biāo)簽的重要性，而不是依賴(lài)于字符串匹配啟發(fā)式方法。
作者對(duì)其方法獲得的證據(jù)性標(biāo)簽進(jìn)行了人工分析，并發(fā)現(xiàn)95%的挖掘正面段落提供了足夠的證據(jù)來(lái)回答問(wèn)題，而只有4%的負(fù)面段落沒(méi)有提供足夠的證據(jù)。
對(duì)基礎(chǔ)生成模型和證據(jù)性引導(dǎo)生成模型的定性評(píng)估顯示，后者關(guān)注更相關(guān)的段落。
作者評(píng)估了模型在FaVIQ-A和TriviaQA數(shù)據(jù)集的簡(jiǎn)單和困難子集上的性能，并發(fā)現(xiàn)在困難子集上兩個(gè)模型之間的性能差距更大。
作者提到了關(guān)于檢索增強(qiáng)生成和無(wú)監(jiān)督證據(jù)選擇的相關(guān)工作，以及改進(jìn)問(wèn)答的蘊(yùn)涵方法。
作者總結(jié)了他們的方法在改進(jìn)檢索增強(qiáng)生成的生成器組件方面的有效性。
