（本文轉(zhuǎn)載自：大數(shù)據(jù)文摘）

? ? ? ? 來(lái)看一個(gè)笑話(huà)。

我本該在下午5點(diǎn)開(kāi)始寫(xiě)論文。?但后來(lái)我就開(kāi)始玩這個(gè)很酷的新語(yǔ)言模型，玩了10分鐘，10分鐘后，突然就晚上9點(diǎn)半了！

? ? ? ??這個(gè)笑話(huà)可能比較簡(jiǎn)單，大家一聽(tīng)就懂，不就是說(shuō)“快樂(lè)的時(shí)光總是覺(jué)得很短暫”嘛。

? ? ? ??不過(guò)，你能想象這里面說(shuō)的“很酷的新語(yǔ)言模型”，居然也能聽(tīng)懂這個(gè)笑話(huà)？

? ? ? ??不僅能聽(tīng)懂，它甚至還能一本正經(jīng)地解釋這個(gè)笑話(huà)：

這個(gè)笑話(huà)是關(guān)于當(dāng)你開(kāi)心的時(shí)候，時(shí)間過(guò)得多么快。?這個(gè)人本來(lái)應(yīng)該在下午5點(diǎn)開(kāi)始寫(xiě)一篇論文，但他們卻開(kāi)始玩語(yǔ)言模型。?他以為自己只玩了1分鐘，但實(shí)際上是4.5小時(shí)。?

? ? ? ??這個(gè)能力的背后就是谷歌的新模型——Pathways Language Model (PaLM)，一個(gè)可以解釋笑話(huà)的模型，有了它，世界上就再也沒(méi)有難懂的梗了。

論文地址：

https://arxiv.org/pdf/2204.02311v2.pdf

PaLM，5400億參數(shù)，讓世上沒(méi)有難懂的梗

? ? ? ??當(dāng)然了，PaLM的設(shè)計(jì)之初，肯定不會(huì)只是想解釋解釋笑話(huà)。

? ? ? ??去年，Google Research宣布了對(duì)PaLM的設(shè)想，PaLM會(huì)是一個(gè)單一的模型，可以在高效率的情況下推廣到各個(gè)領(lǐng)域和任務(wù)。

? ? ? ??在“PaLM: Scaling Language Modeling with Pathways”論文中，Google Research詳細(xì)介紹了 Pathways Language Model (PaLM) ，這是一個(gè)5400億參數(shù)的Transformer模型。

? ? ? ??PaLM可以實(shí)現(xiàn)在多個(gè)TPU v4 Pods中高效地訓(xùn)練單個(gè)模型。Google Research在數(shù)百個(gè)語(yǔ)言理解和生成任務(wù)上對(duì)PaLM進(jìn)行了評(píng)估，發(fā)現(xiàn)它在大多數(shù)任務(wù)上都達(dá)到了最先進(jìn)的few-shot性能，在許多情況下都有很大的優(yōu)勢(shì)。

? ? ? ??這其中就包括解釋笑話(huà)的笑點(diǎn)在哪里。

? ? ? ??事實(shí)上，解釋笑話(huà)并非易事，這需要對(duì)多步邏輯推理、綜合知識(shí)和深層語(yǔ)言理解的復(fù)雜組合的場(chǎng)景生成明確的解釋。

? ? ? ??但是憑借著強(qiáng)大的語(yǔ)言處理能力，PaLM還是很好地勝任了這項(xiàng)任務(wù)。

? ? ? ??甚至是冷笑話(huà)(anti-joke)，PaLM也能很好地識(shí)別出來(lái)。比如別人問(wèn)你，“斑馬和雨傘有什么區(qū)別？”你可能會(huì)期待什么有意思的回答，但是答案是“一個(gè)是和馬有關(guān)的有條紋的動(dòng)物，另一個(gè)是你用來(lái)阻止雨水落到你身上的裝置。”

? ? ? ??這種無(wú)厘頭的冷笑話(huà)，PaLM給出的解釋是：

這個(gè)笑話(huà)是一個(gè)冷笑話(huà)（anti-joke）。笑話(huà)的答案是顯而易見(jiàn)的，笑點(diǎn)在于你期待一個(gè)有趣的答案。

PaLM甚至能從emoji中猜出電影名字

? ? ? ??除了解釋笑話(huà)，PaLM在許多非常困難的任務(wù)上顯示出突破能力。

? ? ? ??Google Research對(duì)29項(xiàng)廣泛使用的英語(yǔ)自然語(yǔ)言處理(NLP)任務(wù)進(jìn)行了評(píng)估。在29個(gè)任務(wù)中的28個(gè)任務(wù)中，PaLM 540B超過(guò)了之前的大型模型，如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA，這些任務(wù)包括問(wèn)答任務(wù)、完形填空和句子完成任務(wù)、 ?Winograd-style任務(wù)、上下文閱讀理解任務(wù)、常識(shí)推理任務(wù)、 SuperGLUE任務(wù)和自然語(yǔ)言推理任務(wù)。

? ? ? ??除了英語(yǔ)自然語(yǔ)言處理任務(wù)外，PaLM 在多語(yǔ)言自然語(yǔ)言處理基準(zhǔn)(包括翻譯)方面也表現(xiàn)出色，盡管只有22%的學(xué)習(xí)語(yǔ)料是非英語(yǔ)的。

? ? ? ??另外，研究人員還在最近發(fā)布的包含150多個(gè)新語(yǔ)言建模任務(wù)的Beyond the Imitation Game Benchmark(BIG-bench)上探討了PaLM的能力，并發(fā)現(xiàn)PaLM實(shí)現(xiàn)了突破性的性能。

? ? ? ??PaLM在幾個(gè)BIG-bench任務(wù)上展示了令人印象深刻的自然語(yǔ)言理解能力和生成能力。例如，該模型可以區(qū)分因果關(guān)系，在適當(dāng)?shù)谋尘跋吕斫飧拍罱M合，甚至可以從emoji中猜出電影名字。

? ? ? ??對(duì)于發(fā)展PaLM的未來(lái)愿景，Google AI Blog在報(bào)道中寫(xiě)道，希望實(shí)現(xiàn)“一個(gè)單一的人工智能系統(tǒng)能夠概括成千上萬(wàn)的任務(wù)，理解不同類(lèi)型的數(shù)據(jù)，并以非凡的效率完成這些工作”。

參考報(bào)道：

https://www.vice.com/en/article/k7w9jv/google-is-teaching-ai-to-explain-your-jokes-to-you

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

https://arxiv.org/pdf/2204.02311v2.pdf

關(guān)注微信公眾號(hào)“語(yǔ)言服務(wù)行業(yè)”“翻譯技術(shù)教育與研究”，了解更多語(yǔ)言服務(wù)行業(yè)與翻譯技術(shù)相關(guān)的資訊和洞察~