近日，百度在北京總部召開新聞發(fā)布會，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏和百度首席技術(shù)官王海峰出席，李彥宏展示了新一代知識增強大語言模型文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力，王海峰解讀了文心一言的技術(shù)特性及其背后的技術(shù)積累。

01 厚積薄發(fā)，長期技術(shù)積累構(gòu)建全棧 AI 技術(shù)

?在人工智能時代，IT 技術(shù)?？煞譃椤靶酒瑢?、框架層、模型層、應(yīng)用層”四層，百度自2010年起開始全面布局人工智能，是全球為數(shù)不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學(xué)習(xí)平臺、文心大模型到應(yīng)用，百度在技術(shù)棧的各層都有領(lǐng)先業(yè)界的關(guān)鍵自研技術(shù)，實現(xiàn)了層與層反饋，端到端優(yōu)化，大幅提升效率。

在框架層，飛槳是百度自主研發(fā)的中國首個開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，包括核心框架、產(chǎn)業(yè)級模型庫、開發(fā)套件、工具組件，以及學(xué)習(xí)和實訓(xùn)社區(qū)，能夠標準化、自動化地支撐模型生產(chǎn)和應(yīng)用。在模型層，文心大模型包括 NLP、CV、跨模態(tài)等基礎(chǔ)大模型，對話、跨語言、搜索、信息抽取等任務(wù)大模型，生物計算領(lǐng)域大模型，行業(yè)大模型，以及支撐大模型應(yīng)用的工具平臺，形成了基礎(chǔ)-任務(wù)-行業(yè)三級大模型技術(shù)體系，具備知識增強和產(chǎn)業(yè)級兩大特色。

王海峰認為，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成，尤其是飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅實的技術(shù)支撐。飛槳有效支撐了大模型的靈活開發(fā)、高效訓(xùn)練和推理部署。文心大模型從2019年發(fā)布以來，已經(jīng)從最初的自然語言理解大模型，發(fā)展成了跨語言、跨模態(tài)、跨任務(wù)、跨行業(yè)的能力完備的大模型平臺。

?02?核心技術(shù)加持，新一代知識增強大語言模型水到渠成?

文心一言是新一代知識增強大語言模型，也是百度繼文心一格之后的又一個生成式 AI 產(chǎn)品，具備對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。王海峰表示，新一代知識增強大語言模型文心一言，是在 ERNIE 及 PLATO 系列模型的基礎(chǔ)上研發(fā)的。它的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類反饋的強化學(xué)習(xí)、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術(shù)，ERNIE 和 PLATO 中已經(jīng)有應(yīng)用和積累，在文心一言中又有了進一步強化和打磨；后三項則是百度已有技術(shù)優(yōu)勢的再創(chuàng)新，也是文心一言未來越來越強大的基礎(chǔ)。

在知識增強方面，文心一言的知識增強主要是通過知識內(nèi)化和知識外用兩種方式。知識內(nèi)化，是從大規(guī)模知識和無標注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用，是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等等。

在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術(shù)的新一代搜索架構(gòu)。通過引入搜索結(jié)果，可以為大模型提供時效性強、準確率高的參考信息，更好地滿足用戶需求。

在對話增強方面，基于對話技術(shù)和應(yīng)用積累，文心一言具備記憶機制、上下文理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。

百度構(gòu)建了面向中文、服務(wù)應(yīng)用、富含知識的多樣化訓(xùn)練數(shù)據(jù)，對文心一言進行有監(jiān)督精調(diào)，使其掌握的知識更精準，更懂中文和應(yīng)用場景，并建立起人類反饋、獎勵模型和策略優(yōu)化之間的飛輪機制，隨著真實用戶的反饋越來越多，文心一言的效果會越來越好，能力越來越強。文心一言融合不同類型數(shù)據(jù)和知識，自動構(gòu)造提示，包括實例、提綱、規(guī)范、知識點和思維鏈等，提供了豐富的參考信息，激發(fā)模型相關(guān)知識，生成高質(zhì)量結(jié)果。

王海峰強調(diào)，飛槳深度學(xué)習(xí)平臺支撐文心一言效果更好、效率更高、性能更強。對于開發(fā)訓(xùn)練，飛槳動靜統(tǒng)一的開發(fā)范式，以及自適應(yīng)分布式架構(gòu)，可以實現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練。在推理部署方面，飛槳支持大模型高效推理，并提供服務(wù)化部署能力，包括計算融合、軟硬協(xié)同的稀疏量化、模型壓縮等等。如今，飛槳平臺已凝聚535萬開發(fā)者，服務(wù)20萬企事業(yè)單位，基于飛槳創(chuàng)建了67萬個模型。

文心大模型加上飛槳深度學(xué)習(xí)平臺，夯實了產(chǎn)業(yè)智能化基座。隨著文心一言與飛槳平臺的進一步融合發(fā)展，人工智能技術(shù)和應(yīng)用的研發(fā)將越來越標準化、自動化和模塊化，加速人工智能的工業(yè)大生產(chǎn)，同時也反哺文心一言加速迭代進化，落地更多場景和行業(yè)，為千行百業(yè)智能化升級帶來不竭動力。

有獎互動（PS：到飛槳公眾號參與哦～）

你希望文心一言解決哪些問題呢？歡迎評論區(qū)留言互動，點贊前5的小伙伴將獲贈飛槳禮品一份。