本期為TechBeat人工智能社區(qū)第452期線上Talk！

北京時間11月9日(周三)20:00，微信AI高級研究員——蘇輝的Talk將準(zhǔn)時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是:?“微信AI大規(guī)模預(yù)訓(xùn)練語言模型WeLM”，屆時將詳細(xì)講解微信AI預(yù)訓(xùn)練模型 WeLM 的實(shí)踐經(jīng)驗(yàn)以及背后的思考。

Talk·信息

主題：微信AI大規(guī)模預(yù)訓(xùn)練語言模型WeLM

嘉賓：微信AI高級研究員蘇輝

時間：北京時間?11月9日?(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看

掃描下方二維碼，或復(fù)制鏈接https://datayi.cn/w/nPNJZVJP瀏覽器，一鍵完成預(yù)約！上線后會在第一時間收到通知哦

Talk·介紹

自 GPT3 以降，NLP大模型進(jìn)展頗豐。相比小模型，大模型表現(xiàn)出的“零樣本/少樣本”學(xué)習(xí)能力眾所矚目。除此之外，在多語言(multilingual)/多任務(wù)等角度的探索也正在譜寫大模型百家爭鳴的新篇章。

本次talk介紹微信AI預(yù)訓(xùn)練模型 WeLM 的實(shí)踐經(jīng)驗(yàn)以及背后的思考。WeLM, 一個學(xué)富五車(well-read)的10 Billion 模型，在零樣本以及少樣本的情境下能夠完成多種 NLP 任務(wù)（包括多語言任務(wù)），且進(jìn)一步微調(diào) WeLM 后能達(dá)到更好的零樣本學(xué)習(xí)能力。申請API后用戶可以利用 WeLM 生產(chǎn)數(shù)據(jù)/部署應(yīng)用，讓大模型成為真正能落地且實(shí)用的工具，讓不可能三角變成可能。

• Motivation (為什么要訓(xùn)練一個新的大模型)

• What is WeLM ?(WeLM可以做些什么)

• Inside of WeLM ?(架構(gòu)選擇/數(shù)據(jù)/訓(xùn)練細(xì)節(jié))

• Application development by Prompting (如何構(gòu)造好的prompt、如何調(diào)用API)

• Multitask Finetuning (多任務(wù)Finetuning實(shí)踐)

• Others and the Future (未來展望)

Talk·預(yù)習(xí)資料

• WeLM官網(wǎng) ?

  https://welm.weixin.qq.com/docs/

• WeLM: A Well-Read Pre-trained Language Model for Chinese ?

  https://arxiv.org/abs/2209.10372

Talk·提問交流

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

蘇輝，微信高級算法研究員，主要研究方向?yàn)榇笠?guī)模預(yù)訓(xùn)練語言模型、對話系統(tǒng)、文本摘要、文本對抗/文本魯棒性；同時負(fù)責(zé)微信對話系統(tǒng)和微信安全等業(yè)務(wù)的產(chǎn)品落地；

在學(xué)術(shù)方面，蘇輝在ACL, EMNLP, AAAI等國際知名會議發(fā)表20余篇論文，累計(jì)引用次數(shù)超過1300次，多年擔(dān)任ACL，EMNLP，AAAI等國際頂級會議的審稿人。他在2018年于中科院軟件所獲得工學(xué)碩士學(xué)位。

個人主頁：http://huisu.me/

-The End-

關(guān)于TechBeat人工智能社區(qū)

TechBeat (www.techbeat.net) 是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長。 期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ