本周為將門-TechBeat技術社區(qū)第271期線上Talk，也是字節(jié)跳動人工智能實驗室系列Talk第⑥彈！

北京時間1月6日(周三)晚8點，字節(jié)跳動算法工程師—宋宇軒的Talk將準時在將門TechBeat技術社區(qū)開播！

他與大家分享的主題是:?“通過概率密度比估計來提高文本生成模型的訓練與采樣”。屆時將會分享他和團隊從概率密度比估計出發(fā)提出的一種新的文本生成訓練及采樣方法：利用概率密度比來構建更好的訓練及采樣目標，實現(xiàn)穩(wěn)定的訓練和更有效的采樣。

Talk·信息

▼

主題：通過概率密度比估計

來提高文本生成模型的訓練與采樣

嘉賓：字節(jié)跳動算法工程師 宋宇軒

時間：北京時間?1月6日 (周三) 20:00

地點：將門TechBeat技術社區(qū)

http://www.techbeat.net/

長按識別二維碼，一鍵完成預約！

Talk·提綱

▼

人們希望用更先進的生成模型或訓練方法來提高改進文本生成的訓練，以改進自回歸生成模型的潛在缺欠（如模式覆蓋, 暴露偏差等）。因此，基于對抗訓練等文本生成模型會遇到的嚴重模式塌陷以及訓練不穩(wěn)定等問題，字節(jié)跳動AI Lab算法工程師宋宇軒及其團隊從概率密度比估計出發(fā)，提出了一種新的文本生成訓練及采樣方法，利用概率密度比來構建更好的訓練及采樣目標，實現(xiàn)穩(wěn)定的訓練和更有效的采樣。

本次分享的主要內(nèi)容如下：

1. 背景介紹：深度生成模型及其在文本生成的挑戰(zhàn)

2. 基于概率密度比估計提高文本生成的訓練

3.?基于密度裁剪和蒙特卡洛方法提高大規(guī)模預訓練語言模型的生成

4. 總結

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預習哦！

1. Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation

http://proceedings.mlr.press/v108/song20a.html

2. Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods

https://www.aclweb.org/anthology/2020.acl-main.314.pdf

Talk·提問交流

▼

方式 ①

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！問題被選中的小伙伴們將獲得一個紅包獎勵！

方式 ②

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，說不定就被講者直接翻牌解答了呢！

你的每一次貢獻，我們都會給予你相應的i豆積分，近期還會有驚喜獎勵哦！

嘉賓介紹

▼

宋宇軒，畢業(yè)于上海交通大學APEX數(shù)據(jù)與知識管理實驗室，主要研究方向為深度生成模型以及其在文本生成中的應用，曾在AISTATS、ICML、ICLR等會議上發(fā)表論文。

長按識別二維碼，一鍵完成預約！

關于TechBeat社區(qū)

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。 我們希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其學習成長。期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據(jù)地！? ? ? ? ? ? ?

更多詳細介紹>>https://mp.weixin.qq.com/s/RNjjDygs0z0WoPRpDhYXKg