本周為TechBeat人工智能社區(qū)第300期線上Talk，也是ICLR 2021系列Talk第⑨期。北京時間4月29日(周四)晚8點，清華大學(xué)在讀博士—王語霖的Talk將準(zhǔn)時在TechBeat人工智能社區(qū)開播！他與大家分享的主題是: “局部監(jiān)督學(xué)習(xí)：深度神經(jīng)網(wǎng)絡(luò)的'淺度'訓(xùn)練方法”，屆時將介紹有關(guān)局部監(jiān)督學(xué)習(xí)、計算機視覺、高效訓(xùn)練算法的相關(guān)研究與近期的一些進(jìn)展和思考。

不知不覺，我們的線上Talk已經(jīng)第300期啦??！為了感謝大家五年來的支持，我們準(zhǔn)備了一些小禮物??，獲取方式請見文末~

Talk·信息

▼

主題：?局部監(jiān)督學(xué)習(xí)——

?深度神經(jīng)網(wǎng)絡(luò)的“淺度”訓(xùn)練方法

嘉賓：清華大學(xué)在讀博士 王語霖

時間：北京時間?4月29日 (周四) 20:00

地點：TechBeat人工智能社區(qū)

http://www.techbeat.net/

完整版怎么看？

掃描下方二維碼，或復(fù)制鏈接 https://datayi.cn/w/a9BDKzGP 至瀏覽器，一鍵完成預(yù)約！上線后會在第一時間收到通知哦~

Talk·提綱

▼

盡管端到端訓(xùn)練在大量任務(wù)中取得了穩(wěn)定和良好的效果，但其效率至少在以下兩方面仍有待提升。其一，在網(wǎng)絡(luò)前傳時，需要將每一層的輸出進(jìn)行存儲，這造成了極大的顯存開銷。其二，對網(wǎng)絡(luò)進(jìn)行前傳-->反傳的范式是一個固有的線性過程，很難進(jìn)行并行化以進(jìn)一步的提升效率。

本次分享的主要內(nèi)容如下：講者將介紹一種比目前廣為使用的端到端訓(xùn)練模式顯存開銷更小、更容易并行化的訓(xùn)練方法：局部監(jiān)督學(xué)習(xí)，即將網(wǎng)絡(luò)拆分成若干段、使用局部監(jiān)督信號進(jìn)行訓(xùn)練。

我們首先指出了這一范式的一大缺陷在于損失網(wǎng)絡(luò)整體性能，進(jìn)而從信息的角度闡明，其癥結(jié)在于局部監(jiān)督傾向于使網(wǎng)絡(luò)在淺層損失對深層網(wǎng)絡(luò)有很大價值的任務(wù)相關(guān)信息。最后，為有效解決這一問題，我們提出了一種局部監(jiān)督學(xué)習(xí)算法：InfoPro。

在圖像識別和語義分割任務(wù)上的實驗結(jié)果表明，我們的算法可以在不顯著增大訓(xùn)練時間的前提下，有效節(jié)省顯存開銷，并提升性能。

Talk·參考資料

▼

這是本次分享中將會提及的資料，建議提前預(yù)習(xí)哦！

論文解讀：

ICLR 2021 | 顯存不夠？不妨拋棄端到端訓(xùn)練（點擊閱讀）

OpenReview文章：

https://openreview.net/forum?id=fAbkE6ant2

代碼：

https://github.com/blackfeather-wang/InfoPro-Pytorch

Talk·提問交流

▼

通過以下兩種方式提問都將獲得微信現(xiàn)金紅包獎勵哦！

方式 ①

在Talk界面下的【交流區(qū)】參與互動！留下你的打call??和問題??，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會給予你相應(yīng)的i豆積分，還會有驚喜獎勵哦！

方式 ②

在本文留言區(qū)直接提出你的問題，或掃描下方二維碼提問！

Talk·嘉賓介紹

▼

王語霖，清華大學(xué)自動化系二年級直博生，導(dǎo)師為吳澄院士和黃高助理教授。此前于北京航空航天大學(xué)自動化學(xué)院獲工學(xué)學(xué)士學(xué)位。研究興趣為深度學(xué)習(xí)模型的高效訓(xùn)練和推理方法。在T-PAMI、NeurIPS、ICLR、CVPR等國際一流期刊、會議上發(fā)表學(xué)術(shù)論文。

?互動福利！

在評論區(qū)留言【最喜歡】

或者【印象最深】的Talk及原因

點贊數(shù)最高的五位將每人分別獲得

將門AI is the New Sexy帽衫1件與將門定制口罩5個

（互動時間截止至4月29日下午16:00）

只送不賣沒地兒買

快來參與領(lǐng)福利啦~

ICLR 2021 系列Talk

▼

第①彈

第②彈

第③彈

第④彈

第⑥彈

第⑦彈

關(guān)于TechBeat人工智能社區(qū)

▼

TechBeat(www.techbeat.net)是一個薈聚全球華人AI精英的成長社區(qū)。我們希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其學(xué)習(xí)成長。期待這里可以成為你學(xué)習(xí)AI前沿知識的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級打怪的根據(jù)地！

更多詳細(xì)介紹>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ