解決視覺語言的聯(lián)合訓(xùn)練問題

把Bert預(yù)訓(xùn)練方法用到視覺語言表征學(xué)習(xí)里面

可放到下游任務(wù)里面，看到一系列的改進(jìn)

多模態(tài)表征，關(guān)心把多模態(tài)的數(shù)據(jù)，多模態(tài)的一些單詞也好，圖像里面的一個物體的一個區(qū)域也好，投影到公共空間

核心是如何學(xué)習(xí)視覺和語言對齊表示

三元組表示

實(shí)驗(yàn)結(jié)果

單詞區(qū)域?qū)R重點(diǎn)

重點(diǎn)參考文獻(xiàn)

大力出奇跡，更好表示

增加數(shù)據(jù)量增加算力

找數(shù)據(jù)聯(lián)系