對比學習（contrastive learning）是現(xiàn)在無監(jiān)督學習中一種常用的學習機制，它可以在沒有標簽的數(shù)據(jù)上進行學習，避免依賴大量標簽數(shù)據(jù)，從而幫助我們更好地理解和利用數(shù)據(jù)集中的信息，提高模型的性能和表現(xiàn)。

作為機器學習的新寵，對比學習給CV、NLP、推薦系統(tǒng)領(lǐng)域都帶來了極大的福音，在圖像識別、語音識別、自然語言處理等現(xiàn)實場景中的無監(jiān)督學習任務(wù)中起到了非常重要的作用，自然也成為了各大頂會爭相投稿的熱門方向。

今年，業(yè)內(nèi)人士針對對比學習的研究熱情依然不減。為了方便同學們學習，學姐這次整理了15篇各大頂會中對比學習相關(guān)的論文分享。

掃碼添加小享，回復(fù)“對比學習”

免費領(lǐng)取全部頂會論文及源碼

2023

1.MixCon3D: Synergizing Multi-View and Cross-Modal Contrastive Learning for Enhancing 3D Representation（ICLR’24）

協(xié)同多視圖和跨模態(tài)對比學習增強3D表示

簡述：這篇論文介紹了一種新的3D對比學習方式，名為MixCon3D。它結(jié)合了2D圖像和3D點云的信息，以提高對比學習的效果。通過整合多視圖的2D圖像，MixCon3D可以更準確、更全面地描述現(xiàn)實世界的3D物體，并增強文本對齊。

2.LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation（ICLR’23）

簡單而有效的推薦圖對比學習

簡述：這篇論文提出了一種新的圖對比學習方法LightGCL，用于提高推薦系統(tǒng)的性能。這種方法相對于現(xiàn)有的方法更簡單、更有效。它通過使用奇異值分解進行對比增強，可以更好地保留圖的結(jié)構(gòu)和語義信息，并且對噪聲的干擾具有更高的魯棒性。

3.Multi-Intention Oriented Contrastive Learning for Sequential Recommendation（WSDM’23）

序列中的多意圖對比學習

簡述：這篇論文提出了一個名為IOCRec的新框架，用于解決序列推薦中的數(shù)據(jù)稀疏性和噪聲問題。該框架使用對比學習，通過選擇用戶的主要意圖來降噪，并創(chuàng)建高質(zhì)量的意圖級別視圖。它融合了本地和全局意圖，以統(tǒng)一序列模式和意圖級別的自我監(jiān)督信號。

4.SGCCL: Siamese Graph Contrastive Consensus Learning for Personalized Recommendation（WSDM’23）

用于個性化推薦的暹羅圖對比共識學習

簡述：這篇論文提出了一種名為SGCCL的推薦系統(tǒng)框架，該框架使用對比學習來探索用戶和物品之間的內(nèi)在關(guān)系，并緩解了偏見效應(yīng)。與現(xiàn)有的基于增強的對比學習方法不同，SGCCL引入了相似性的用戶-用戶和物品-物品關(guān)系，并通過對比共識優(yōu)化過程來學習有效的特征。

5.Heterogeneous Graph Contrastive Learningfor Recommendation（WSDM’23）

基于異構(gòu)圖的對比學習

簡述：這篇論文提出了一種新的推薦系統(tǒng)框架HGCL，該框架使用異構(gòu)圖神經(jīng)網(wǎng)絡(luò)（GNNs）來建模用戶和物品之間的異構(gòu)關(guān)系，并利用對比學習來增強推薦性能。HGCL能夠?qū)⒉煌愋偷年P(guān)系語義納入用戶-物品交互建模，并利用元網(wǎng)絡(luò)實現(xiàn)個性化知識轉(zhuǎn)換器，以適應(yīng)不同用戶和物品之間的異構(gòu)信息。

6.Knowledge-Adaptive Contrastive Learning for Recommendation（WSDM’23）

用于推薦的知識自適應(yīng)對比學習

簡述：這篇論文提出了一種推薦系統(tǒng)新算法KACL，旨在解決現(xiàn)有方法在利用知識圖譜（KG）信息方面的不足。KACL通過對比學習，使物品表示能夠編碼兩個視圖共享的信息，從而緩解了交互支配問題。此外，KACL還引入了兩個可學習的視圖生成器，以自適應(yīng)地刪除與任務(wù)無關(guān)的邊，幫助容忍知識過載帶來的噪聲。

7.CL4CTR: A Contrastive Learning Framework for CTR Prediction（WSDM’23）

用于CTR預(yù)測的對比學習框架

簡述：許多CTR預(yù)測模型專注于設(shè)計先進架構(gòu)來模擬復(fù)雜特征交互，但忽視了特征表示學習的重要性。例如，他們可能只是簡單地為每個特征使用一個普通的嵌入層，這導致特征表示不夠好，從而影響CTR預(yù)測性能。為了解決這個問題，作者引入了自監(jiān)督學習來直接產(chǎn)生高質(zhì)量的特征表示，并提出了一個名為CL4CTR的對比學習框架。這個框架包含三個自監(jiān)督學習信號，用于規(guī)范特征表示學習：對比損失、特征對齊和領(lǐng)域均勻性。這個框架可以與各種基線模型兼容，并且在四個數(shù)據(jù)集上實現(xiàn)了最佳性能。

8.Understanding Contrastive Learning via Distributionally Robust Optimization（NIPS’23）

從分布魯棒優(yōu)化理解對比學習

簡述：這項研究探討了對比學習如何處理相似語義的負樣本，并填補了現(xiàn)有理論在解釋這一現(xiàn)象上的空白。通過分析對比學習，發(fā)現(xiàn)它實際上是在負采樣分布上進行分布穩(wěn)健優(yōu)化，這使得對比學習在各種可能的分布上表現(xiàn)出色，并對采樣偏差具有穩(wěn)健性。此外，溫度參數(shù)的設(shè)計起著調(diào)節(jié)潛在分布集大小的作用。本研究還建立了分布穩(wěn)健優(yōu)化和互信息之間的聯(lián)系，并提出了一種新的損失方法來緩解對比學習的潛在缺點，從而提高性能和加速收斂。

掃碼添加小享，回復(fù)“對比學習”

免費領(lǐng)取全部頂會論文及源碼

9.Relational Contrastive Learning for Scene Text Recognition（ACM MM ’23）

用于場景文本識別的關(guān)系對比學習

簡述：作者提出了一種新的方法RCLSTR，用于場景文本識別。這個方法通過重新排列、層次結(jié)構(gòu)和交互來豐富文本關(guān)系，從而提高了表示的魯棒性。此外，該方法從理論上解釋了如何抑制由上下文先驗引起的偏差，從而保證表示的魯棒性。實驗結(jié)果表明，作者的方法優(yōu)于現(xiàn)有的自監(jiān)督場景文本識別方法。

2022

1.Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning（WWW’22）

利用鄰域增強的對比學習改進圖形協(xié)同過濾

簡述：這篇文章講了一種新的對比學習方法，叫NCL，用來改進圖形協(xié)同過濾，緩解數(shù)據(jù)稀疏性問題。這種方法把用戶和物品的鄰居也考慮進來，讓它們一起參與對比學習。這種方法不僅考慮了用戶和物品之間的交互關(guān)系，還考慮了它們在語義空間中的相似性，從而更好地利用了潛在的鄰居關(guān)系。

2.Intent Contrastive Learning for Sequential Recommendation（WWW’22）

面向序列推薦的意圖對比學習

簡述：論文討論了如何利用用戶的潛在意圖來改進序列推薦。用戶與物品的互動是由意圖驅(qū)動的，但這些意圖通常隱藏，很難用于推薦。因此，作者提出了一種新的學習范式，稱為意圖對比學習（ICL），它通過無標簽用戶行為序列來學習用戶的意圖分布，并使用對比自我監(jiān)督學習來優(yōu)化推薦模型。通過引入潛在變量表示用戶的意圖，并使用聚類學習其分布。然后，將學到的意圖用于推薦模型，通過對比學習來提高性能和魯棒性。

3. A Review-aware Graph Contrastive Learning Framework for Recommendation（SIGIR’22）

一個支持評論的推薦圖對比學習框架

簡述：論文提出了一個新的基于評論的圖對比學習框架。首先，作者構(gòu)建了一個具有增強邊緣特征的用戶-物品圖，每個邊緣特征由用戶-物品評級和評論語義組成。這個圖有助于集中學習每個鄰居節(jié)點的權(quán)重。然后，作者設(shè)計了兩項額外的對比學習任務(wù)，為推薦過程中的兩個組件提供自監(jiān)督信號。實驗表明，與現(xiàn)有最佳方法相比，該框架更優(yōu)越。

4. Multi-level Cross-view Contrastive Learning for Knowledge-aware Recommender System（SIGIR’22）

知識感知推薦系統(tǒng)的多層次視圖交叉對比學習

簡述：本文提出了一種新的多層次跨視圖對比學習機制，稱為MCCLK，用于知識感知推薦。這種方法考慮了不同的圖視圖，包括全局結(jié)構(gòu)視圖、局部協(xié)作視圖和語義視圖，并在這些視圖之間進行對比學習。此外，作者還提出了一種新的方法來構(gòu)建項目之間的語義關(guān)系圖。實驗表明，這種方法優(yōu)于現(xiàn)有的推薦方法。

5. Multi-view Intent Disentangle Graph Networks for Bundle Recommendation（AAAI’22）

多角度意圖分解圖網(wǎng)絡(luò)的捆綁推薦

簡述：捆綁推薦是推薦多個物品給用戶，現(xiàn)有模型無法很好處理用戶意圖多樣性。論文提出了一種新模型MIDGN，可以從全局和局部兩個視角解耦用戶意圖，并利用對比學習提高效果。實驗證明，MIDGN比現(xiàn)有方法更能提高推薦質(zhì)量。

6.A Contrastive Framework for Neural Text Generation（NeurIPS’22）

神經(jīng)文本生成對比框架

簡述：神經(jīng)文本生成是自然語言處理的重要應(yīng)用，但現(xiàn)有的基于最大化的解碼方法常常導致生成的文本不自然且重復(fù)。論文提出了一種新的對比解決方案，通過對比訓練目標和解碼方法，保持文本的多樣性和連貫性。實驗證明，該方法顯著優(yōu)于現(xiàn)有的最先進文本生成方法。

掃碼添加小享，回復(fù)“對比學習”

免費領(lǐng)取全部頂會論文及源碼