圖神經(jīng)網(wǎng)絡(luò)（GNN）是一類專門針對圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型，在社交網(wǎng)絡(luò)分析、知識圖譜等領(lǐng)域中取得了不錯的效果。近來，相關(guān)研究人員在GNN的可解釋性、架構(gòu)搜索、對比學(xué)習等方面做了很多探究。

本周精選了10篇GNN領(lǐng)域的優(yōu)秀論文，來自UCLA、清華大學(xué)、Amazon等機構(gòu)。

為了方便大家閱讀，只列出了論文標題、作者、ChatPaper綜述等信息，如果感興趣可復(fù)制鏈接查看原文，PC端數(shù)據(jù)同步（收藏即可在PC端查看），每日新論文也可登錄小程序查看。

ChatPaper使用頁：www.aminer.cn/chat/g/

1.Generalizing Graph ODE for Learning Complex System Dynamics across Environments

作者：Zijie Huang,Yizhou Sun,Wei Wang

鏈接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3651e/

ChatPaper綜述：這篇論文介紹了一種名為 GG-ODE 的機器學(xué)習框架，用于跨環(huán)境學(xué)習連續(xù)多代理系統(tǒng)動力學(xué)。大多數(shù)現(xiàn)有的模型都是為單個系統(tǒng)構(gòu)建的，并從觀察到的歷史數(shù)據(jù)中學(xué)習其動態(tài)，并預(yù)測其未來軌跡。然而，在實踐中，我們可能會觀察到來自不同環(huán)境的多個系統(tǒng)，這些環(huán)境之間存在潛在的外源性因素，如溫度和重力。一個簡單的解決方案是學(xué)習多個環(huán)境特定的模型，但這種方法無法利用不同環(huán)境中動力學(xué)之間的潛在共性，并且在單個環(huán)境數(shù)據(jù)稀疏或有限的情況下，預(yù)測結(jié)果較差。因此，本文提出了 GG-ODE 模型，使用神經(jīng) ODE(Ordinary Differential Equations) 參數(shù)化基于圖神經(jīng)網(wǎng)絡(luò) (GNNs),以捕捉代理之間的連續(xù)相互作用。該模型通過學(xué)習共享 ODE 函數(shù)來捕獲不同環(huán)境中的共同物理學(xué)定律，并將不同環(huán)境中的學(xué)習到的突觸前因素嵌入到 ODE 函數(shù)中，以解釋其差異。為了提高模型性能，設(shè)計了兩項正則化損失，分別是 (1) 最小化學(xué)習初始狀態(tài)和突觸前因素之間的互信息，以促進它們之間的 orthogonality;以及 (2) 通過 Contrastive 學(xué)習減少同一系統(tǒng)中學(xué)習到的突觸前因素的短期變化。在對各種物理模擬的實驗中，GG-ODE 模型能夠準確地預(yù)測系統(tǒng)動態(tài)，特別是在長時間范圍內(nèi)，并且能夠有效地泛化到新系統(tǒng)，即使這些新系統(tǒng)只有少數(shù)觀察數(shù)據(jù)。

2.SageFormer: Series-Aware Graph-Enhanced Transformers for Multivariate Time Series Forecasting

作者：Zhenwei Zhang,Xin Wang,Yuantao Gu

鏈接：https://www.aminer.cn/pub/64a63bbad68f896efaec4805/

ChatPaper綜述：這篇論文介紹了一種名為 SageFormer 的用于多元時間序列預(yù)測的深度學(xué)習模型。多元時間序列預(yù)測在許多領(lǐng)域都至關(guān)重要，如金融、氣象和醫(yī)療等。雖然近年來深度學(xué)習方法，特別是 Transformer 模型，在該領(lǐng)域取得了顯著進展，但仍然存在處理跨系列依賴關(guān)系的問題。因此，這篇論文提出了一種名為 SageFormer 的模型，旨在有效地捕獲和使用圖形結(jié)構(gòu)來建?？缦盗幸蕾囮P(guān)系。SageFormer 解決了兩個關(guān)鍵挑戰(zhàn)：有效地表示不同系列的時空模式，并減少系列之間的冗余信息。重要的是，提出的系列感知框架可以輕松地集成到現(xiàn)有的 Transformer 模型中，增強它們建?？缦盗幸蕾囮P(guān)系的能力。通過在真實世界和人造數(shù)據(jù)集上的廣泛實驗，證明了 SageFormer 比先前的最先進的方法具有更好的預(yù)測性能。

3.GEANN: Scalable Graph Augmentations for Multi-Horizon Time Series Forecasting

作者：Sitan Yang,Malcolm Wolff,Shankar Ramasubramanian,Vincent Quenneville-Belair,Ronak Metha,Michael W. Mahoney

鏈接：https://www.aminer.cn/pub/64ab828f3fda6d7f06f7883a/

ChatPaper綜述：這篇論文介紹了一種使用圖神經(jīng)網(wǎng)絡(luò) (GNN) 進行多 horizon 時間序列預(yù)測的新方法，可以有效地解決“冷啟動”問題。傳統(tǒng)的 encoder-decoder 神經(jīng)網(wǎng)絡(luò)在預(yù)測缺乏歷史數(shù)據(jù)的 time series 時表現(xiàn)較差。因此，該方法采用了 GNN 作為數(shù)據(jù)增強技術(shù)，以增強用于預(yù)測的 encoder。GNN 可以捕捉時間序列之間的復(fù)雜關(guān)系，并且其生成過程可以與預(yù)測任務(wù)一起優(yōu)化。該方法的架構(gòu)可以使用數(shù)據(jù)驅(qū)動的或領(lǐng)域知識定義的圖，并可以擴展到包含數(shù)百萬節(jié)點的大規(guī)模圖。在應(yīng)用于一家大型電商零售商的需求預(yù)測時，該方法在小型數(shù)據(jù)和大型數(shù)據(jù)集上都取得了比競爭模型更好的表現(xiàn)。更重要的是，該方法對于“冷啟動”產(chǎn)品，如新推出或缺貨的產(chǎn)品，具有更高的收益。

4.Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs

作者：Zhikai Chen,Haitao Mao,Hang Li,Wei Jin,Hongzhi Wen,Xiaochi Wei,Shuaiqiang Wang,Dawei Yin,Wenqi Fan,Hui Liu,Jiliang Tang

鏈接：https://www.aminer.cn/pub/64ab82833fda6d7f06f77dfa/

ChatPaper綜述：這篇論文探索了大型語言模型 (LLMs) 在圖機器學(xué)習方面的潛力，特別是節(jié)點分類任務(wù)。目前，大多數(shù)基于文本節(jié)點屬性的圖機器學(xué)習方法主要使用圖神經(jīng)網(wǎng)絡(luò) (GNNs),并以淺層文本嵌入作為初始節(jié)點表示，這種方法存在通用知識和深刻語義理解的局限性。近年來，大型語言模型 (LLMs) 已經(jīng)被證明具有豐富的公共知識和強大的語義理解能力，已經(jīng)顛覆了處理文本數(shù)據(jù)的傳統(tǒng)工作流程。在本文中，我們旨在探索 LLMs 在圖機器學(xué)習中的潛力，特別是節(jié)點分類任務(wù)，并研究兩種可能的流程：LLMs-as-Enhancers 和 LLMs-as-Predictors。前者使用 LLMs 增強節(jié)點的文本屬性，并通過 GNNs 生成預(yù)測。后者則直接使用 LLMs 作為單獨的預(yù)測器。我們在各種設(shè)置中對這兩種流程進行了全面系統(tǒng)和全面的研究和測試。從全面的實證結(jié)果中，我們做出了 original observations 和發(fā)現(xiàn)了新的啟示，打開了利用 LLMs 在圖機器學(xué)習中的可能性，并提出了有前途的方向。

5.Serving Graph Neural Networks With Distributed Fog Servers For Smart IoT Services

作者：Liekang Zeng,Xu Chen,Peng Huang,Ke Luo,Xiaoxi Zhang,Zhi Zhou

鏈接：https://www.aminer.cn/pub/64a63bbad68f896efaec484f/

ChatPaper綜述：這篇論文介紹了一種利用分布式 Fog 服務(wù)器的智能物聯(lián)網(wǎng)服務(wù) GNN 推理框架 Fograph。傳統(tǒng)的 GNN 服務(wù)通常需要將分布式輸入數(shù)據(jù)上傳到遠程數(shù)據(jù) center,但實驗測量表明，這種 cloud-based 服務(wù)有很大的通信開銷。因此，論文提出了一種適用于 fog 環(huán)境的 GNN 服務(wù)框架，旨在充分利用就近 IoT 數(shù)據(jù)源的多 fog 節(jié)點的多樣性和動態(tài)資源。Fograph 采用了異質(zhì)性執(zhí)行計劃和 GNN 特定的壓縮技術(shù)，以適應(yīng) fog 環(huán)境的服務(wù)特點。原型評估和案例研究表明，F(xiàn)ograph 比最先進的 cloud 服務(wù)和 fog 部署方法快 5.39 倍，吞吐量提高 6.84 倍。

6.SwinGNN: Rethinking Permutation Invariance in Diffusion Models for Graph Generation

作者：Qi Yan,Zhengyang Liang,Yang Song,Renjie Liao,Lele Wang

鏈接：https://www.aminer.cn/pub/64a63bbad68f896efaec4827/

ChatPaper綜述：這篇論文討論了在圖生成中使用不變擴散模型的挑戰(zhàn)，并提出了一種名為 SwinGNN 的非不變擴散模型。該模型使用高效的 Edge-to-Edge 2-WL 消息傳遞網(wǎng)絡(luò)和基于 SwinTransformers 的移位窗口自注意力機制。通過系統(tǒng)剝離，確定了改善圖生成樣本質(zhì)量的幾個關(guān)鍵培訓(xùn)和采樣技術(shù)。此外，還介紹了一種名為隨機置換的生成圖形的方法，可以將任何生成圖形模型轉(zhuǎn)換為不變模型。在合成和真實世界的蛋白和分子數(shù)據(jù)集的實驗中，SwinGNN 達到了當前最好的性能。該模型的代碼已發(fā)布在 GitHub 上。

7.Dynamic Graph Attention for Anomaly Detection in Heterogeneous Sensor Networks

作者：Mengjie Zhao，Olga Fink

鏈接：https://www.aminer.cn/pub/64acd4023fda6d7f06b35585/

ChatPaper綜述：這篇論文介紹了在工業(yè)物聯(lián)網(wǎng) (IIoT) 時代，通過使用 heterogeneous sensor networks 監(jiān)測系統(tǒng)產(chǎn)生的大量多變量時間序列 (MTS) 數(shù)據(jù)，為異常檢測帶來了便利。然而，隨著傳感器網(wǎng)絡(luò)的復(fù)雜性和互連性的增加，異常檢測面臨著新的挑戰(zhàn)。盡管該領(lǐng)域已經(jīng)取得了進展，但大部分注意力都集中在點異常和上下文異常上，而對于集體異常則關(guān)注較少。集體異常的一種較少涉及的但普遍存在的變體是，集體異常是由系統(tǒng)中關(guān)系的轉(zhuǎn)變引起的。這可能是由于過熱、網(wǎng)絡(luò)攻擊等原因引起的異常環(huán)境或系統(tǒng)故障。為了解決這些問題，本文提出了動態(tài)圖注意 (DyGATAD),一個基于圖的異常檢測框架，利用注意機制來建立連續(xù)的圖形表示，通過推斷時間序列之間的動態(tài)邊建立多變量時間序列的圖形表示。DyGATAD 還包括一個運行條件感知重構(gòu)和一種基于拓撲的異常得分方法，以增強關(guān)系轉(zhuǎn)變的探測能力。我們使用合成數(shù)據(jù)和一個多相流設(shè)施基準模型對 DyGATAD 進行了評估，展示了在集體異常檢測方面的優(yōu)勢，特別是在早期故障檢測和輕微故障檢測方面表現(xiàn)出色。

8.All in One: Multi-task Prompting for Graph Neural Networks

作者：Xiangguo Sun,Hong Cheng,Jia Li,Bo Liu,Jihong Guan

鏈接：https://www.aminer.cn/pub/64a63bbad68f896efaec478f/

ChatPaper綜述：這篇論文研究了圖神經(jīng)網(wǎng)絡(luò) (Graph Neural Networks,GNNs) 的 prompting 問題，以解決預(yù)處理和微調(diào)方法在處理各種圖任務(wù)時存在的不兼容性問題。雖然預(yù)處理和微調(diào)方法可以緩解缺乏圖形注釋的問題，但是節(jié)點級別、邊級別和圖級別任務(wù)的多樣化使得預(yù)處理方法往往無法適用于多個任務(wù)。這可能導(dǎo)致對某些特定應(yīng)用而言的“負遷移”,從而導(dǎo)致性能不佳。論文借鑒了自然語言處理 (NLP) 中的 prompting 概念，并在圖領(lǐng)域提出了一種新的多任務(wù) prompting 方法。具體來說，我們首先將圖提示和語言提示用提示符、token 結(jié)構(gòu)和插入模式統(tǒng)一起來，使得 NLP 中的 prompting 概念可以無縫應(yīng)用于圖領(lǐng)域。然后，為了進一步縮小各種圖任務(wù)和最先進的預(yù)處理策略之間的差距，我們深入研究了各種圖應(yīng)用的任務(wù)空間，并將下游問題重構(gòu)為圖級別任務(wù)。最后，我們采用元學(xué)習高效地學(xué)習多任務(wù)提示的初始化，使我們的 prompting 框架對于不同的任務(wù)更加可靠和通用。我們進行了廣泛的實驗，結(jié)果表明，我們的方法在多個測試任務(wù)中表現(xiàn)更好。

9.On the power of graph neural networks and the role of the activation function

作者：Sammy Khalife,Amitabh Basu

鏈接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b3669b/

ChatPaper綜述：這篇論文講述了圖神經(jīng)網(wǎng)絡(luò) (GNN) 的表現(xiàn)力以及激活函數(shù)的作用。論文證明了對于任何具有分段多項式激活函數(shù)的 GNN,其架構(gòu)大小與圖形輸入大小無關(guān)，都存在一對深度為 2 的非等價樹，GNN 在任意多次迭代中無法區(qū)分它們的根節(jié)點。該證明利用對稱多項式代數(shù)的工具。與之相反，早已知道具有分段多項式激活函數(shù)的不可限 GNNs 能夠在僅兩迭代內(nèi)區(qū)分這些根節(jié)點。我們的研究結(jié)果揭示了 GNN 大小的上限和不可限 GNNs 之間的嚴格分離，回答了 [Grohe,2021] 中提出的未解決的問題。我們還證明，如果允許使用非分段多項式激活函數(shù)，那么僅使用單個神經(jīng)元的感知機能夠在僅兩迭代內(nèi)區(qū)分任何對非等價深度為 2 的樹的根節(jié)點 (我們的研究結(jié)果適用于例如 sigmoid、hyperbolic tan 等激活函數(shù))。該結(jié)果展示了 GNN 的表現(xiàn)力會因為激活函數(shù)的改變而急劇變化。該結(jié)果利用數(shù)論中的 Lindemann-Weierstrass 定理來證明。

10.Privacy-Preserving Graph Machine Learning from Data to Computation: A Survey

作者：Dongqi Fu,Wenxuan Bao,Ross Maciejewski,Hanghang Tong,Jingrui He

鏈接：https://www.aminer.cn/pub/64acd41c3fda6d7f06b36553/

ChatPaper綜述：這篇論文的主題是關(guān)于保護圖機器學(xué)習中的個人隱私。在圖機器學(xué)習中，數(shù)據(jù)收集、共享和分析通常涉及多個機構(gòu)和個人，每個機構(gòu)和個人可能需要不同的數(shù)據(jù)安全和隱私級別。因此，保護個人隱私對于保護敏感信息非常重要。在大數(shù)據(jù)時代，數(shù)據(jù)實體之間的關(guān)系變得更加復(fù)雜，越來越多的應(yīng)用程序使用先進的數(shù)據(jù)結(jié)構(gòu) (如圖形),以支持網(wǎng)絡(luò)結(jié)構(gòu)和相關(guān)屬性信息。至今，已經(jīng)提出了許多基于圖形的人工智能模型 (如圖形神經(jīng)網(wǎng)絡(luò)),以用于各種領(lǐng)域任務(wù)，如計算機視覺和自然語言處理。本文專注于綜述圖機器學(xué)習中的個人隱私保護技術(shù)。我們系統(tǒng)地綜述了相關(guān)研究，從數(shù)據(jù)到計算方面。我們首先綜述了生成隱私保護圖形數(shù)據(jù)的方法。然后，我們描述了在多個機構(gòu)和個人之間傳輸隱私保護信息 (如圖形模型參數(shù)) 的方法，以實現(xiàn)優(yōu)化計算。除了討論相關(guān)的理論和軟件工具外，我們還討論了當前的挑戰(zhàn)和未來研究的機會，以促進隱私保護的圖機器學(xué)習。最后，我們提出了一個統(tǒng)一和全面的安全圖機器學(xué)習系統(tǒng)的愿景。