软件所在图对比学习拓扑判别方面取得进展
文章来源： | 发布时间：2024-01-16 | 【】 【】
近日，中国科学院软件研究所天基综合信息系统重点实验室研究团队的论文hierarchical topology isomorphism expertise embedded graph contrastive learning被计算机科学领域顶级学术会议aaai 2024 fast track接收。共同第一作者为特别研究助理李江梦、博士生靳毅凡。论文提出了一种新颖的引入层次拓扑同构专家知识的自监督图对比学习方法html（hierarchical topology isomorphism expertise embedded graph contrastive learning）。该方法采用知识蒸馏技术，能够学习图层和子图层的拓扑同构专家知识，同时具有即插即用的特点，适用于多种先进的图对比学习方法。
图对比学习方法的一个主要挑战是探索图数据的异构判别信息。作为人工衍生的离散数据结构，图数据包含两种关键的潜在判别信息：特征级信息和拓扑级信息。近期研究表明，尽管当前的图对比学习方法能够有效探索特征级判别信息，却只能模拟相对有限的拓扑级判别信息。
为此，研究团队尝试通过指导图神经网络学习拓扑级信息，来提高图对比学习方法学习判别性信息的能力。经探索实验证明，虽然基于图神经网络的基准图对比学习方法（graphcl）不能有效地学习图拓扑专家知识，但是将这种图拓扑专家知识引入基于图神经网络的图对比学习方法会引发判别性能的急剧提升。由此表明图拓扑专家知识能进一步补充基于图神经网络的图对比学习方法，谨慎融合特征级和拓扑级判别信息可以显著提高图对比学习模型在无监督图表示学习上的性能。
探索实验结果
基于上述实验分析，研究团队提出引入层次拓扑同构专家知识的图对比学习方法html，即使用知识蒸馏技术在图对比学习模型中隐式地引入图拓扑专家知识。首先，为了对具有不同拓扑结构的图进行全局分类，研究团队将weisfeiler-lehman（wl）测试作为图层专家系统，引导基准图对比学习方法学习图层拓扑同构专家知识。其次，为了捕获细粒度的拓扑级判别信息，研究团队引入计算重叠子图的结构系数方法作为子图层专家系统，同时引导基准图对比学习方法学习子图层拓扑同构专家知识。
html模型框架图
研究团队还基于贝叶斯决策规则给出理论分析，证明了与传统的图对比方法相比，html实现了更严格的贝叶斯误差界；同时17个真实世界数据集、4个图对比学习模型、2个图表示学习任务上进行了实验，结果表明html在不同实验设置下均表现出最佳性能。
论文地址：
代码地址：
