软件所在因果自监督图对比学习方面取得进展-亚博88体育

gcl是一种通用的学习范式，旨在从图中的多样扰动中捕获不变信息。近来大量关于gcl的研究着重于从图中探索结构基本原理，即图特征中可以引导或解释模型预测的特定子集，从而增加不变信息的判别准确性。然而，这类方法可能导致图模型学习到噪声信息以及任务无关信息，从而影响了模型的预测能力。

为了解决上述问题，研究团队提出从图表示中捕获维度基本原理，并在生化分子数据集proteins和社交网络数据集rdt-b上进行探索性实验。实验通过随机保留某些维度同时屏蔽其他维度，来探究图表示维度对模型预测的影响。研究团队从结果中观察到保留特定维度的图表示比原始图表示具有更好的性能，证明了维度基本原理的存在以及特定的维度基本原理能对gcl的预测起到积极作用。

探索性实验结果

根据探索性实验的结果，研究团队构建了gcl预训练阶段的结构因果模型来阐述维度基本原理r、图表示e以及图对比学习标签y之间的关系：r既能作用于e又能作用于y，因此在探究e对y的直接因果效应时，e←r→y是一条后门路径，r是一个混淆变量。由于后门路径的存在，原始图神经网络实际拟合的是r到y的总因果效应。为了消除后门路径和混淆变量的影响，研究团队引入后门准则来干预e、校正r以获得e到y的直接因果效应。

结构因果模型

基于上述分析，研究团队提出了图对比学习方法drgcl，其中维度基本原理采用与图表示维度数量相等的一维向量r实现。drgcl在预训练过程中采用传统gcl范式和元学习范式进行迭代：在第一个训练步，通过传统的gcl范式训练编码器、投影头的参数，包括同时最小化对比损失和冗余减少损失；在第二个训练步，使用二阶导数来重加权特定的维度，以保留与任务相关的信息，这被视为维度基本原理的迭代更新，使drgcl可以在训练过程中通过后门调整来进行因果干预。

drgcl框架图

研究团队从理论分析和实验验证两方面证明了drgcl的有效性。在理论方面，通过分析维度基本原理与之前的结构基本原理的关系，发现维度基本原理具有更强的表示能力，是结构基本原理的泛化解；证明了drgcl能有效限制gcl下游分类损失的误差界。在实验方面，通过将drgcl与多种不同的图对比学习方法在8个图分类基准数据集（tu-dataset）上进行对比，证明了drgcl能更好地捕获图数据的判别特征；团队将drgcl进一步应用于图迁移学习基准数据集（chem），在处理下游任务方面drgcl比最优的基线方法提升了0.4%的性能，说明drgcl能提升图神经网络的泛化能力。此外，研究团队还通过消融实验和理论分析，证明了drgcl对图神经网络的贡献及合理性。

论文地址：

代码地址：