图神经网络边预测实战：从GCN到GAT，为何你的模型效果总是不稳定？

如果你已经用图神经网络（GNN）做过一些节点分类任务，并且取得了不错的效果，那么当你转向边预测（Link Prediction）时，可能会遇到一个令人困惑的现象：在节点分类上表现稳健的GCN模型，在边预测任务中却常常表现得不尽如人意，甚至不如引入了注意力机制的GAT模型。更让人头疼的是，即使使用相同的代码和数据集，多次训练得到的验证集准确率（如ROC-AUC）也可能出现大幅波动，有时能冲到90%以上，有时却只能在70%左右徘徊。

这背后并不是代码写错了，而是边预测任务本身独特的挑战性所决定的。与节点分类不同，边预测需要模型从已知的图结构中，推断出缺失或未来可能出现的连接。这个过程高度依赖于对节点间高阶关系的捕捉，以及对负样本（不存在的边）的合理采样。今天，我们就深入Cora数据集，通过对比GCN和GAT在边预测任务上的表现，来拆解那些影响模型稳定性和性能的关键因素——网络层数、邻居聚合方式，以及PyG中那个看似简单却暗藏玄机的negative_sampling机制。理解了这些，你不仅能解释为何GAT有时更胜一筹，更能掌握一套让边预测模型训练更稳定、结果更可靠的实战方法。

1. 边预测任务的核心挑战与评估陷阱

边预测，或者说链接预测，是图学习中的一个经典问题。它的目标很简单：给定一个图的部分结构（已知的边），预测哪些节点对之间可能存在我们尚未观察到的边。这在社交网络好友推荐、蛋白质相互作用预测、知识图谱补全等领域有着广泛应用。

然而，这个任务的评估方式却比节点分类要微妙得多。在节点分类中，每个节点的标签是独立的，训练、验证、测试集通过节点掩码（mask）清晰划分。但在边预测中，我们处理的是节点对。如果我们简单地将所有边随机分成三部分，就会引入数据泄露：因为一条边的两个端点节点，很可能通过其他路径在训练集中就已经产生了间接联系，模型可能会“记住”这种联系，而不是真正学会预测。

因此，标准的做法是使用torch_geometric.utils.train_test_split_edges。这个函数会确保：

• 训练边：用于消息传递和模型参数更新。
• 验证/测试边：仅用于评估，在训练过程中，模型无法“看到”这些边的存在。

但这就带来了第一个坑：负样本的采样。对于训练集，我们通常需要采样与正样本（真实边）数量相当的负样本（不存在的边）来构造一个平衡的分类任务。PyG提供了torch_geometric.utils.negative_sampling函数，它会在每个训练epoch动态地从所有不存在的边中采样。问题在于，这个全局采样池中，不可避免地包含了那些属于验证集和测试集的正样本。这意味着，我们在训练时，可能会不小心把一些未来要预测的真实边，当作负样本来学习，告诉模型“这些边不存在”。这显然会损害模型的性能。

注意：你可能会想，那我只在训练集节点对中采样负样本不就好了？这确实是一种思路（被称为“局部负采样”），但它会严重限制负样本的多样性，可能导致模型过拟合于训练集节点附近的局部结构。因此，全局负采样虽然不完美，但却是实践中更常用的方法，我们需要做的是理解并缓解其带来的影响。

为了量化这种影响，我们可以看一个简单的实验。在Cora数据集上，我们固定一个简单的两层GCN模型，连续运行10次训练，记录其验证集的最佳ROC-AUC。结果可能如下表所示：

实验序号	最佳验证集 ROC-AUC	对应测试集 ROC-AUC
1	0.923	0.905
2	0.891	0.878
3	0.945	0.912
4	0.868	0.849
5	0.932	0.901
...	...	...
平均	0.912 ± 0.025	0.889 ± 0.022

可以看到，验证集性能存在约3个百分点的波动。这波动的一部分，就来源于每个epoch随机采样的负样本集合不同，特别是当某些“困难负样本”（实际上是验证集正样本）被频繁采样到时，模型就会感到“困惑”。

2. GCN vs. GAT：架构差异如何影响边预测？

现在让我们进入正题，对比GCN和GAT。在节点分类任务上，两者在Cora这样的同质图（Homophilic Graph，即相连节点倾向于有相同标签）上通常表现接近，GCN甚至可能因为其简单高效而略占优势。但在边预测任务上，情况发生了变化。

GCN（图卷积网络） 的核心是谱图理论的一阶近似，其消息传递公式可以简化为：

H^{(l+1)} = σ(Â H^{(l)} W^{(l)})

其中Â是归一化的邻接矩阵（加上自环）。这意味着在每一层，每个节点会均等地聚合所有一阶邻居的信息。这种“民主制”聚合在捕捉节点社区结构时很有效，但对于判断两个特定节点间是否应该有边，它可能缺乏针对性。

GAT（图注意力网络） 则引入了注意力机制：

h_i^{(l+1)} = σ( Σ_{j∈N(i)∪{i}} α_{ij} W^{(l)} h_j^{(l)} )

α_{ij}是通过学习得到的注意力系数，表示节点j对节点i的重要性。这意味着GAT可以动态地、有区分地关注不同的邻居。

那么，这种区别对边预测意味着什么？边预测的解码器（Decoder）通常采用内积形式：score(u, v) = z_u^T · z_v，其中z是模型学习到的节点表征。模型的好坏，取决于它能否将潜在相连的节点映射到嵌入空间中相近的位置。

• GCN的均等聚合：倾向于将同一社区内的节点映射到相似的嵌入。这对于社区内部的边预测有利，但对于连接不同社区的“桥梁”边（这在Cora中可能是引用不同领域文章的边），其表征可能因为过度平滑（Over-smoothing）而缺乏区分度。
• GAT的注意力聚合：能够学习到，对于预测某条边，哪些邻居的信息更重要。例如，要判断节点A和B是否应有边，A在聚合信息时，可以更多地关注那些与B相似的邻居。这提供了更强的表征适应性，使其能够更好地捕捉复杂、非均质的连接模式。

让我们用PyG代码来实例化一个用于边预测的GAT网络，并与GCN对比：

import torch
import torch.nn.functional as F
from torch_geometric.nn import GCNConv, GATConv

class GCN_LinkPred(torch.nn.Module):
    def __init__(self, in_channels, hidden_channels, out_channels):
        super().__init__()
        self.conv1 = GCNConv(in_channels, hidden_channels)
        self.conv2 = GCNConv(hidden_channels, out_channels)

    def encode(self, x, edge_index):
        x = self.conv1(x, edge_index).relu()
        return self.conv2(x, edge_index)

    def decode(self, z, edge_index):
        # 内积解码
        return (z[edge_index[0]] * z[edge_index[1]]).sum(dim=-1)

class GAT_LinkPred(torch.nn.Module):
    def __init__(self, in_channels, hidden_channels, out_channels, heads=8):
        super().__init__()
        self.conv1 = GATConv(in_channels, hidden_channels, heads=heads, dropout=0.6)
        self.conv2 = GATConv(hidden_channels*heads, out_channels, heads=1, concat=False, dropout=0.6)

    def encode(self, x, edge_index):
        x = F.dropout(x, p=0.6, training=self.training)
        x = self.conv1(x, edge_index)
        x = F.elu(x)
        x = F.dropout(x, p=0.6, training=self.training)
        return self.conv2(x, edge_index)

    def decode(self, z, edge_index):
        return (z[edge_index[0]] * z[edge_index[1]]).sum(dim=-1)

在Cora数据集上进行公平对比（相同训练轮数、优化器、负采样策略），我们可能得到如下典型结果：

模型	平均验证集ROC-AUC	平均测试集ROC-AUC	结果稳定性（10次运行标准差）
两层GCN	0.912	0.889	±0.025
两层GAT (8头)	0.934	0.915	±0.018

GAT在平均性能上领先约2个百分点，并且结果波动更小。注意力机制似乎不仅提升了模型能力，还带来了一定的正则化效果，使其对负采样的随机性不那么敏感。

3. 层数陷阱：为何“更深”不等于“更好”？

在图像CNN中，增加深度通常能带来性能提升。但在图神经网络中，尤其是边预测任务上，盲目堆叠层数往往是灾难的开始。原始文章中也观察到了这一点：三层GCN/GAT的性能反而比两层差得多。

这背后主要有两个原因：

1. 过度平滑（Over-smoothing）：随着GNN层数增加，消息在多跳邻居间反复传播，会导致图中不同节点的表征变得越来越相似。极端情况下，所有节点的表征会收敛到同一个值。这对于需要区分不同节点对的边预测任务是致命的。过度平滑的程度可以用平均节点距离或表征的方差来度量。

2. 过拟合与梯度问题：更深的网络参数更多，在边预测这种通常数据量（正样本边数）相对较少的任务上，更容易过拟合。同时，深层GNN也面临梯度消失或爆炸的问题。

那么，如何为边预测任务选择合适的层数呢？这里没有银弹，但有一些实用的指导原则：

• 从2层开始：对于像Cora、PubMed这样规模的中等图，2层GNN（即聚合1跳和2跳邻居信息）是一个强大且安全的起点。它已经能够捕获到决定边存在的局部和二阶邻域信息。
• 考虑图的直径：图的直径是图中任意两节点间最短路径的最大长度。对于直径较小的图（如社交网络），2-3层可能就足够了；对于直径较大的图，可能需要更多层，但必须搭配缓解过度平滑的技术。
• 使用残差连接（Residual Connection）：这是缓解过度平滑最有效的方法之一。它允许低层信息直接 bypass 到高层。

  # 在GCNConv层间添加残差连接的示例
  class ResGCNConv(torch.nn.Module):
      def __init__(self, in_channels, out_channels):
          super().__init__()
          self.conv = GCNConv(in_channels, out_channels)
  
      def forward(self, x, edge_index):
          new_x = self.conv(x, edge_index).relu()
          # 如果维度匹配，直接相加；否则用线性投影
          if x.size() == new_x.size():
              return new_x + x
          else:
              return new_x + self.proj(x)  # self.proj是一个Linear层
  

• 监控训练过程中的节点表征相似度：一个简单的检查方法是，计算每个epoch后所有节点表征的余弦相似度矩阵的平均值。如果这个值随着训练持续快速上升，很可能发生了过度平滑。

一个关键洞察：对于边预测，我们有时甚至不需要一个“深”的网络，而需要一个“宽”且“表达能力强”的浅层网络。这就是为什么GAT（即使是2层）往往比GCN表现更好的另一个原因——注意力机制极大地增强了单层网络的表达能力。

4. 邻居采样与负采样策略的实战精调

除了模型架构，训练过程中的采样策略是影响边预测性能的另一个决定性因素。这里我们主要讨论两点：邻居采样（对于GAT等）和负采样。

负采样的高级策略

如前所述，朴素的全局均匀负采样会污染验证/测试集。我们可以采用一些策略来减轻这种影响：

• 固定负样本池：在训练开始前，预先采样一个较大的负样本池（比如正样本的10倍），并在整个训练过程中从该固定池中随机抽取每个batch所需的负样本。这减少了epoch间的方差，但池子本身可能仍包含验证集边。
• 基于难度的负采样（Hard Negative Sampling）：不随机采样，而是选择那些模型当前认为“容易混淆”的负样本（即模型预测分数较高的负样本对）。这能更有效地训练模型，但实现复杂，且容易导致训练不稳定。
• 逐batch的局部负采样：在每个训练batch中，只针对该batch中出现的正样本的节点，采样其不存在的边作为负样本。这完全避免了验证集污染，但可能限制全局结构的探索。

在PyG中，我们可以实现一个简单的“排除验证/测试集”的负采样函数：

from torch_geometric.utils import negative_sampling

def safe_negative_sampling(edge_index, num_nodes, val_pos_index, test_pos_index, num_neg_samples):
    """
    采样负样本，并尽量避免采样到验证集和测试集的正样本边。
    注意：这无法完全避免，因为要穷举检查代价高，但可以降低概率。
    """
    # 首先，生成候选负样本边
    neg_edge_index = negative_sampling(
        edge_index=edge_index,
        num_nodes=num_nodes,
        num_neg_samples=num_neg_samples * 3,  # 多采样一些
        method='sparse'
    )
    # 这里可以添加一个过滤步骤，去除明显在val/test_pos_index中的边（需要高效实现）
    # 由于实现较复杂，且不是绝对安全，实践中更常用的是调整评估策略来应对污染。
    return neg_edge_index[:, :num_neg_samples]  # 简单返回前一部分

更务实的做法是：接受负采样污染的存在，但在模型评估时保持清醒。我们可以通过观察验证集性能在训练后期是否持续剧烈波动，来判断污染是否造成了严重问题。如果波动大，可以尝试降低学习率、增加Dropout率，或者使用更保守的早停策略（例如，连续20个epoch验证集性能无提升才停止，而不是5个epoch）。

GAT中的邻居采样与注意力丢弃

对于GAT，我们还可以利用其注意力权重进行邻居采样。标准的GAT计算所有邻居的注意力，这在邻居数很多时计算量很大。我们可以选择只对每个节点计算其与Top-K个最重要邻居的注意力，这类似于GraphSAGE的采样思想，但采样依据是学习到的注意力分数，而不是随机的。

此外，GAT中常用的注意力丢弃（Attention Dropout） 技术，在训练时随机将一部分注意力权重置零，是一种非常有效的正则化手段，能防止模型过度依赖少数几条边，从而提升泛化能力和稳定性。这在边预测任务中尤为重要，因为训练集中的边本身就是稀疏且可能有噪声的。

# 在GATConv中启用dropout
self.conv1 = GATConv(in_channels, hidden_channels, heads=8, dropout=0.6, add_self_loops=True)
# 这里的dropout参数就是注意力系数的丢弃率

5. 提升边预测稳定性的系统工程技巧

最后，我们分享一些在实战中能切实提升边预测模型训练稳定性和结果可复现性的“工程性”技巧。

1. 随机种子固定：这似乎是老生常谈，但在GNN中尤为重要。固定PyTorch、NumPy、Python内置的随机种子，能确保数据加载、负采样初始化、模型参数初始化的一致性。

   import torch
   import numpy as np
   import random
   
   def set_seed(seed):
       random.seed(seed)
       np.random.seed(seed)
       torch.manual_seed(seed)
       torch.cuda.manual_seed_all(seed)
       torch.backends.cudnn.deterministic = True
       torch.backends.cudnn.benchmark = False
   set_seed(42)
   

2. 学习率热身与调度：边预测任务的损失曲面可能比较复杂。使用学习率热身（Warmup）可以帮助模型在训练初期更稳定地探索参数空间。之后配合余弦退火或ReduceLROnPlateau调度器。

   from torch.optim.lr_scheduler import CosineAnnealingLR, ReduceLROnPlateau
   
   optimizer = torch.optim.Adam(model.parameters(), lr=0.005, weight_decay=5e-4)
   scheduler = CosineAnnealingLR(optimizer, T_max=200)  # 或 ReduceLROnPlateau(optimizer, 'max', patience=10)
   

3. 更稳健的验证策略：不要只依赖单次验证集分数做早停或模型选择。可以考虑：

   • 交叉验证：对图的边进行K折划分，虽然计算量大，但能获得更稳健的性能估计。
   • 多轮运行取平均：由于随机性，将模型训练多次（如5次），取验证集性能的平均值和最佳测试集性能，作为最终报告结果。

4. 解码器的选择：我们一直使用简单的内积解码器z_u^T z_v。对于某些任务，更复杂的解码器可能更好，例如：

   • 双线性解码器：z_u^T W z_v，引入一个可学习的权重矩阵W。
   • MLP解码器：将z_u和z_v拼接后输入一个小型MLP。 可以尝试不同的解码器，但要注意，更复杂的解码器会增加过拟合风险。

5. 利用节点特征与结构信息的平衡：Cora数据集节点特征（词袋向量）信息量很大。但在一些特征稀疏或不可用的图中，结构信息更重要。确保你的模型架构（如GAT的注意力）能够同时有效利用这两种信息源。有时，在编码器后单独添加一个仅基于结构特征（如节点度、聚类系数）的MLP分支，并与主分支融合，能带来意外提升。

边预测是一个充满挑战但回报丰厚的领域。GAT在Cora上对GCN的优势，揭示了适应性信息聚合对于推断复杂关系的重要性。而训练过程中的波动，则提醒我们采样策略和评估方法与模型架构本身同等重要。下次当你的边预测模型效果不如预期时，不妨先从这三方面入手检查：模型是否足够灵活以捕捉非均质连接？层数是否因过度平滑而适得其反？负采样策略是否引入了过多噪声？把这些点理顺，你离稳定、高性能的边预测模型就更近了一步。