1. 摘要

长尾分布经常出现在现实世界的数据中，其中大量的少数类别包含有限数量的样本。这种不平衡问题严重影响了标准监督学习算法的性能，这些算法主要是针对平衡训练集设计的。最近的研究表明，监督对比学习在缓解数据不平衡方面具有很大的潜力。然而，监督对比学习的性能受到一个固有挑战的困扰:它需要足够多的训练数据来构建覆盖所有类别的对比对，然而在类不平衡数据的背景下，这一要求很难满足。为了克服这一障碍，我们提出了一种新的概率对比(ProCo)学习算法，该算法估计特征空间中每个类别样本的数据分布，并相应地对样本进行对比。事实上，在小批量中使用特征来估计所有类的分布，特别是对于不平衡的数据，是不可行的。我们的关键思想是引入一个合理而简单的假设，即对比学习中的归一化特征遵循单位空间上的 von Mises-Fisher (vMF)分布的混合，这带来了双重好处。首先，仅使用第一个样本矩就可以估计分布参数，并且可以通过不同批次的在线方式高效地计算分布参数。其次，基于估计分布，vMF分布允许我们对无限数量的对比对进行采样，并推导出期望对比损失的封闭形式，以进行有效优化。除了长尾问题，ProCo可以直接应用于半监督学习，为未标记的数据生成伪标签，然后利用伪标签逆估计样本的分布。从理论上分析了ProCo算法的误差界。根据经验，在监督/半监督视觉识别和目标检测任务上的大量实验结果表明，ProCo在各种数据集上始终优于现有方法。我们的代码可在https://github.com/LeapLabTHU/ProCo上获得。

论文标题： 
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition 
论文链接：
https://arxiv.org/pdf/2403.06726
项目链接：
https://github.com/LeapLabTHU/ProCo

关注微信公众号，获取更多资讯内容：

2. 简介

在解决长尾数据难题时，采用传统的交叉熵学习目标开发了许多算法[10]，[11]，[12]，[13]。然而，最近的研究表明，监督对比学习(SCL)[14]可能是一个更合适的优化目标，就长尾分布的弹性而言[15]，[16]。准确地说，SCL故意将标签信息集成到对比损失函数的正对和负对的公式中。与自监督学习不同，自监督学习通过锚点的数据扩增产生正样本，SCL从与锚点相同的类别中构建正样本。值得注意的是，该方法的初步探索已经产生了超越大多数针对长尾分布设计的竞争性算法的性能[17]，[18]，[19]。

尽管SCL有其优点，但它仍然存在固有的局限性。为了保证性能，SCL需要相当大的批处理规模来生成足够的对比对[14]，这导致了大量的计算和内存开销。值得注意的是，这个问题在现实环境中的长尾数据中变得更加明显，其中尾部类很少在小批处理或内存库中采样。因此，损失函数的梯度主要受头部类别的影响，导致缺乏来自尾部类别的信息，并且模型固有地倾向于关注头部类别而忽略尾部类别[16]，[17]。例如，在Imagenet-LT数据集中，典型的批大小为4096，内存大小为8192，对于212和89个类，每个小批或内存库平均产生少于一个样本。

在这项研究中，我们用一个简单而有效的解决方案来解决上述问题。我们的主要见解包括考虑从实际数据分布中采样无限数量的对比对，并求解预期损失以确定优化目标。通过直接估计和最小化期望，可以避免维持大批量的需要。此外，由于所有类的期望在理论上是相等的，因此自然减轻了现实数据中的长尾分布问题。

图1所示。说明概率对比学习。ProCo根据不同批次的特征和样本对比对来估计样本的分布。此外，通过对无限数量的对比对进行采样，推导出了期望对比损失的封闭形式，从而消除了SCL在大批量上的固有限制。

然而，由于两个障碍，实现我们的想法并不简单:1)对实际数据分布建模的方法通常很复杂，例如，训练深度生成模型[20]，[21]，[22];2)以封闭形式计算期望训练损失是困难的。在本文中，我们通过提出一种新的概率对比学习算法来同时解决这两个挑战，如图1所示。我们的方法的灵感来自于一个有趣的观察，即深度特征通常包含丰富的语义信息，使其统计能够表示数据的类内和类间变化[23]，[24]，[25]。这些方法从数据增广的角度对无约束特征进行正态分布建模，得到期望交叉熵损失的上界进行优化。然而，由于对比学习中特征的归一化，直接用正态分布建模是不可行的。此外，对于长尾数据，估计小批量中所有类的分布是不可能的。因此，我们在$R^n$的单位球上采用合理而简单的von Mises-Fisher分布来建模特征分布，通常认为这是正态分布向超球的扩展。该方法具有两个优点:1)仅使用第一个样本矩就可以通过极大似然估计估计分布参数，并且可以在训练过程中跨不同批次高效地计算分布参数;2)在此公式的基础上，我们从理论上证明，当采样数接近无穷大时，期望损失的封闭形式可以严格导出，而不是上界，我们将其称为普罗科损失。这使我们能够规避显式采样众多对比对的必要性，而是最小化代理损失函数，这可以有效地优化，并且在推理期间不会引入任何额外的开销。

此外，我们将所提出的ProCo算法的应用扩展到更现实的非平衡半监督学习场景，其中整个训练数据集中只有一小部分具有标签[26]，[27]，[28]，[29]。半监督算法通常采用一种策略，根据模型的预测为未标记的数据生成伪标签，使用这些标签来规范模型的训练过程。因此，ProCo算法可以直接应用于未标记的样本，通过生成基于ProCo损失的伪标签，随后可用于反向估计特征分布。

尽管其简单，所提出的ProCo算法显示出一致的有效性。我们使用CIFAR10/100-LT、ImageNet-LT、iNaturalist 2018和LVIS v1对监督/半监督图像分类和目标检测任务进行了广泛的经验评估。结果表明，ProCo算法持续提高了现有竞争长尾识别方法的泛化性能。此外，由于ProCo在理论上是独立于不平衡类分布的，所以我们也在平衡数据集上进行了实验。结果表明，ProCo在平衡数据集上也取得了更好的性能。