如何让模型既能“辨别差异”，又能“汲取精华”？这就不得不提“对比学习+知识蒸馏”这组合了，能有效解决单一技术的局限性，协同效应up！

这方向在资源受限的场景下大有可为，而这类应用场景正不断扩展，可以说为创新提供了丰富土壤。从最近发布的成果来看，这组合解决实际问题的能力相当强，比如IEEE TII的CoUDA框架，在动态工作条件下实现了SOTA。

目前这方向发论文的机会不错，顶会顶刊都对这类交叉研究挺青睐。但相对的，审稿人对创新点的要求也越来越高，建议大家先深入阅读前沿论文，了解前人做了什么，再探索他们没做的，可改进的地方。

本文整理了10篇对比学习+知识蒸馏前沿论文，帮大家节省找资料的时间，另附开源代码，可用作baseline参考。

全部论文+开源代码需要的同学看文末

CoUDA: Continual Unsupervised Domain Adaptation for Industrial Fault Diagnosis Under Dynamic Working Conditions

方法：论文提出了CoUDA框架，通过源域预训练和连续目标域适应，结合原型对比学习、知识蒸馏等方法，实现工业故障诊断中的连续无监督域适应，有效应对动态工作条件下的故障诊断问题。

创新点：

• 提出了一种新的连续无监督域适应框架CoUDA，解决工业故障诊断中动态工作条件下的连续域适应问题。

• 源域预训练中引入原型对比学习，显著提升模型的泛化能力，为后续目标域的适应奠定基础。

• 通过源判别器约束和特征知识蒸馏防止遗忘，利用局部域对齐和信息熵最小化实现稳定适应。

CKD: Contrastive Knowledge Distillation from A Sample-Wise Perspective

方法：论文提出了一种名为CKD的知识蒸馏方法，通过样本级别的对比学习，同时考虑样本内相似性和样本间差异性，将教师模型的知识传递给学生模型。该方法在图像分类和目标检测任务上表现出色，优于现有方法。

创新点：

• 提出样本级对比知识蒸馏方法，通过样本内相似性和样本间差异性实现高效蒸馏。

• 将样本内相似性和样本间不相似性约束转化为对比学习框架，优化InfoNCE损失，无需超参数调整。

• 在CIFAR100、ImageNet-1K和MS COCO数据集上验证，图像分类和目标检测任务上效果显著。

Preview-based Category Contrastive Learning for Knowledge Distillation

方法：论文提出了一种名为PCKD的知识蒸馏方法，它通过对比学习的方式将教师网络的特征、类别信息以及它们之间的关系转移到学生网络中，并采用预览策略根据样本难度动态调整学习权重，使学生网络能够逐步学习，从而提高性能。

创新点：

• 提出了一种新的知识蒸馏方法PCKD，通过对比学习转移教师网络的特征和类别信息。

• 引入预览策略，根据样本难度动态调整学习权重，帮助学生网络逐步学习。

• 在多个数据集和不同的网络架构组合上进行了广泛的实验，验证了该方法的优越性。

MoMA: Momentum Contrastive Learning with Multi-head Attention-based Knowledge Distillation for Histopathology Image Analysis

方法：论文提出了一种名为MoMA的方法，通过知识蒸馏和注意力机制，将教师模型的知识转移到学生模型，同时增强特征表示的一致性和上下文感知能力，以提高学生模型的性能，解决特定任务中数据不足的问题。

创新点：

• 提出MoMA框架，结合知识蒸馏和动量对比学习，有效转移教师模型知识到学生模型。

• 引入多头注意力机制，增强了特征表示的一致性和上下文感知能力。

• 在多个病理图像数据集上证明了MoMA在不同场景下将知识转移到特定任务中的准确性和鲁棒性。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏