自监督学习是无监督学习的一种，也被称作pretext task（预文本任务）。利用无标签数据通过设计辅助任务来挖掘数据自身的表征特征作为监督信号，从而提升模型的特征提取能力。

自监督学习的原理：

核心：如何自动为数据产生标记，并利用这些自动生成的标记来引导模型进行学习。通过设计一些自动生成标记的任务来实现的。这些任务可以是对数据进行旋转、遮挡、像素预测等。通过构建正样本（positive）和负样本（negative），然后度量正负样本的距离来实现学习，学会区分哪些样本是相似的。

通过生成伪标签（proxy labels），将无标注数据转化为可用于监督学习的形式。

通常包括两个阶段：预训练和微调。在预训练阶段，模型通过解决预定义的任务（如预测图像中的旋转角度）来学习有效的表示。在微调阶段，这些学到的表示被用作下游任务（如图像分类）的初始特征。

常见的自监督学习方法

• 对比学习（Contrastive Learning）

对比学习是自监督学习中最具代表性的一类方法。其核心思想是通过比较样本之间的相似性和差异性来学习表示。典型的方法包括SimCLR和MoCo。SimCLR通过数据增强生成不同视角的样本，并分别进行编码，最大化同一对象不同视角之间的相似性，同时最小化不同对象之间的相似性。MoCo则引入了动态字典机制，使用动量编码器维护一个较大的对比池。

• 生成对抗网络（Generative Adversarial Networks, GANs）

GANs在自监督学习中的应用主要体现在其生成能力上。通过生成逼真的数据样本，GANs可以提供额外的伪标签信息。自监督GANs方法如BiGAN和ALI，通过同时训练生成器和判别器，使得生成的表示具有更高的真实性和判别能力。

• 变分自编码器（Variational Autoencoders, VAEs）

VAEs通过将输入数据压缩到潜在空间，然后重建数据，从而学习有效的表示。自监督VAEs扩展了这一思想，通过添加各种重构损失或引入新的正则化项，提升了模型的表达能力。

• 基于预测的自监督学习

这类方法通过预训练任务的设计，让模型预测某些隐藏的信息。例如，GPT-3通过预测上下文中的下一个单词，自然地学习到了丰富的语言表示。BERT则采用双向编码器，通过遮蔽部分单词并让模型预测这些单词，达到类似效果。

• 基于上下文的方法：

这种方法通过构建基于数据上下文的辅助任务来进行学习。例如，在图像处理中，可以通过对原始图片进行一些变换（如颜色、旋转、裁切等）来扩充原始训练集合，并设计相应的辅助任务（如旋转预测）来引导模型学习。这种方法的核心在于通过数据增强来强制特征具有一定的不变性，从而提升模型的泛化能力。

• 基于互信息的方法：

这种方法通过最大化输入和输出之间的互信息来学习数据的表示。例如，Deep InfoMax方法利用图像中的局部结构来学习图像表示，通过对比全局特征和局部特征来进行分类。这种方法的核心在于通过互信息最大化来约束表示的学习过程，从而得到更加有效的特征表示。

自监督学习的挑战：

• 如何设计有效的自监督学习任务是一个关键问题。不同任务对模型的训练效果有显著影响，因此需要仔细考虑任务的设计。
• 自监督学习需要大量的无标签数据进行训练，而这些数据的获取往往需要耗费大量的人力物力。
• 自监督学习的模型通常较大，需要大量的计算资源和存储空间，这给实际应用带来了一定的挑战。

参考：自监督学习：定义、原理、任务、方法及应用-CSDN博客