---

Lora、Dola和Pissa模型对比分析

---

大模型微调

在大规模预训练模型的微调过程中，通常需要更新模型的所有参数。由于大模型的参数数量庞大，这种全参数微调方法带来了以下几个关键挑战：

全参数微调（Full Parameter Fine-Tuning）中，需要对初始权重矩阵$W$反向传播计算梯度，进行梯度下降（Gradient descent），大规模数据矩阵的梯度计算量极大。因此，处理权重矩阵的方法可以有效提高微调的计算效率。

• 计算资源消耗巨大：全参数微调会对计算能力提出极高要求，尤其是对于GPU和显存资源的需求。
• 存储压力过大：大规模模型微调需要存储大量的梯度和中间计算结果，特别是当模型应用于多任务场景时。
• 效率低下：由于需要更新整个模型的参数，全参数微调在训练速度和部署时的效率较低，尤其是在小数据集或特定任务上微调时，可能存在浪费资源的现象。

为了解决这些挑战，研究者们提出了一些参数高效微调的创新方法，比如Lora、Dola和Pissa，它们能够有效减少需要更新的参数量，在保持模型性能的同时，大幅降低计算和存储开销。

Lora

LoRA (Low-Rank Adaptation of Large Language Models) 是微软研究院提出的一种PEFT（arameter-Efficient Fine-Tuning）方法，专门针对LLM的微调问题。LoRA 的设计目标是在保持模型性能的同时，最大限度地减少微调所需的计算资源和存储空间。

模型原理

LoRA的核心原理是利用低秩矩阵来近似表示预训练模型的权重矩阵增量。具体来说，LoRA将预训练模型的原始权重矩阵冻结，利用两个低秩矩阵的乘积来更新。由于低秩矩阵的秩远小于原始矩阵的秩，因此LoRA 可以显著减少微调参数的数量。

低秩近似原理

对于预训练权重矩阵 $W_0\in {\mathbb{R}}^{d\times d}$，可以用一个低秩分解来表示参数更新 $\Delta W$，即：

$$W_0+\Delta W=W_0+BA$$

其中 $B\in {\mathbb{R}}^{d\times r}$，$A\in {\mathbb{R}}^{r\times d}$，且 $r\ll d$ 。

原本一个$d\times d$的矩阵降维到了$d\times r$，低秩代表着保留了奇异值较大的部分，保留了原有矩阵的主要信息，我们只需对低秩部分反向传播进行梯度下降。此外，矩阵$A$是服从正态分布的随机矩阵。目标秩取得越大，即保留的信息越多，从而计算量越大。在目标秩大于某个值时，计算量会接近全参数微调。

训练过程中冻结参数 $W_0$，仅训练 $A$ 和 $B$中的参数。如上图所示，对于 $h=W_{0}x$，前向传播过程变为：

$$h=W_{0}x+\Delta Wx=W_{0}x+BAx$$

伪代码

这里给出了部分伪代码，具体可以参考原链接。

# 加载预训练模型
pretrained_model = load_pretrained_model()

# 将 LoRA 应用于模型的线性层
for module in pretrained_model.modules():
    if isinstance(module, nn.Linear):
        lora_layer = LoRALayer(module.weight.shape, rank=lora_rank)
        module.weight = lora_layer

# 定义优化器，只更新 LoRA 层的参数
optimizer = optim.Adam(lora_layer.parameters(), lr=learning_rate)

# 训练模型
# ...

参考链接：https://github.com/microsoft/LoRA

Lora的实际表现

LORA为何有效？
通过大量的对比实验，作者证明了Lora的有效性。作者希望进一步解释这种从下游任务中学到的低秩适应（low-rank adaptation）的特性。为此，作者在原文中提出了三个问题：

Q1：LORA应该作用于Transformer的哪个参数矩阵？
从下图可以看到，将所有微调参数都放到Attention的某一个参数矩阵的效果并不好，将可微调参数平均分配到$W_q$和$W_k$的效果最好。即使是秩$r=4$的时候，也可以从$\Delta W$中获得足够的信息。因此，在实际操作中应当将可微调参数分配到多种类型权重矩阵中，而不应该用更大的秩单独微调某种类型的权重矩阵。

Q2:LORA最优秩为多少？
从文献中的实验结论可以看到，在秩$r=1$或$r=2$的时候，Lora的仍有不错的效果。因此，作者认为更新参数矩阵 $\Delta W$ 可能拥有极小的“内在秩”，即极低的目标秩也可以提取到主要的信息。

为了进一步验证内在秩，我们需要计算不同秩$r$对应的子空间之间的重要程度。以 $r=8$和 $r=64$两个秩为例。首先，进行奇异值分解（SVD），分别得到两个左奇异矩阵 $U_{A_{r=8}}$和 $U_{A_{r=64}}$。进一步，我们希望了解$U_{A_{r=8}}$的 Top-j 奇异向量有多少被包含在 $U_{A_{r=64}}$ 的 Top-j 个向量中。并且可用格拉姆矩阵来表示这两子空间之间的相似关系：
$$\varphi (A_{r=8},A_{r=64},i,j)=\frac{||U_{A_{r=8}}^T{V}_{A_{r=64}}^j|{|}^2}{\min (i,j)}=\frac{{\sum }_k^{\min (i,j)}{\Lambda }_k^2}{\min (i,j)}，$$
从下图可以看出$r=8$和 $r=64$中的Top奇异向量重叠得最多（颜色越小表示相似程度越高），这意味着Top奇异向量的作用最大，其他的奇异值可能会引入更多的噪声。这证明了更新参数矩阵$\Delta W$存在极小的‘内在秩’。

SVD分解中，奇异值矩阵中对角线元素按照奇异值递减排列。Top奇异向量表示了参数矩阵的主要信息部分。内在秩体现了前面部分的top奇异向量可能表示了参数矩阵的80%甚至更多的信息，剩余部分为冗余。

Q3：参数增量$\Delta W$和$W$的关系？
文中为揭示微调过程的内在原理，作者进行了如下实验：

从上图的对比结果，作者发现三个现象：

• 相比于随机矩阵（Random），$\Delta W$和 $W$有强关联。从表中的 0.32 $>>$ 0.02 可以看出，
• $\Delta W$仅放大了 $W$中任务相关的特征，并未放大头部特征。由于$F$-范数的平方等于奇异值和的平方。因此，从表中的 0.32 $<<$21.67 可以看出 $\Delta W$和 $W$的头部奇异向量并无关联。
• 当 $r=4$时，$\Delta W$ 的放大系数已经足够大。计算 6.91 / 0.32 ≈ 21.5 可知 $\Delta W$能将 $W$ 中相关的特征向量放大 21.5 倍。

因此，我们可以得到结论。在训练过程中，低秩的适应矩阵 $\Delta W$ 仅仅放大了对下游任务有用的特征，而不是预训练模型中的主要特征。

实验结果：
在保持模型性能的前提下， LoRA显著减少了微调所需的参数数量。LoRA在计算效率和存储效率方面表现优异， 使其成为资源受限环境中的理想选择。

LoRA 优势与应用场景

优势：

• 高效性: LoRA 在参数效率方面表现出色，可以显著减少微调参数的数量。
• 易用性: LoRA 易于实现和使用，现有的深度学习框架已经提供了相应的工具和库。
• 可扩展性: LoRA 可以应用于各种规模的预训练模型，包括大型语言模型。

应用场景：

• 大型语言模型微调: LoRA 非常适合对大型语言模型进行微调，例如 GPT-3 和 BERT。
• 多任务学习: LoRA 可以用于多任务学习，每个任务只需要微调少量的参数。
• 模型轻量化: LoRA 可以看作是一种模型轻量化技术，可以减小模型的存储空间和推理时间

---

---

Dora

DoRA（Weight-Decomposed Low-Rank Adaptation）的主要思想是将预训练权重分解为幅度（magnitude）和方向（direction），并利用LoRA来微调方向矩阵
$$W^{\prime }=m\frac{V+\Delta V}{\Vert V+\Delta V{\Vert }_c}=m\frac{W_0+BA}{\Vert W_0+BA{\Vert }_c}.$$

如下图所示，LoRA通常会等比例增减幅度和方向，DoRA通过将预训练权重矩阵分解为幅度和方向，能够更接近全量微调的效果。

使用比LoRA更少的参数，表现效果反而更好。

使用较小的$r$，准确率要高出Lora很多，这意味着其内在秩所包含的信息更多。

---

---

PISSA

随着大模型的参数量日益增长，微调整个模型的开销逐渐变得难以接受。为此，北京大学的研究团队提出了一种名为 PiSSA的参数高效微调方法，在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。
PiSSA 在模型架构上和 LoRA完全一致 ，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪声初始化 $A$，使用 0 初始化 $B$；而 PiSSA 使用主奇异值和奇异向量 (Principal Singular values and Singular vectors) 来初始化 Adapter ，即矩阵 $A$ 和 $B$。

从图中可以看出，PiSSA的优势在于，初始化增量矩阵的时候对原始权重矩阵$W$进行了截断的SVD（TSVD）。将截断后的矩阵代替原本随机初始化的矩阵$A$和$B$。从而在不增加计算量的情况下，获取到了原始权重矩阵的信息。

受到 Intrinsic SAID “预训练大模型参数具有低秩性”的启发，PiSSA 对预训练模型的参数矩阵 $W\in {\mathbb{R}}^{m\times n}$进行奇异值分解。其中前 $r$个奇异值和奇异向量用来初始化适配器 (adapter) 的两个矩阵 $A\in {\mathbb{R}}^{m\times r}$和 $B\in {\mathbb{R}}^{r\times n}$，$r\ll \min (m,n)$，剩余的奇异值和奇异向量用来构造残差矩阵 $W^{res}\in {\mathbb{R}}^{m\times n}$，获得
$$W=AB+W^{res}$$
因此，适配器中的参数包含了模型的核心参数，而残差矩阵中的参数是修正参数。通过微调参数量较小的核心适配器 $A,B$，冻结参数量较大的残差矩阵 $W^{res}$，就达成了用很少的参数近似全参数微调的效果。Lora 认为大模型微调后的矩阵的变化 $\Delta W$ 具有很低的本征秩。因此，通过$A\in {\mathbb{R}}^{m\times r}$和 $B\in {\mathbb{R}}^{r\times n}$ 相乘得到低秩矩阵来描述大模型中矩阵的变化 $\Delta W$。初始化阶段，Lora 使用高斯噪声初始化$A$, $B$，因此
$$\Delta W=AB=0$$
以保证模型初始的输出没有变化，并微调 $A$和 $B$实现对 $W$进行更新。与此相对，PiSSA 不关心 $W$ 而是认为 $W$ 具有很低的本征秩。因此，直接对$W$进行SVD
$$W=AB+W^{res}$$
其中， $W^{res}$ 表示残余量。假设 $V$的奇异值分解为 $W=UDiag(S)V^T$，$A,B$使用 SVD 分解后奇异值大的 $r$ 个奇异值，奇异向量进行初始化。
$$A=U_{[:,:r]}diag(S_{[:r]}^2{)}^{-\frac{1}{2}}\in {\mathbb{R}}^{m\times r},$$

$$B=diag(S_{[:r]}^2{)}^{-\frac{1}{2}}{V}_{[:,:r]}^T\in {\mathbb{R}}^{r\times n},$$
残差矩阵使用其余的奇异值、奇异向量进行初始化：
$$W^{res}=U_{[:,r:]}diag(S_{[r:]})V_{[:,r:]}^T\in {\mathbb{R}}^{m\times n},$$
PiSSA 直接对 $W$ 的低秩主成分 $A,B$ 进行微调，冻结次要的修正项。相比 Lora 用高斯噪声以及 0 初始化适配器参数、冻结核心模型参数，PiSSA 收敛更快，效果更好。

参考文献

[1] Hu E J, Shen Y, Wallis P, et al. Lora: Low-rank adaptation of large language models[J]. arXiv preprint arXiv:2106.09685, 2021.
[2] Meng F, Wang Z, Zhang M. Pissa: Principal singular values and singular vectors adaptation of large language models[J]. arXiv preprint arXiv:2404.02948, 2024.
[3] Liu S Y, Wang C Y, Yin H, et al. Dora: Weight-decomposed low-rank adaptation[J]. arXiv preprint arXiv:2402.09353, 2024.