首页 > 学习

单卡即可微调大模型！内存占用仅1/8，性能依然拉满

诸如 Qwen，GPT，DeepSeek R1 等基础大模型已成为现代深度学习的基石。

然而，在应用于具体下游任务时，它们庞大的参数规模使得额外微调成本较高。

为了解决这一问题，近期的研究聚焦于低秩适应 ( LoRA ) 方法，通过保持基座模型参数冻结，仅对新增的小型轻量级适配器进行微调，从而降低微调成本。

尽管 LoRA 具有较高的效率，然而其微调性能往往不及全量微调。

面对这一挑战，华中科技大学和香港中文大学团队提出了一项全新的 LoRA 微调框架——GOAT，该工作已成功被ICML 2025正式接收。

这项研究提出了一套自适应奇异值初始化与混合专家梯度对齐策略，成功缓解低秩适应（LoRA）性能不足的难题，在25个多领域任务中实现接近甚至超越全参数微调（Full FT）的效果，同时仅需调整极小比例参数。

低秩适应效果不如预期

传统 LoRA 通过在预训练权重矩阵中添加低秩适配器（如 BA 矩阵），大幅减少可训练参数（通常仅需调整 0.1%-5% 参数），但其性能往往显著落后于全参数微调。

现有方法通常通过随机初始化或者静态奇异值分解（Singular Value Decomposition, SVD）子空间进行初始化，以优化 LoRA 性能，但这类方式未能充分挖掘预训练模型中已有的知识。

另一条提升 LoRA 表现的路径是引入混合专家架构（Mixture-of-Experts, MoE）。然而，复杂的梯度动态使得在 LoRA MoE 架构中应用 SVD 初始化方法面临较大挑战。

取最大 / 小分量不一定好？重新审视 SVD 初始化

先前基于 SVD 初始化的方法通常会对最大或最小奇异值对应的子空间进行微调：PiSSA 仅对具有最大范数的部分进行微调，而 MiLoRA 和 KaSA 则冻结较大的分量，对较小的部分进行低秩适应。如图所示：

实际使用中，由于忽略了其他的 SVD 片段，PISSA 和 MiLoRA 的方法并不能保证其有较好的效果，尤其是在秩较低的情况下。

作者针对不同数据集，使用不同的 SVD 片段来初始化进行分析发现，不同任务对应的最佳 SVD 片段不同，同时其很可能在中间片段表现最好。

利用 MoE 的动态选择特性，研究人员提出了一种自适应 SVD 初始化，设计一个 LoRA MoE 的结构实现收敛速度和最终收敛性能的权衡。

首先对预训练大模型权重做奇异值分解，将其分解为多段，由 MoE 路由动态选择最相关的奇异值组合，灵活适配不同任务需求。其中每个和的 expert 由均匀切片的 SVD 片段构成，，使其能捕获的更全面的先验信息。

缩放因子过小？LoRA 的低秩梯度偏差

先前的 LoRA 方法中，常见的做法是使用缩放形式，且通常设为 2。

基于 SVD 的方法则通过将和同时除以，从而在权重大小不依赖于。

通过实验分析，仅通过调整能对 LoRA 的收敛速度和最终性能产生较大影响，尤其是极度低秩的场景下（在 LoRA MoE 中非常常见）。

为详细研究这一点，研究人员引入理论对齐假设：

使用全量微调的 Upcycled MoE（也即直接使用预训练权重初始化）作为性能上界。

如果在微调 LoRA MoE 的过程中，对每个专家，在初始化时保证 LoRA 专家的等效权重与全量微调 MoE 的专家权重一致，并在每次更新中使 LoRA 专家等效梯度与 MoE 全秩微调梯度对齐，LoRA MoE 就可以与全秩微调的 Upcycled MoE 在每一步优化都实现对齐，理论上能达成相同的性能。

利用该假设，对于等效权重对齐，研究人员推导出 SVD 初始化中使接近，需要减去额外减去矩阵最优期望为：