一个价值50万的实验
2026年Q1，我们做了一件"奢侈"的事：用完全相同的训练数据，对同一个基座模型（Qwen 3.0 7B），分别做全参数微调和LoRA微调，然后对比效果。
全参数微调花费：8张H100 x 3天 = $2,300（GPU租赁）+ 1个工程师 x 2周 = $4,000。总计约$6,300。
LoRA微调花费：1张H100 x 1天 = $60（GPU租赁）+ 1个工程师 x 3天 = $1,200。总计约$1,260。
全参数微调的成本是LoRA的5倍，但效果提升只有3-5%。 这3-5%的差距，值得5倍的成本吗？对大多数场景来说，不值得。但对少数场景来说，值得。
全参数微调的优势：那3-5%的差距
全参数微调在以下场景中，显著优于LoRA：
1. 领域知识注入。 如果你需要让模型学会一个全新的领域（比如让一个通用模型变成医学模型），全参数微调的效果远好于LoRA。在我们的医学知识注入实验中，全参数微调后的模型在医学问答上的准确率比LoRA高12%。
原因：LoRA只能修改模型的"表面"（低秩适配器），而全参数微调可以修改模型的"内部"（所有层的权重）。 注入全新的领域知识，需要修改模型的"内部表示"，而LoRA只能触及"外部行为"。
2. 风格迁移。 如果你需要将模型的输出风格从"学术风格"变成"小说风格"，全参数微调的效果显著优于LoRA。在我们的风格迁移实验中，全参数微调后的模型在风格一致性评分上比LoRA高15%。
3. 大规模数据（10万+条）。 当训练数据超过10万条时，LoRA的"容量"（低秩矩阵的参数量）不足以消化所有信息。全参数微调可以利用所有数据，而LoRA会"饱和"。
LoRA的优势：不是效果，而是效率
LoRA的核心优势不是效果，而是效率：
1. 显存效率。 全参数微调Qwen 3.0 7B需要约56GB显存（FP16，batch_size=4），而LoRA只需要约16GB。一张RTX 4090（24GB）就能做LoRA微调，而全参数微调至少需要4张A100。
2. 存储效率。 全参数微调需要保存完整的模型权重（约14GB），而LoRA只需要保存适配器（约50MB）。存储成本降低280倍。
3. 迭代效率。 你可以训练10个不同的LoRA适配器，然后像"插件"一样切换。全参数微调每训练一个版本，就需要保存一个完整的模型。
LoRA的价值不是"做得更好"，而是"做得更快、更便宜、更灵活"。
2026年微调方法选型决策树
你需要微调模型吗？
├── 数据量 < 1000条 → 用Prompt工程，不要微调
├── 数据量 1000-10000条
│ ├── 简单任务（分类、情感分析）→ LoRA，rank=8
│ ├── 中等任务（QA、摘要）→ LoRA，rank=16
│ └── 复杂任务（代码生成、推理）→ LoRA，rank=32
├── 数据量 10000-100000条
│ ├── 领域知识注入 → 全参数微调
│ ├── 风格迁移 → 全参数微调
│ └── 其他任务 → LoRA，rank=32-64
└── 数据量 > 100000条
└── 全参数微调（LoRA的容量不够）
混合微调：最优方案
2026年最先进的微调策略是"混合微调"：
- 先用LoRA快速实验，找到最优的数据配比和超参数
- 确认方案可行后，用全参数微调做最终版本
- 用全参数微调的模型 + LoRA做后续的快速迭代
LoRA是"实验工具"，全参数微调是"生产工具"。 前者让你快速失败、快速学习，后者让你在正确方向上做到最好。
结语：微调不是"选边站"
全参数微调和LoRA不是"对手"，而是"组合"。用LoRA做探索，用全参数微调做收敛。 这才是2026年微调的最佳实践。
不要陷入"全参数微调一定更好"或"LoRA一定够用"的极端思维。不同的场景，不同的方法。 理解每种方法的优势和局限，才是真正的"专家"。
数据来源：作者团队全参数微调vs LoRA对比实验（2026年Q1），HuggingFace TRL文档。