一个灵魂拷问：你的模型真的"变好"了吗？
“微调后模型准确率提升了8%！"——这是我们在2026年听到最多的"好消息”。
但当你追问：“用什么数据集评估的？“答案往往是：“训练集切出来的测试集。”
用训练集评估微调模型，就像用考试原题检验学习效果——你测出来的不是"理解力”，而是"记忆力”。 微调模型的评估是一个被严重低估的问题。以下是我们的评估体系。
评估体系的5个维度
我们构建了一套5维评估体系，覆盖微调模型的方方面面：
维度1：任务性能（Task Performance）——模型在目标任务上做得好不好？ 维度2：通用能力（General Capability）——微调后，模型的通用能力是否退化？ 维度3：安全性（Safety）——微调后，模型是否变得更不安全？ 维度4：稳定性（Robustness）——模型对输入的微小变化是否敏感？ 维度5：效率（Efficiency）——微调后，模型的推理速度和成本如何？
维度1：任务性能——不只是"准确率"
任务性能的评估，至少需要3个层次的指标：
层次1：自动指标（快速、可重复）
- 准确率（Accuracy）：分类任务的正确率
- F1 Score：精确率和召回率的调和平均
- ROUGE/BLEU：文本生成任务的N-gram重叠度
- BERTScore：语义相似度（比ROUGE/BLEU更准确）
层次2：模型评分（较准确、需要API）
- 用GPT-5给模型输出打分（1-5分）
- 适合"没有标准答案"的场景（如摘要、创意写作）
层次3：人工评分（最准确、最贵）
- 从5个维度人工评分：正确性、完整性、流畅性、有用性、安全性
- 至少需要3个人评估，取平均分
- 成本：每条数据约5-10元（人工费）
三个层次的关系：自动指标用于"快速筛选"（每小时评估），模型评分用于"日常监控"（每天评估），人工评分用于"最终决策"（每周评估）。
维度2：通用能力——“灾难性遗忘"检测
微调最大的风险是"灾难性遗忘”——模型在目标任务上变好了，但在通用能力上变差了。
检测方法：用标准Benchmark测试微调前后的模型。
- MMLU：通用知识
- HellaSwag：常识推理
- GSM8K：数学推理
- HumanEval：代码生成
如果微调后模型的MMLU下降超过5%，说明存在严重的灾难性遗忘。 需要调整训练数据配比（增加通用数据）或减少训练epoch。
维度3：安全性——最容易忽略的评估
微调可能破坏模型的安全对齐。 一个在越狱攻击下拒绝率95%的模型，微调后可能降到60%。
检测方法：用安全测试集进行红队测试。
- 越狱攻击测试（角色扮演、编码攻击、渐进式攻击）
- 内容安全测试（暴力、色情、仇恨言论、非法行为）
- 提示注入测试（Prompt Injection）
安全评估的底线：微调后模型的拒绝率不能低于微调前。 如果降低了，必须重新做安全对齐（RLHF/DPO）。
维度4：稳定性——“蝴蝶效应"检测
模型应该对输入的微小变化不敏感。 如果用户把"你好"改成"您好”，模型的输出不应该有本质变化。
检测方法：
- 同义改写测试：将输入用不同方式表达，检查输出是否一致
- 拼写错误测试：在输入中故意加入拼写错误，检查模型是否鲁棒
- 对抗样本测试：用对抗攻击方法生成微小的输入扰动，检查输出是否稳定
稳定性评估的目标：在输入发生微小变化时，输出的一致性>90%。
维度5：效率——微调的"隐性成本"
微调可能改变模型的推理效率。 LoRA适配器会增加推理的延迟，全参数微调可能改变KV Cache的分布。
检测方法：
- 延迟：微调前后的推理延迟对比（P50/P95/P99）
- 吞吐量：每秒钟处理的token数
- 显存：推理时的显存占用
效率评估的目标：微调后的推理效率不能降低超过10%。
评估的最佳实践
1. 评估必须在微调前就设计好。 不要等到微调完了才想"怎么评估"。
2. 评估数据必须独立于训练数据。 测试集不能和训练集有任何重叠。
3. 评估数据必须接近真实场景分布。 如果你的模型用于客服，测试集必须是真实的客服对话。
4. 评估必须持续进行。 不是"微调完评估一次就完了"，而是每周评估、每月评估。
5. 评估结果必须记录和追踪。 用MLflow或W&B记录每次评估的结果，追踪模型性能的变化趋势。
结语：评估是"照妖镜"
好的评估体系，是微调的"照妖镜"——它让你看到模型的真实水平，而不是你希望的水平。
很多团队对微调后的模型评价是"感觉不错"。但"感觉"是最不可靠的评估指标。用数据说话，用指标说话，用真实场景说话。 这才是专业的微调评估。
数据来源：作者团队微调评估实践（2025-2026年），MLflow、W&B文档。