微调数据准备：你的数据质量，决定了模型微调的上限

微调失败，90%是数据的问题

2026年，一个AI工程师的微调流程：下载Qwen 3.0 7B模型，用LoRA微调，找一些数据，跑一晚上，第二天看结果——精度提升了，但上线后用户反馈"不如不微调"。

问题出在哪？不是模型。不是LoRA。是数据。

微调数据的质量，决定了微调模型的上限。你用垃圾数据微调，模型学会的是垃圾。你用高质量数据微调，模型学会的是精华。

准则一：多样性。 微调数据必须覆盖你的"生产场景"的多样性。如果你做客服微调，你的数据必须包含：退货、换货、退款、投诉、咨询、闲聊——各种场景都要有。如果微调数据只覆盖了"退货"场景，模型上线后遇到"投诉"场景，就会"乱说"。

准则二：准确性。 微调数据中的"答案"必须是正确的。如果你用AI生成的微调数据，必须人工审核"答案是否正确"。AI生成的微调数据，有5-15%的"幻觉率"——如果这些"幻觉"进入微调数据，模型会学到"错误的知识"。

准则三：一致性。 微调数据中的"格式"必须一致。如果一部分数据是"JSON格式"，一部分是"对话格式"，模型会"困惑"。微调数据的一致性，决定了模型输出的"稳定性"。

准则四：代表性。 微调数据的分布，必须和"生产数据"的分布一致。如果生产环境中80%是"简单问题"，20%是"复杂问题"，微调数据也应该80/20。如果微调数据全是"复杂问题"，模型上线后遇到"简单问题"，会"过度回答"。

准则五：去重。 微调数据中如果有大量重复样本，模型会"过拟合"这些重复样本——在这些样本上表现极好，但在其他样本上表现极差。去重是微调数据准备的第一步，也是最容易被忽略的一步。

准则六：质量和数量平衡。 微调数据不是越多越好。1000条高质量数据，可能比10000条低质量数据效果好。微调数据的"质量"比"数量"重要得多。 2026年的经验是：对于LoRA微调，500-5000条高质量数据通常足够。超过5000条，边际收益递减。

第一步：采集。 从以下来源采集微调数据：生产日志（用户真实对话）、人工标注（专家编写）、AI生成（大模型生成+人工审核）、公开数据集（Hugging Face等）。

第二步：清洗。 去除：重复数据、格式错误数据、包含敏感信息数据、过短/过长数据、非目标语言数据。

第三步：审核。 人工审核（抽样10-20%的数据，检查准确性）、AI审核（用大模型自动检查数据质量）、一致性检查（格式是否统一、答案风格是否一致）。

第四步：增强。 如果某类场景数据不足，用AI生成"补充数据"（但必须人工审核）。如果长尾场景数据不足，刻意"过采样"长尾场景。

第五步：切分。 训练集（80%）：用于微调。验证集（10%）：用于调参。测试集（10%）：用于最终评估。

陷阱一：数据泄露。 测试集的数据"混入"了训练集。这是最常见的错误——模型在测试集上表现极好，因为"它已经见过这些数据了"。确保训练集和测试集"严格隔离"。

陷阱二：标签偏差。 微调数据中的"答案"有偏差——比如，客服微调数据中，所有"退款请求"都被"批准"了。模型会学到"任何退款请求都应该批准"——这在现实中是不可能的。确保微调数据覆盖"真实"的决策分布。

陷阱三：格式过拟合。 微调数据中的格式（如"用户：xxx\n客服：xxx"）和实际生产环境中的格式不一致。模型学会了"微调数据的格式"，但在实际使用中，输入的格式不同，模型表现变差。确保微调数据的格式和"生产环境的输入格式"一致。

微调数据是微调成功的关键。90%的微调失败，不是因为技术不好，而是因为数据太差。 2026年，微调技术（LoRA、QLoRA、全参数微调）已经非常成熟。真正的"瓶颈"，是数据质量。