一个生产环境的灾难

某金融科技公司使用AI自动生成贷款审批报告。系统Prompt中明确要求：“输出纯JSON格式，字段名使用snake_case，日期格式为YYYY-MM-DD，不要包含任何注释。”

在测试环境中，GPT-5完美遵循了所有指令。但上线后他们切换到了更便宜的DeepSeek V3以降低成本。三天后，数据处理管道崩溃了——因为DeepSeek V3有时会在JSON外面包裹Markdown代码块，有时会用camelCase，有时日期格式会走样。

这不仅仅是格式问题。在生产环境中，指令遵循失败意味着系统崩溃。

什么是IF-Eval

IF-Eval（Instruction Following Evaluation）是Google在2024年发布的评测基准，专门测试模型对格式化指令的遵循能力。它包含25类约束，分为三类：

可验证约束（如：输出必须包含至少3个段落、字数在400-600之间、包含关键词"总结"）——这些可以通过代码自动验证。

格式约束（如：输出JSON格式、使用Markdown表格、列表项目不超过5条）——这些可以部分自动验证。

内容约束（如：语气保持专业、不要使用第一人称、避免使用"非常"等程度副词）——这些需要人工或LLM辅助评判。

五大模型IF-Eval得分与关键发现

GPT-5：92.4%。在可验证约束上几乎完美（97.8%），在格式约束上表现优秀（94.2%），在内容约束上有轻微下降（85.2%）。GPT-5是唯一一个在"不要包含任何注释"这类否定性约束上表现稳定的模型。

Claude 4 Opus：89.7%。在内容约束上表现最好（88.1%），能精准把握"语气专业但不生硬"这类模糊指令。但在格式约束上略逊于GPT-5（91.5%），偶尔会在JSON输出中插入友好的开场白。

Gemini 3 Ultra：84.2%。可验证约束表现不错（93.1%），但格式约束明显偏弱（78.3%）。主要问题：经常忽略"纯文本"要求，在输出中嵌入富文本格式。

DeepSeek V3：82.8%。格式约束是最大短板（74.5%）。在要求"严格JSON"时，约有15%的概率会包裹Markdown代码块。这在生产环境中是一个显著风险。

Llama 4 405B：78.2%。指令遵循是开源模型的结构性弱点。在多层嵌套约束（同时满足5条以上约束）时，成功率骤降至52%。

指令遵循能力的三个关键发现

发现一：约束越多，遵循率越低。 当指令包含1-2条约束时，所有模型遵循率超过90%。当约束增加到5条以上时，GPT-5遵循率降至78%，其他模型更差。你的Prompt越复杂，模型越可能"偷工减料"。

发现二：否定性约束比肯定性约束难。 “包含3个段落"比"不要超过3个段落"容易得多。模型在"不要做什么"上犯错率是"要做什么"的2-3倍。

发现三：格式约束的稳定性比准确性更重要。 一个模型可能90%的时候输出完美JSON，但10%的失败率在生产环境中是不可接受的。指令遵循的评测应该关注"尾部表现”，而不是平均分。

实用建议

如果你需要模型严格遵循格式指令：

  1. 使用GPT-5或Claude 4 Opus
  2. 在Prompt中多次重申关键约束（“在开头和结尾各强调一次”）
  3. 使用结构化输出API（如GPT-5的JSON Mode）
  4. 在输出端加一层格式验证和自动重试

指令遵循是2026年最被低估的评测维度。 一个模型"聪明"但"不听话"，在生产环境中比一个"一般聪明但很听话"的模型更危险。