2秒：AI应用的"生死线"
2026年，用户对AI的耐心只有2秒。根据Google的研究，网页加载时间超过3秒，53%的用户会离开。AI应用的延迟标准更严格——用户对AI的期望是"即时响应"，就像和人对话一样。
我们有一个客户，AI客服系统的P99延迟超过2000ms，用户投诉率高达15%。我们花了3周时间，将P99延迟降到了200ms——10倍的提升，用户投诉率从15%降到了1%。
以下是完整的优化过程，每一步都是可复现的技术方案。
延迟优化的两个指标
TTFT（Time to First Token）： 从用户发送请求到第一个token生成的时间。TTFT决定了用户感知的"响应速度"。
TPOT（Time per Output Token）： 每个输出token的生成时间。TPOT决定了用户感知的"流畅度"。
TTFT应该<200ms，TPOT应该<50ms（即每秒20+ tokens）。 这是2026年"实时对话"的黄金标准。
优化1：模型量化——TTFT从800ms降到400ms
原始方案： Qwen 3.0 72B，FP16，8xH100 TTFT： 800ms TPOT： 80ms
问题： 模型太大，FP16精度下权重大量占用显存带宽，导致prefill阶段（计算TTFT）非常慢。
优化： 将模型从FP16量化到FP8（H100原生支持FP8）。 TTFT： 400ms（降低50%） TPOT： 50ms（降低37%）
代价： 精度损失<0.5%（MMLU从77.5降到77.1），可以忽略。
第一刀砍在模型量化上，效果立竿见影。 这是性价比最高的延迟优化。
优化2：换用TensorRT-LLM——TTFT从400ms降到250ms
当前方案： vLLM + FP8量化 TTFT： 400ms
问题： vLLM的通用性好，但极致性能不如TensorRT-LLM。我们的场景是"固定模型+固定硬件"，不需要vLLM的灵活性。
优化： 切换到TensorRT-LLM，对Qwen 3.0 72B做深度编译优化（包括kernel fusion、memory planning、graph optimization）。 TTFT： 250ms（降低37%） TPOT： 35ms（降低30%）
代价： 首次部署需要1-2天的编译和调试时间。但一旦部署完成，运行时性能显著提升。
用TensorRT-LLM换vLLM，是"用部署时间换运行时性能"。 适合"固定模型+固定硬件"的生产环境。
优化3：Chunked Prefill——TTFT从250ms降到180ms
问题： 当用户输入比较长时（如1000+ tokens的上下文），prefill阶段需要一次性处理所有输入token，TTFT会飙升到500ms+。
优化： 启用Chunked Prefill。将长prompt的prefill分成多个小块（chunk_size=256），穿插到其他请求的解码阶段中。这样，长prompt不会"阻塞"计算资源，TTFT更稳定。
TTFT： 180ms（降低28%） P99 TTFT： 从500ms降到250ms（降低50%）
Chunked Prefill优化的是"尾延迟"（P99），而不是"平均延迟"（P50）。 对于实时对话场景，尾延迟比平均延迟更重要——因为一个用户的糟糕体验，可能意味着永久流失。
优化4：投机解码——TPOT从35ms降到20ms
问题： TPOT 35ms，相当于每秒28 tokens。虽然已经不错，但用户感觉"有点慢"。
优化： 启用投机解码。用Qwen 3.0 7B（FP8）作为草稿模型，Qwen 3.0 72B（FP8）作为主模型，K=3（每次投机3个token）。
TPOT： 20ms（降低43%） 草稿命中率： 78%（客服场景，输出相对固定）
投机解码让TPOT降低43%，用户感知"流畅了很多"。 但注意：温度必须设为0.1以下，否则草稿命中率太低。
优化5：Prompt优化——TTFT从180ms降到150ms
最后的优化： 缩短System Prompt和Few-shot示例。原始System Prompt有800 tokens，优化后压缩到200 tokens。
TTFT： 150ms（降低17%） TPOT： 20ms（不变）
Prompt优化是最简单、最便宜的延迟优化。 但要注意：缩短Prompt不能影响模型效果。我们的优化是"精炼"而不是"删减"。
最终效果
| 指标 | 优化前 | 优化后 | 提升 |
|---|---|---|---|
| P50 TTFT | 800ms | 150ms | 5.3倍 |
| P99 TTFT | 2000ms | 200ms | 10倍 |
| P50 TPOT | 80ms | 20ms | 4倍 |
| 用户投诉率 | 15% | 1% | 15倍 |
总成本： GPU从8xH100（FP16）降到4xH100（FP8 + 投机解码），GPU成本降低50%。
结语：延迟优化是"剥洋葱"
延迟优化不是"一蹴而就"，而是"一层一层剥洋葱"。 每一层优化贡献20-50%的延迟降低，叠加起来就是10倍的提升。
延迟优化的优先级：量化 > 推理框架 > 批处理策略 > 投机解码 > Prompt优化。 按这个顺序优化，每一步都有明确的ROI。
数据来源：作者团队推理延迟优化项目（2026年Q1），TensorRT-LLM/vLLM文档。