推理优化

为什么vLLM快10倍？ vLLM在2026年是推理服务的"标配"。它比原生HuggingFace Transformers快10倍不止。但大多数人只知道"vLLM很快"，不知道它为什么快。 vLLM快的秘密只有两个：PagedAttention和Continuous Batching。 PagedAttention解决了KV Cache的显存碎片化问题，Continuous Batching解决了GPU利用率低的问题。 本文深入Continuous Batching的源码，拆解它的调度策略和实现细节。 传统批处理的问题 传统批处理（Static Batching）的工作方式是：攒够N个请求，组成一个batch，一起处理，处理完再攒下一批。 问题1：短请求被长请求阻塞。 请求A（10个输出token）和请求B（1000个输出token）在同一个batch中。请求A只需要10步就完成了，但它必须等待请求B完成1000步才能退出batch。GPU在等待请求B的999步时，请求A的输出位置是"空"的——浪费了GPU算力。 问题2：新请求需要等待。 请求C在batch处理过程中到达，但它必须等待当前batch处理完才能加入。即使GPU有闲置算力，也无法处理请求C。 问题3：显存利用率低。 每个请求预分配最大长度的KV Cache，但大多数请求用不到。显存利用率只有30-50%。 Continuous Batching的解决方案 Continuous Batching的核心思想：请求不是"一批一批"处理的，而是"流式"处理的。 每个请求在生成一个token后，就可以决定"继续"还是"退出"。新请求可以随时加入。 vLLM的调度循环（伪代码）： while True: # 1. 从等待队列中取出新请求，加入运行队列 new_requests = waiting_queue.pop_all() running_queue.extend(new_requests) # 2. 对运行队列中的所有请求，生成一个token for request in running_queue: token = model.generate_one_token(request) request.output.append(token) # 3. 检查每个请求是否完成 for request in running_queue: if request.is_finished(): running_queue.remove(request) return_result(request) # 4. 回到步骤1 关键：每个请求生成一个token后，就检查是否完成。完成的立即退出，给新请求腾出空间。 没有"等待一个batch完成"的概念。 调度的"加减法" 加（Add）： 新请求从等待队列进入运行队列。vLLM的调度器会检查：当前GPU显存是否足够？如果不够，即使有等待请求，也不添加（防止OOM）。 减（Remove）： 完成的请求从运行队列退出。vLLM释放它的KV Cache（PagedAttention的"页"），供新请求使用。 ...

一个反直觉的事实：大模型推理的瓶颈不是计算，而是显存 如果你问一个外行：“大模型推理为什么这么慢？“他可能会说：“因为计算量太大了，需要算很多矩阵乘法。” 但真相是：大模型推理的瓶颈不是计算，而是显存带宽。 GPU的计算速度（FLOPS）远快于显存读写速度（Memory Bandwidth）。H100的计算速度是2000 TFLOPS（FP16），但显存带宽只有3.35 TB/s。计算速度是显存带宽的600倍。 这意味着，GPU花在"等待数据从显存加载到计算单元"上的时间，远多于"真正计算"的时间。FlashAttention解决的就是这个问题——减少显存读写，让计算单元不再"空转等待”。 Self-Attention的计算瓶颈 标准的Self-Attention计算流程是这样的： 从显存读取Q、K、V矩阵（3个N×d的矩阵） 计算 Q×K^T → 得到注意力分数矩阵 S（N×N的矩阵） 对S做Softmax 将Softmax结果 × V → 得到输出矩阵 O（N×d的矩阵） 将O写回显存 问题出在第2步：S矩阵的大小是N×N（N是序列长度）。 对于128K上下文，N=128000，S矩阵有160亿个元素，需要约32GB显存（FP16）。而且S矩阵需要反复读写显存——先写进去，再读出来做Softmax，再写进去，再读出来乘V。 每次做Self-Attention，都要读写一个巨大的S矩阵。 这就是显存带宽瓶颈的根源。 FlashAttention的核心创新：分块计算 FlashAttention的核心思想是：不要把整个S矩阵写回显存，而是分块计算、就地累加。 具体来说： 将Q分成小块（Block），每次只加载一个Q块到SRAM（GPU的片上缓存，非常快但很小） 将K、V也分成小块，逐个加载到SRAM 在SRAM中计算局部的注意力分数，做Softmax，乘V，累加到输出 处理完所有K、V块后，将最终输出写回显存 关键：S矩阵（N×N）永远不会被完整写回显存。 它只在SRAM中存在，用完就丢弃。这就省掉了最大的一笔显存读写开销。 效果：显存读写量从 O(N^2) 降低到 O(N)。 对于128K上下文，显存读写量降低约1000倍。 FlashAttention-3的进一步增强 2026年，FlashAttention已经发展到第3代（FlashAttention-3）。相比FlashAttention-2，FA3做了两个关键增强： 1. 异步计算。 FA3利用H100的新特性（TMA，Tensor Memory Accelerator），将数据加载和计算完全异步化。当计算单元在处理当前块时，显存控制器已经在加载下一个块。计算和显存读写不再"串行等待”，而是"并行重叠"。 2. FP8支持。 FA3原生支持FP8精度，可以在不损失质量的情况下，将显存占用再降低一半，速度再提升30%。 FA3在H100上的实测效果（Llama 4 70B，128K上下文）： 推理速度：FA2的1.5倍，标准注意力的4倍 显存占用：标准注意力的1/5 FlashAttention的局限性 FlashAttention不是"免费午餐"。 它有三个局限性： 1. 只适用于Self-Attention。 FlashAttention只优化了注意力机制这一部分。对于FFN层、Embedding层、LayerNorm层，FlashAttention无能为力。 2. 对硬件有要求。 FA3需要H100的TMA特性，在A100上只能使用FA2。FA2需要SM80+的GPU（A100、RTX 3090+）。 3. 分块计算有精度损失。 分块Softmax的数值精度略低于完整Softmax（误差通常在1e-5量级）。对于绝大多数应用，这个误差可以忽略。但对于一些对精度极度敏感的场景（如科学计算），可能需要关闭FlashAttention。 ...

KV Cache：推理显存的"巨兽" 大模型推理时，显存里存了什么？模型权重、KV Cache、中间激活。其中，KV Cache是最大的显存消耗者。 以Llama 4 405B为例，在128K上下文下： 模型权重：810GB（FP16） KV Cache：约200GB 中间激活：约50GB 总计：约1060GB KV Cache占用了约20%的显存，而且随着上下文长度线性增长。 128K上下文需要200GB KV Cache，256K就需要400GB，512K就需要800GB——比模型权重还大。 优化KV Cache，就是优化推理成本。 省下50%的KV Cache，你的GPU就可以少买一半。 优化方法一：GQA/MQA（减少KV Head数量） 标准Multi-Head Attention（MHA）中，每个Query Head对应一个Key Head和一个Value Head。但GQA（Grouped Query Attention）让多个Query Head共享一组Key/Value Head。 以Llama 4 70B为例： MHA：64个Query Head，64个Key Head，64个Value Head GQA：64个Query Head，8个Key Head，8个Value Head KV Cache减少：8倍 GQA的代价： 注意力质量略有下降（约1-2%），但对于大多数任务来说，这个损失可以忽略。 **MQA（Multi-Query Attention）**更极端：所有Query Head共享1组Key/Value Head。KV Cache减少64倍，但注意力质量下降更明显（3-5%）。 2026年，GQA已经成为主流架构的标配。 Llama 4、Qwen 3.0、Mistral Large 3都用了GQA。只有少数模型（如一些学术模型）还坚持MHA。 优化方法二：PagedAttention（vLLM的核心创新） 传统的KV Cache是一块连续的显存，预分配最大长度。问题：大多数请求用不到最大长度，分配的显存白白浪费了。 PagedAttention（vLLM的核心创新）将KV Cache分成"页"（Page），按需分配。就像操作系统的虚拟内存——不是一次性分配所有物理内存，而是按需分配。 效果： 显存利用率从30-50%提升到80-90% 支持更大的并发请求数 支持KV Cache的"共享"（多个请求共享相同的Prompt前缀） PagedAttention已经是2026年推理框架的标配。 vLLM、SGLang、TensorRT-LLM都实现了类似机制。 ...

你的AI应用"爆了" 2026年，AI应用的爆发速度远超预期。一个AI客服应用，3个月内从100 DAU增长到100万 DAU。推理服务架构需要从"单机"演进到"全球多区域集群"。 用户增长带来的挑战： 100 DAU → 1台GPU就够了 1万 DAU → 需要多台GPU，需要负载均衡 100万 DAU → 需要GPU集群，需要弹性伸缩，需要多区域部署 架构不是"一步到位"的，而是"随业务增长"的。 以下是我们陪伴一个AI应用从100 DAU到100万 DAU的完整架构演进过程。 阶段一：单机时代（100-1000 DAU） 架构： 1台GPU服务器 + 1个推理服务进程 技术栈： vLLM + Qwen 3.0 7B + 1xH100 架构特点： 简单、够用、没有"高可用"。 问题： 单点故障——GPU挂了，服务就挂了。但在这个阶段，10分钟的宕机不致命（用户量小，影响面小）。 成本： $2.5/小时（GPU），$1,800/月。 阶段二：双机热备（1000-1万 DAU） 架构： 2台GPU服务器 + 负载均衡（Nginx/HAProxy） 技术栈： vLLM + Qwen 3.0 7B + 2xH100 + Nginx 架构特点： 有了"高可用"——一台GPU挂了，另一台继续服务。但负载均衡是"主备"模式（一台处理所有请求，另一台只做备份），资源利用率只有50%。 成本： $5/小时（GPU），$3,600/月。 阶段三：多机负载均衡（1万-10万 DAU） 架构： 4-8台GPU服务器 + 负载均衡（Nginx/Envoy） + 健康检查 技术栈： vLLM + Qwen 3.0 72B + 4-8xH100 + Envoy ...

推理框架选错，GPU白买 2026年，开源推理框架已经形成了三足鼎立的格局：vLLM（社区最活跃）、SGLang（结构化生成最强）、TensorRT-LLM（性能最强但最难用）。 我们见过一个团队，用错推理框架，8张H100的吞吐量还不如别人4张H100。 推理框架的选择，直接决定了你的GPU利用率、延迟和成本。选错框架，相当于你买的GPU有一半在"摸鱼"。 我们在7个模型（Llama 4 7B/70B/405B、Qwen 3.0 7B/72B、DeepSeek V4、Mistral Large 3）、4种GPU（H100、A100、L40S、RTX 4090）上，实测了vLLM 0.9、SGLang 0.4、TensorRT-LLM 0.15。 吞吐量对比：vLLM通用性最强 模型 vLLM SGLang TensorRT-LLM Llama 4 7B (H100) 4500 tok/s 4200 tok/s 5200 tok/s Llama 4 70B (H100) 1800 tok/s 1600 tok/s 2100 tok/s Llama 4 405B (8xH100) 3500 tok/s 3100 tok/s 4000 tok/s Qwen 3.0 7B (H100) 4300 tok/s 4000 tok/s 5000 tok/s DeepSeek V4 (8xH100) 5500 tok/s 6000 tok/s 4800 tok/s TensorRT-LLM在大多数模型上吞吐量最高，但DeepSeek V4上SGLang反超。 因为DeepSeek V4的MLA架构在SGLang上有更好的算子优化。 ...

边缘推理：AI的"最后一公里" 2026年，AI推理正在从"云端"走向"边缘"。你的手机、汽车、智能手表、工厂机器人——这些设备都在运行AI模型，而且推理必须发生在设备端，不是云端。 为什么？三个原因： 延迟： 自动驾驶需要在10ms内做出决策，云端延迟至少100ms。撞车之后才刹车的AI，不如没有AI。 隐私： 你的健康数据、家庭照片、银行密码——你不想上传到云端让AI处理。本地推理，数据不出设备。 离线： 地铁、电梯、山区——没有网络的地方，云端AI不可用。 边缘推理是AI的"最后一公里"——也是"最难的一公里"。 因为边缘设备的算力、内存、功耗，都是云端服务器的零头。 边缘推理的"三大挑战" 挑战1：算力限制。 手机芯片的AI算力约10-50 TOPS（INT8），而云端H100的算力是2000 TFLOPS（FP16）。算力差100倍以上。 挑战2：内存限制。 手机通常只有8-16GB RAM，其中AI模型只能分到2-4GB。而云端H100有80GB显存。内存差20倍以上。 挑战3：功耗限制。 手机是电池供电，AI推理的功耗必须控制在1-3W以内。而云端H100的功耗是700W。功耗差200倍以上。 在这三重限制下，边缘推理需要"重新设计"AI模型。 不是把云端模型缩小，而是从零开始为边缘设备设计模型。 2026年边缘推理的"四大技术" 技术1：极致模型压缩。 MiniCPM-3（2.4B参数，手机端跑出GPT-3.5的性能）是2026年边缘模型的标杆。它用了知识蒸馏、量化、剪枝、架构搜索——四种压缩技术叠加，把175B的"知识"压缩到了2.4B的"体积"。 技术2：芯片级AI加速。 2026年的旗舰手机芯片（高通骁龙8 Gen 5、苹果A19、联发科天玑9400）都内置了专用的AI加速器（NPU）。NPU的推理能效比是GPU的5-10倍——同样的功耗，NPU可以做更多推理。 技术3：混合推理（Hybrid Inference）。 简单任务在设备端推理（如语音唤醒、文本分类），复杂任务上传到云端推理（如长文档分析、复杂QA）。不是"云端vs边缘"的二选一，而是"云端+边缘"的协同。 技术4：模型流式加载。 边缘设备的内存有限，不能一次性加载整个模型。模型流式加载（Streaming Model Loading）让模型"边加载边推理"——只加载当前需要的层，用完就释放。 边缘推理的真实场景 场景1：AI手机。 2026年，OPPO、vivo、小米的旗舰手机都内置了AI助手。这些助手能做：智能回复（根据上下文生成回复建议）、AI消除（擦除照片中的路人）、AI摘要（长文档一键总结）。全部在设备端完成，不上传云端。 场景2：自动驾驶。 特斯拉的FSD V14在2026年实现了"端到端AI驾驶"——从摄像头输入到方向盘控制，全部由AI模型完成。推理在车载芯片（HW5.0，144 TOPS）上完成，延迟<10ms。 场景3：工业IoT。 工厂的质检摄像头使用AI模型检测产品缺陷。推理在边缘网关（NVIDIA Jetson Orin）上完成，延迟<50ms，一个网关可以同时处理16路摄像头。 边缘推理的框架选型 2026年边缘推理框架： TensorFlow Lite： Google的端侧推理框架，支持Android/iOS/嵌入式设备 ONNX Runtime Mobile： 微软的跨平台推理框架，支持量化、硬件加速 MediaPipe： Google的多媒体AI框架，内置手势识别、人脸检测等模型 MNN（阿里巴巴）： 高性能端侧推理引擎，中文生态最好 ncnn（腾讯）： 为移动端优化的推理框架，速度快 选型建议：Android → TensorFlow Lite或MNN；iOS → Core ML；跨平台 → ONNX Runtime Mobile。 ...

不做量化，你的GPU在"浪费" 不做量化的模型（FP16），显存占用是FP8量化的2倍，是INT4量化的4倍。 这意味着，不做量化，你需要多买2-4倍的GPU。 但量化不是"一键压缩"那么简单。不同的量化方法，精度损失不同，硬件支持不同，适用场景不同。选错了量化方法，不是"省显存"，而是"毁模型"。 我们在Qwen 3.0 7B/72B和Llama 4 7B/70B上，实测了所有主流量化方法。以下是完整结论。 量化基础知识 量化的本质： 将模型的权重和激活从高精度（FP16/BF16，每个参数2字节）压缩到低精度（INT8/INT4，每个参数1字节/0.5字节）。 量化的两种类型： 权重量化（Weight-only Quantization）： 只量化模型权重，激活保持高精度。适合"显存受限于模型大小"的场景。 权重+激活量化（Weight+Activation Quantization）： 同时量化权重和激活。适合"显存受限于KV Cache"的场景。 各量化方法实测对比 AWQ（Activation-aware Weight Quantization） 原理： 基于"激活值"的分布确定量化参数。重要的通道（激活值大的通道）用更高精度，不重要的通道用更低精度。 实测（Qwen 3.0 7B，MMLU）： FP16：77.5（基准） AWQ INT4：76.8（-0.7） 结论：几乎无损，推荐作为默认量化方法。 GPTQ（Post-Training Quantization） 原理： 基于"最优脑损伤"理论，逐层量化，最小化量化误差。 实测（Qwen 3.0 7B，MMLU）： GPTQ INT4：76.1（-1.4） GPTQ INT8：77.3（-0.2） 结论：INT8几乎无损，INT4略有损失。比AWQ慢，但精度略高。 bitsandbytes NF4/INT8 原理： 4-bit量化，使用NF4（NormalFloat4）数据类型，更好地捕捉正态分布的权重。 实测（Qwen 3.0 7B，MMLU）： NF4（QLoRA）：76.5（-1.0） INT8：77.2（-0.3） 结论：NF4适合QLoRA微调，不适合直接推理（速度慢）。 FP8（Native FP8） 原理： 使用NVIDIA H100原生支持的FP8数据类型。FP8比FP16精度低，但比INT8精度高（因为浮点数可以表示更大的动态范围）。 实测（Qwen 3.0 7B，MMLU）： FP8：77.3（-0.2） 结论：H100上精度最高、速度最快的量化方法。推荐所有H100用户使用FP8。 量化方法选型决策树 你的GPU是什么？ ├── H100/B100 → 用FP8（原生支持，精度最高，速度最快） ├── A100 → 用AWQ INT4（GPU不支持FP8） └── RTX 4090/3090 ├── 模型能放进显存 → 用FP16（不需要量化） └── 模型放不进显存 → 用AWQ INT4（省显存，精度损失最小） 量化精度损失的金科玉律 1. 大模型更耐量化。 70B模型INT4量化的精度损失（约1%）远小于7B模型（约3%）。模型越大，对量化越不敏感。 ...

你的GPU在"摸鱼" 如果你用过vLLM的GPU利用率监控，你可能会看到一个令人沮丧的数字：GPU利用率只有30-50%。 这意味着你花$2.5/小时租的H100，有50-70%的时间在"摸鱼"——不是在做计算，而是在等待。等待什么？等待请求凑够一个batch，等待一个长请求处理完才能处理下一个短请求，等待KV Cache有空间。 批处理策略是GPU利用率的"水龙头"——策略对了，GPU利用率从30%飙升到80%；策略错了，GPU利用率永远上不去。 批处理为什么重要？ 大模型推理的悖论： 单请求的延迟和吞吐量是矛盾的。如果你一个一个处理请求，延迟最低（每个请求不需要等待），但吞吐量最低（GPU大量时间空闲）。如果你攒一批请求一起处理，吞吐量最高，但延迟最高（请求需要等待凑够批次）。 批处理策略的目标：在延迟和吞吐量之间找到最优平衡。 即：在保证延迟SLI（Service Level Indicator）的前提下，最大化吞吐量。 批处理策略的演化 第一代：Static Batching（静态批处理）。 攒够N个请求，一起处理，处理完再攒下一批。最简单，但GPU利用率最低——每个请求都要等凑够批次。 第二代：Dynamic Batching（动态批处理）。 在max_batch_size和max_wait_time之间动态平衡。如果请求来得快，攒够max_batch_size就处理；如果请求来得慢，到达max_wait_time就处理（即使不满批次）。 第三代：Continuous Batching（连续批处理，vLLM的核心创新）。 不是"攒一批处理一批"，而是"进来一个处理一个，长完一个退出一个"。这是2026年推理服务的标配。 Continuous Batching的工作方式 传统批处理：请求A、B、C一起进来，一起处理，一起完成。但请求A只有10个token要生成，请求C有1000个token要生成。请求A在10个token后完成了，但它必须等待请求C完成999个token，才能"退出"批次。 这就是"队头阻塞"（Head-of-Line Blocking）。 Continuous Batching：请求A完成10个token后，立即退出批次。GPU继续处理请求B和C。同时，新的请求D可以立即加入批次。没有"等待"，GPU一直在处理有效请求。 效果： GPU利用率从30-50%提升到70-85% P99延迟降低50-80%（因为短请求不会被长请求阻塞） 吞吐量提升2-3倍 高级批处理策略 Priority Batching（优先级批处理）。 给请求分配优先级，高优先级请求优先处理。适合"混合场景"——实时对话（高优先级）和批量分析（低优先级）混合。 Chunked Prefill（分块预填充）。 将长prompt的预填充阶段分成多个小块，穿插到其他请求的解码阶段中。解决了"长prompt阻塞短请求"的问题。 Preemption（抢占）。 当高优先级请求到达时，暂停低优先级请求，将它的KV Cache换出到CPU内存，先处理高优先级请求。适合"实时对话优先"的场景。 批处理参数调优实战 我们在Qwen 3.0 72B（8xH100）上，测试了不同批处理策略的效果： 策略 吞吐量 P50延迟 P99延迟 GPU利用率 Static Batching (batch=32) 1200 tok/s 150ms 3000ms 35% Dynamic Batching (max=64) 1800 tok/s 120ms 2000ms 50% Continuous Batching 3200 tok/s 80ms 800ms 78% + Chunked Prefill 3500 tok/s 75ms 600ms 82% + Priority Batching 3400 tok/s 60ms(高)/120ms(低) 400ms 80% Continuous Batching是基础，Chunked Prefill和Priority Batching是锦上添花。 先上Continuous Batching，效果不够再叠加其他策略。 ...

投机解码的"魔法"和"陷阱" 投机解码（Speculative Decoding）是2026年最热门的推理加速技术。它的核心思想很简单：用小模型快速生成"草稿"，用大模型验证"草稿"，如果验证通过就接受，不通过就回退。 理论上，投机解码可以让推理速度提升2-3倍，而且不损失任何质量（因为最终的输出仍然由大模型决定）。 但实践中，90%的团队用错了投机解码。 他们在LLM Leaderboard上看到的速度提升，到自己的场景中消失了。因为投机解码的效果极度依赖场景、模型和参数。 投机解码的工作原理 Step 1：草稿生成。 用一个"草稿模型"（Draft Model，通常是同系列的小模型，如Llama 4 7B做Llama 4 70B的草稿模型）快速生成K个候选token（通常K=3-5）。 Step 2：大模型验证。 大模型一次性对这K个候选token进行验证（并行计算，不需要逐token生成）。 Step 3：接受或拒绝。 如果草稿模型生成的token和大模型会生成的token一致，就接受；不一致，就拒绝并回退，用大模型重新生成。 Step 4：继续前进。 在接受的token之后，继续投机解码。 投机解码的加速原理： 大模型一次验证K个token，只需要一次前向计算。而标准解码生成K个token，需要K次前向计算。如果草稿模型的"命中率"高，大模型就省下了K-1次前向计算。 投机解码的"三大坑" 坑1：草稿模型选错了 草稿模型必须满足两个条件： 和主模型"同架构"（不能用Llama做草稿，Qwen做主模型——分布完全不同） 比主模型"快很多"（至少快5倍，否则草稿生成的时间比节省的时间还多） 推荐组合： Llama 4 7B（草稿）→ Llama 4 70B（主模型）✓ Qwen 3.0 7B（草稿）→ Qwen 3.0 72B（主模型）✓ DeepSeek V4-Lite（草稿）→ DeepSeek V4（主模型）✓ Llama 4 7B（草稿）→ Qwen 3.0 72B（主模型）✗（不同架构） 坑2：温度（Temperature）设置不对 投机解码的标准实现要求温度=0（贪婪解码）或温度很小（<0.3）。 因为投机解码的验证机制依赖"概率分布匹配"——如果温度太高，分布太分散，草稿模型的命中率会急剧下降。 在我们的测试中： 温度=0：草稿命中率85%，速度提升2.3倍 温度=0.3：草稿命中率70%，速度提升1.8倍 温度=0.7：草稿命中率50%，速度提升1.3倍 温度=1.0：草稿命中率30%，速度提升1.05倍（几乎无加速） 投机解码适合"确定性任务"（代码生成、翻译、QA），不适合"创造性任务"（故事创作、诗歌）。 坑3：没有关闭KV Cache共享 投机解码中，草稿模型和大模型必须共享KV Cache。 否则，每次验证后都需要重新计算KV Cache，省下的时间全部浪费了。 ...

Token经济学：你的AI应用在"烧钱"吗？ 2026年，推理成本是AI应用的最大开销。一个日均1亿token的AI应用： 如果用GPT-5 API：每天成本约$2,500，每月$75,000 如果用开源模型自部署（FP16，8xH100）：每天成本约$500，每月$15,000 $15,000一个月，对于创业公司来说，这可能就是全部利润。 我们帮助一个AI客服应用（日均1亿token），将推理成本从每百万token $0.5降到了$0.02。成本降低25倍。 以下是完整的7步优化。 优化1：FP8量化——成本减半 原始方案： FP16，每百万token成本$0.50 优化： FP8量化，每百万token成本$0.25 节省：50% FP8量化是"性价比最高"的优化。H100原生支持FP8，精度损失<1%，成本减半。每个H100用户都应该第一时间做FP8量化。 优化2：换用更小的模型——成本再减半 当前方案： Qwen 3.0 72B，每百万token成本$0.25 问题： 客服场景不需要72B的模型。7B模型在客服场景中的准确率（88%）和72B模型（91%）只差3%，但推理成本差10倍。 优化： 换用Qwen 3.0 7B + LoRA微调，每百万token成本$0.05 节省：80% 不要用"大炮打蚊子"。 大多数场景不需要最大的模型。用最小的模型满足需求，是成本优化的第一原则。 优化3：Continuous Batching + 高并发——GPU利用率提升 当前方案： Static Batching，GPU利用率35% 问题： GPU大量时间在"空转等待"。 优化： Continuous Batching，GPU利用率提升到75% 效果： 同样的GPU，吞吐量提升2.1倍，每百万token成本$0.025 节省：50% GPU利用率是成本优化的"隐藏金矿"。 GPU利用率从35%提升到75%，成本减半。 优化4：投机解码——吞吐量再提升 优化： 启用投机解码（Qwen 3.0 1.5B做草稿模型） 效果： 草稿命中率75%，吞吐量提升1.8倍，每百万token成本$0.014 节省：44% 投机解码是"免费午餐"——不需要换模型，不需要换硬件，只需要加一个小草稿模型。 但前提是：你的场景适合投机解码（确定性高、温度低）。 优化5：KV Cache INT8量化——显存利用率提升 优化： KV Cache从FP16量化到INT8 效果： 显存占用降低30%，可以支持更大并发，每百万token成本$0.011 节省：21% KV Cache量化是"被低估"的成本优化。 它不直接降低单次推理成本，但降低了显存占用，允许更大的batch size，从而提升吞吐量。 ...