一个真实的翻车案例

2025年底，某AI创业团队花了三个月时间，把一个7B模型压缩到可以在RTX 4090上以每秒80 tokens的速度运行。效果很好，于是他们决定把这个模型部署到边缘设备上——一台搭载Intel Xeon处理器的工业服务器。

结果：推理速度从80 token/s掉到了3 token/s。客户当场表示不能接受。

这不是个案。2026年，随着AI部署场景从云端扩展到边缘、手机、IoT设备，硬件适配已经成为模型压缩中最容易被忽视但最关键的一环。

CPU推理：量化是唯一出路

在CPU上做LLM推理，没有太多选择。CPU没有Tensor Core，没有高带宽显存，唯一的优势是内存容量大（可以插128GB甚至256GB DDR5）。

CPU推理的核心策略是：极致量化 + 内存优化。

量化级别：CPU上通常需要4-bit甚至3-bit量化。llama.cpp在CPU上的4-bit推理速度约为2-5 token/s（取决于CPU核心数和模型大小），这对于批量处理、非实时场景是可以接受的。

内存带宽是关键：CPU推理的瓶颈是内存带宽，而不是计算能力。双通道DDR5-5600的内存带宽约为90 GB/s，而四通道可以达到180 GB/s。如果你的服务器支持四通道内存，一定要用满。

批处理提升吞吐：CPU的强项是批处理。虽然单次推理慢，但可以同时处理多个请求。对于后台批处理场景（如文档分析、数据标注），CPU推理的性价比很高。

GPU推理：显存和带宽的平衡

GPU推理的核心策略是：在显存约束下最大化吞吐量。

4-bit量化是甜点：在GPU上，4-bit量化通常是最佳选择。它提供了显存减少75%、推理速度提升2-3倍、精度损失在3-5%以内的平衡。对于H100/A100等高端GPU，8-bit量化也可以——显存通常不是瓶颈。

Tensor Core兼容性：GPU推理最大的提升来自Tensor Core加速。W4A16（4-bit权重、16-bit激活）是2026年最常用的GPU推理方案，因为它在Tensor Core上有原生支持。

KV Cache管理：在GPU上，KV Cache的显存占用可能超过模型权重本身。使用KV Cache量化（如KIVI、KVQuant）可以将KV Cache的显存占用减少50-75%。

NPU推理：全新的游戏规则

NPU（Neural Processing Unit）是2026年最热的推理硬件。苹果的Neural Engine、高通的Hexagon、华为的达芬奇架构，都在推动NPU推理的普及。

NPU推理的特点和挑战：

精度要求更高：大多数NPU只支持INT8或INT16精度，不支持4-bit。这意味着你需要做INT8量化，精度损失通常比4-bit更小。

算子兼容性：NPU的算子支持有限。如果你的模型使用了某NPU不支持的算子，你可能需要替换模型架构或回退到CPU/GPU。

框架依赖：每个NPU都有自己的推理框架。苹果用CoreML，高通用QNN，华为用MindSpore Lite。这意味着你需要为每种NPU做单独的适配。

功耗优势：NPU最大的优势是功耗。在手机上，NPU推理的功耗只有GPU的1/3到1/5。

硬件适配的实战框架

根据你的硬件，选择对应的压缩策略：

CPU：4-bit GGUF + llama.cpp + 批处理。适合后台处理、低成本部署。

GPU（消费级）：4-bit GPTQ/AWQ + vLLM/TGI。适合个人开发者、小团队。

GPU（数据中心）：8-bit或FP16 + vLLM Tensor Parallel。适合高并发生产环境。

NPU（手机）：INT8 + MediaPipe/ExecuTorch。适合端侧实时应用。

NPU（边缘）：INT8 + 厂商框架。适合工业视觉、IoT等场景。

记住一个原则：不要试图用一套压缩方案适配所有硬件。花时间了解你的目标硬件的特性，然后针对性地设计压缩策略。这才是模型压缩的正确打开方式。