十年之争

2015年，Han Song等人发表了经典的"Deep Compression"论文，展示了非结构化剪枝可以将VGG-16的参数量减少49倍而不损失精度。同年，结构化剪枝的拥护者指出，非结构化剪枝的稀疏模式在GPU上基本没有加速效果。

十年过去了，这场争论在2026年终于有了一个清晰的答案。

非结构化剪枝的困境

非结构化剪枝的理论优势是明显的：它可以剪掉90%以上的参数，而精度损失可以控制在1%以内。没有其他压缩方法能达到这种压缩率。

但它的工程困境同样明显：稀疏矩阵运算在GPU上速度极慢。2026年的GPU（H200、B200）虽然支持2:4结构化稀疏（每4个连续值中至少有2个为0），但通用稀疏矩阵乘法的支持仍然有限。NVIDIA的cuSPARSE库在稀疏度低于90%时，速度甚至比稠密矩阵乘法还慢。

这意味着，非结构化剪枝虽然能减少模型存储和传输的成本，但对推理加速基本没有帮助。

结构化剪枝的进步

结构化剪枝在2026年取得了显著进展。

LLM-Pruner（2023）首次展示了可以在LLM上做结构化剪枝，剪掉20%的注意力头和FFN通道后，模型仍能通过微调恢复大部分性能。

SliceGPT（2024）提出了通过正交变换来减少结构化剪枝的精度损失，将结构化剪枝的"有效压缩率"从20%提升到了30%。

SparseGPT（2025）将非结构化剪枝的高效算法应用到了结构化剪枝中，在LLM上实现了50%的结构化剪枝率，精度损失在5%以内。

2026年的最新进展：结合"训练中剪枝"和"结构化剪枝"，在预训练阶段逐步剪枝，使模型在训练时就适应稀疏结构。这种方法在剪枝率达到40-50%时，精度损失可以控制在2-3%。

答案是：组合使用

2026年的实践共识是：非结构化剪枝和结构化剪枝不是非此即彼的选择，而是可以组合使用的。

推荐的组合策略：

  1. 先用非结构化剪枝识别出模型中"不重要"的参数
  2. 根据非结构化剪枝的结果，找出可以被整体删除的结构（如某些注意力头、FFN通道）
  3. 使用结构化剪枝删除这些结构
  4. 对剩余的结构使用非结构化剪枝进一步压缩

这种"先粗剪再细剪"的策略，在保持高压缩率的同时，实现了实际的推理加速。

硬件正在改变游戏规则

2026年最重要的趋势是：硬件正在变得更"稀疏友好"。

NVIDIA的Hopper架构（H100）引入了对2:4结构化稀疏的硬件支持。下一代Blackwell架构（B200）预计将支持更灵活的稀疏模式。Google的TPU v5也加入了稀疏计算单元。

这意味着，非结构化剪枝（至少是某种形式的稀疏性）可能在未来2-3年内获得真正的硬件加速。到那时，结构化vs非结构化的争论可能就不再重要了。

给你的建议

如果你今天就要落地模型剪枝，结构化剪枝是更务实的选择——它能在真实硬件上给你真正的加速。但不要完全放弃非结构化剪枝的探索，尤其是在你关注硬件趋势的情况下。2027年的硬件可能会让今天的非结构化剪枝获得新生。

这就是技术的本质：没有永远正确的答案，只有适应时代的方案。