Google 为 Gemma 4 系列推出 MTP 草稿模型，通过推测性解码架构在保持输出质量的前提下实现最高 3 倍推理加速，有效解决内存带宽瓶颈。
📝 详细摘要
本文由 Google 官方发布，介绍了为 Gemma 4 系列模型推出的多 Token 预测 (MTP) 草稿模型。文章首先指出标准 LLM 推理受限于内存带宽，处理器需花费大量时间搬运参数，导致计算资源浪费和高延迟。MTP 通过推测性解码将生成与验证解耦，利用轻量级草稿模型一次性预测多个未来 Token，再由目标模型并行验证。该技术可在保持输出质量完全一致的前提下，实现最高 3 倍的推理加速。文章详细阐述了推测性解码的工作原理、对开发者的实际价值（更快的响应、本地开发效能提升、设备端性能增强），并深入介绍了底层技术细节，包括 KV 缓存共享、嵌入层聚类优化以及针对不同硬件的性能分析。最后提供了模型下载和使用指南，支持 Hugging Face、MLX、vLLM、Ollama 等主流框架。
💡 主要观点
- MTP 草稿模型通过推测性解码实现最高 3 倍推理加速。 轻量级草稿模型一次性预测多个未来 Token，再由目标模型并行验证，在保持输出质量一致的前提下大幅提升生成速度，有效解决内存带宽瓶颈。
💬 文章金句
- 推测性解码 (speculative decoding) 将 Token 的生成与验证解耦。通过将大型目标模型与轻量级草稿模型配对，我们能利用闲置的计算资源，让草稿模型在少于目标模型处理单个 Token 的时间内，一次性 '预测' 多个未来的 Token。
- 如果目标模型认同草稿序列，它会在单次前向传播中接受整个序列，并在过程中额外自行生成一个 Token。这意味着，您的应用现在可以在以往只能生成单个 Token 的时间内，输出完整的草稿序列以及额外的一个 Token。
- 由于最终的验证权仍由作为主模型的 Gemma 4 掌握，因此您可以获得完全一致的行业前沿级推理能力和准确率，与此同时大幅提升输出速度。
📊 文章信息
AI 初评：86
来源：谷歌开发者
作者：谷歌开发者
分类：人工智能
语言：中文
阅读时间：8 分钟
字数：1898
标签： Gemma 4, MTP, 推测性解码, 推理加速, Google