● 通过推测解码将 LLM 推理延迟降低 10 倍

📌 一句话摘要 这是一篇强烈推荐的博客文章，详细介绍了如何利用基于 SRAM 的 Corsairs 进行推测解码，从而实现超过 1400 tokens/秒的吞吐量并将延迟降低 10 倍。 📝 详细摘要 该推文强调了 LLM 推理优化方面的一项重大技术突破。通过将推测解码任务卸载到 2GB SRA

● **介绍 SPEED-Bench：一个用于推测解码的统一且多样化的基准测试**

📌 一句话摘要 SPEED-Bench 是一套全面的基准测试套件，旨在评估跨不同语义领域和真实生产级服务工作负载下的推测解码（Speculative Decoding， SD）。 📝 详细摘要 本文介绍了由 NVIDIA 开发的统一评估框架 SPEED-Bench，旨在解决推测解码（SD）基准测