● 超越 TurboQuant! OSCAR：面向真实 Serving 的 2bit KV Cache 量化

📌 一句话摘要 OSCAR 提出了一种面向真实长上下文推理服务的近 2-bit KV Cache 量化方案，通过 attention-aware 旋转和离线校准，在保持模型精度的同时实现约 8 倍显存压缩和最高 7 倍吞吐提升，并已接入 SGLang 服务框架。 📝 详细摘要 本文详细介绍了 O