● 关于 AI 模型性能下降的技术假设

📌 一句话摘要 Antirez 指出，用户感知到的 AI 模型性能下降可能不仅仅是人类的主观偏差，也可能源于激进的 KV 缓存量化等技术变更。 📝 详细摘要 这条推文探讨了用户中普遍存在的认知——AI 模型似乎会随着时间推移而性能下降。虽然这通常被归因于人类的主观偏差，但作者提出了另一种技术层面

● 英伟达称其可在不改变模型权重的情况下将 LLM 记忆缩小 20 倍

📌 一句话摘要 英伟达研究人员推出了 KV 缓存变换编码（KVTC），这是一种非侵入式技术，它利用媒体压缩原理，将 LLM 记忆使用量减少 20 倍，并将初始响应时间加快 8 倍。 📝 详细摘要 英伟达发布了 KV 缓存变换编码（KVTC），这是一种旨在解决大型语言模型（LLM）推理中“记忆墙”

● 为什么要在乎 LLM 中的提示词缓存？

📌 一句话摘要 本文解释了提示词缓存如何通过在多个请求中重用预计算的 token 前缀来优化 LLM 性能和成本。 📝 详细摘要 本文对提示词缓存进行了技术深度探讨，这是一种旨在降低大语言模型（LLM）应用延迟和成本的机制。文章首先区分了 LLM 推理中计算密集型“预填充”阶段和内存密集型“解码