陈天桥旗下 Evermind 团队联合北大推出 MSA 架构，通过将检索集成进注意力机制，实现 2 张 A800 驱动 1 亿 token 超长上下文推理。
📝 详细摘要
本文详细介绍了由 Evermind 团队与北京大学联合发表的突破性研究：存储稀疏注意力（MSA）。该技术旨在打破大语言模型在长上下文处理上的“百万代币”瓶颈，通过将记忆检索直接融入注意力机制，实现了记忆容量与推理能力的完美解耦。MSA 核心包含潜空间路由、独立文档位置编码、记忆交织及内存并行四大技术，将计算复杂度降至线性级别。实验证明，仅 4B 参数的 MSA 模型在长文本任务中表现优于 235B 的 RAG 系统，且硬件门槛极低，仅需两张 A800 显卡即可支持一亿 Token 的实时推理，为构建具备“一生记忆”的 AI 智能体提供了新路径。
💡 主要观点
- MSA 通过潜空间路由实现精准的稀疏检索机制。 引入专门的路由投影器在隐藏状态中计算相似度，像索引目录一样瞬间定位相关文档块，将注意力机制的复杂度从平方级降至线性级别。
💬 文章金句
- MSA 的底层逻辑：把记忆直接写进注意力。
- 仅有 4B 参数的 MSA，在实际表现中竟然打赢了 235B 参数的巨型 RAG 系统。
- MSA 实现了将模型的记忆容量与推理能力的解耦。
- 把检索直接做进 Attention 机制里，比 RAG 那种笨重的外挂方案优雅太多了。
- 仅需 2 张 NVIDIA A800 GPU，就能驱动一亿 Token 的实时推理。
📊 文章信息
AI 评分：85
来源：51CTO技术栈
作者：51CTO技术栈
分类：人工智能
语言：中文
阅读时间：13 分钟
字数：3008
标签： MSA, 长上下文, 注意力机制, RAG, 大模型架构