● 从推理架构的角度，谈谈 Attention Residual 架构一些背后的想法

📌 一句话摘要 本文从 AI Infra 推理架构角度，深入分析 Attention Residual 架构的设计思考，阐述如何通过 Block AttnRes 和 two-phase computation 在几乎不增加延迟和成本的前提下显著增强模型表达能力，并分享了从 Full AttnRes

● 马斯克转发 Kimi 论文引起硅谷大讨论，Attention 下一个战场是什么？

📌 一句话摘要 文章深度解析了大模型架构中的“深度诅咒”问题，并对比了 Kimi 的 AttnRes 与字节跳动 MoDA 两种引入“深度维度注意力”来优化残差连接的前沿方案。 📝 详细摘要 本文聚焦于大语言模型架构中长期存在的“深度诅咒”现象：传统的等权残差连接导致深层网络出现严重的特征稀释，