● 读完这篇，你就搞懂 DeepSeek v4 了

📌 一句话摘要 本文深入解读了 DeepSeek V4 的技术报告，系统分析了其在架构层面的三项核心创新（mHC、CSA/HCA、Muon）和工程优化，论证了其如何通过系统级重构实现百万 token 上下文和接近闭源三巨头的性能。 📝 详细摘要 文章以 DeepSeek V4 技术报告为基础，从

● 大模型架构的下半场

📌 一句话摘要 本文提出大模型架构已进入以「扩展通信」为核心的下半场，批判了传统残差连接的「累加」范式，并介绍了通过 Flash Depth Attention 和 MoDA 实现层间「选择性检索」的创新方案。 📝 详细摘要 文章由华中科技大学王兴刚团队投稿，系统论述了大模型架构发展的新阶段。作

● Attention 之后，Kimi 终于对 Transformer 的残差连接动手了！附论文英中对照版

📌 一句话摘要 本文深入解读了 Kimi (月之暗面) 提出的 Attention Residuals 架构，该方案通过在深度维度引入注意力机制取代传统残差连接的固定累加，实现了跨层信息的按需检索与高效聚合。 📝 详细摘要 文章详细介绍了 Kimi 团队针对 Transformer 核心组件——

● 马斯克转发 Kimi 论文引起硅谷大讨论，Attention 下一个战场是什么？

📌 一句话摘要 文章深度解析了大模型架构中的“深度诅咒”问题，并对比了 Kimi 的 AttnRes 与字节跳动 MoDA 两种引入“深度维度注意力”来优化残差连接的前沿方案。 📝 详细摘要 本文聚焦于大语言模型架构中长期存在的“深度诅咒”现象：传统的等权残差连接导致深层网络出现严重的特征稀释，

● 马斯克下场点赞！Kimi 这篇论文撬动了大模型的「祖传地基」

📌 一句话摘要 月之暗面（Kimi）发布《Attention Residuals》技术报告，通过将注意力机制引入深度残差连接，挑战并重构了大模型沿用十年的底层架构，显著提升了训练效率。 📝 详细摘要 文章深入解析了 Kimi 团队提出的“注意力残差”（Attention Residuals， A

● 估值 1200 亿后 Kimi 再扔王牌，新架构爆改 Transformer 老配件，比 DeepSeek 同款还省钱

📌 一句话摘要 Kimi 发布新论文提出「注意力残差连接」（Attention Residuals），通过引入注意力机制解决 Transformer 残差连接的稀释问题，在保持效果的同时实现 1.25 倍算力效率提升，获得 Andrej Karpathy 等业界大佬点赞。 📝 详细摘要 文章深入