📌 一句话摘要 杨植麟在 GTC 2026 演讲中介绍了用 MuonClip 替代 Adam、用 Kimi Linear 替代全注意力、用 Attention Residue 替代残差连接,并分享了视觉训练与 Agent Swarm 的进展。 📝 详细摘要 该推文详细复述了杨植麟在 GTC 2026 的演讲《How We Scaled Kimi K2.5》,月之暗面提出了三个替代传统基础组件的方案:用 MuonClip(基于 Muon 优化器)提升数据利用效率、用 Kimi Linear(Kimi Delta Attention)实现线性注意力与全注意力混合以高效利用长上下文、用 Atte
Skip to main contentAudio 2

Search Ctrl+K
Change language Switch ThemeSign In
Curated
Daily BriefWeekly PicksTopics
SettingsHelp CenterCollapse
Loading...
HomeDiscoverSettings