正式开源！美团 LongCat-2.0 同步开放国产卡推理代码

📌 一句话摘要

美团正式开源万亿参数大模型 LongCat-2.0，同步开放针对国产算力芯片的推理优化代码，实现在存量卡上高效部署。

📝 详细摘要

美团技术团队宣布正式开源 LongCat-2.0 万亿参数大模型（总参数 1.6T，平均激活约 48B），并同步开放针对国产算力芯片的极致推理优化代码。文章从模型架构、芯片适配和部署策略三个方向详细阐述了突破国产芯片显存与带宽限制的方案：模型层面引入 LongCat 稀疏注意力机制、N-gram Embedding 与 ScMoE 架构；芯片层面通过 Super Kernel、Weight Prefetch 及高速片间互联最大化硬件利用率；部署层面采用 PD 分离、KV-cache 切分等策略。模型后训练使用多教师在线蒸馏（MOPD）融合 Agent、推理和交互能力。开源内容包括多精度权重及适配 GPU/NPU 的推理代码，旨在盘活存量国产算力。

💡 主要观点

- LongCat-2.0 开源权重及国产卡推理代码，支持存量卡部署。 提供 BF16/FP8/INT8 多精度版本，同步开源针对国产芯片优化的推理栈，降低万亿模型部署门槛。

从模型、芯片适配、部署三个维度系统优化显存与带宽限制。 模型层面用稀疏注意力和 ScMoE 缓解 I/O 压力；芯片层面用 Super Kernel 和 Weight Prefetch 隐藏延迟；部署层面用 PD 分离和 KV 切分保证 TTFT 与 TPOT。

引入 N-gram Embedding 作为参数扩展路径，提升参数利用率。 在 MoE 稀疏度接近 97% 的情况下，将 135B 参数投入 N-gram Embedding，收益高于继续扩充专家，兼顾效果与结构稳定。

后训练采用多教师在线蒸馏（MOPD），融合执行、推理与交互能力。 分别训练 Agent、推理和交互三类专家，通过 MOPD 架构在国产算力集群上无缝融合，使模型兼具深度推理与自主执行能力。

💬 文章金句

- 让万亿参数模型在存量卡上同样跑得稳、跑得快。

• LongCat-2.0 验证了国产芯片承载复杂大模型任务的成熟能力，并希望通过开源为行业提供一条可复现的技术路径。

📊 文章信息

AI 初评：90

来源：美团 · 技术团队

作者：美团 · 技术团队

分类：人工智能

语言：中文

阅读时间：7 分钟

字数：1567

标签： 大模型开源, 推理优化, MoE, 稀疏注意力, 国产算力

阅读完整文章