Fireworks AI 推出全新的基础设施优化方案，包括 Fused RL loss 和 MXFP8 专家核，旨在加速 Qwen3.5 和 Kimi K2.5 等大规模 MoE 模型的训练。
📝 详细摘要
Fireworks AI 发布了一套基础设施优化方案，旨在解决万亿参数混合专家模型（MoE）的训练难题。该方案曾助力 Composer 2 的训练，现已支持 Kimi K2.5、Qwen3.5 397B 和 MiniMax M2.5 等模型。关键技术特性包括：用于实现更快 PPO 的 Fused RL loss、Blackwell 架构上的 MXFP8 专家核、可组合的 4D 并行，以及经过验证的 100 万+ token 上下文训练能力。
📊 文章信息
AI 评分：81
来源：Fireworks AI(@FireworksAI_HQ)
作者：Fireworks AI
分类：人工智能
语言：英文
阅读时间：2 分钟
字数：410
标签： AI 基础设施, MoE, LLM 训练, Fireworks AI, Qwen