好用的 Token Plan 凭啥不能便宜？

腾讯云混元团队通过 MoE 架构和训推一体设计，将 Hy3 模型推理成本大幅降低，推出低至 28 元/月的 Token Plan，兼顾性能与性价比。

本文是腾讯云开发者公众号发布的一篇产品推广文章，核心介绍混元团队在模型基础设施上的成本优化策略。文章指出当前 AI 应用（尤其是 Agent 工作流）面临 token 成本高昂的痛点，根源在于全球算力紧缺。混元团队通过两条路径解决：一是采用 MoE 架构（Hy3 preview 总参数 295B，每次推理仅激活 21B），避免算力浪费；二是将推理成本作为架构问题从训练阶段就纳入设计，而非事后优化。基于此，腾讯云推出定制化 Hy Token Plan，个人版 28 元/月起，包含 3500 万 Tokens（约 70 轮问答）。文章还引用了 Hy3 在多个基准测试中的成绩，以及在实际产品中首 token 延迟降低 54%、端到端时长降低 47%、成功率 99.99%+ 的数据。整体为产品营销导向，但包含一定的技术细节和性能数据。

- AI Agent 工作流 token 消耗大，成本高昂是普及的主要障碍。 一次复杂 Agent 工作流可能涉及几十上百次 API 调用，高端 GPU 供不应求导致推理成本居高不下，限制了 AI 应用的广泛使用。

- 混元团队在重建模型基础设施的时候，定过一条铁律：性价比追求。

• 大多数模型是'训完再想办法跑'，混元是把推理成本当架构问题来设计的——从训练阶段就考虑推理效率，不是事后优化。
• 首 token 延迟降低 54%、端到端时长降低 47%、成功率 99.99%+。

AI 初评：78

来源：腾讯云开发者

作者：腾讯云开发者

分类：人工智能

语言：中文

阅读时间：3 分钟

字数：702

标签： 混元, MoE, Token Plan, 推理成本, 腾讯云

阅读完整文章