腾讯混元推出极致量化压缩的翻译模型 Hy-MT1.5-1.8B-1.25bit,将支持 33 种语言的翻译模型压缩至 440MB,可在手机本地离线运行,翻译质量优于谷歌翻译。
📝 详细摘要
本文由腾讯技术工程官方发布,介绍了其最新推出的轻量级翻译大模型 Hy-MT1.5 的极致量化版本。该模型基于 1.8B 参数的 Hy-MT1.5 专业翻译模型打造,原生支持 33 种语言和 1056 个翻译方向。通过采用 2-bit 拉伸弹性量化(SEQ)和 1.25-bit 稀疏高效三值量化(Sherry)技术,将原始 3.3GB 的模型分别压缩至 574MB 和 440MB,实现了在手机端离线运行。文章详细介绍了 Sherry 技术方案(已被 ACL 2026 录用)的核心逻辑,即每 4 个参数中 3 个用 1-bit 储存、1 个用 0 储存,配合专为手机 CPU 设计的 STQ 内核,实现了对 SIMD 指令集的适配。文章还提供了完整的开源资源链接,包括模型权重、代码、技术报告以及 Android 体验 Demo。
💡 主要观点
- 腾讯混元推出极致量化翻译模型,可在手机本地离线运行。 Hy-MT1.5-1.8B 模型通过 2-bit 和 1.25-bit 量化压缩,体积从 3.3GB 降至 574MB 和 440MB,无需联网即可在手机端实现高质量翻译,解决了无网络环境下的翻译难题。
💬 文章金句
- 腾讯混元推出极致量化压缩版本翻译模型 Hy-MT1.5-1.8B-1.25bit,把支持 33 种语言的翻译大模型压缩至 440MB,无需联网,下载即可直接在手机本地运行,翻译质量优于谷歌翻译。
- Sherry 压缩方案的核心逻辑在于'细粒度稀疏'策略:每 4 个模型参数,3 个最重要的用 1-bit 储存,1 个用 0 储存,平均每个参数仅需 1.25-bit。
- 无需网络,无需订阅,完全本地处理、不涉及个人信息的采集和上传,一次下载永久使用!
📊 文章信息
AI 初评:88
来源:腾讯技术工程
作者:腾讯技术工程
分类:人工智能
语言:中文
阅读时间:11 分钟
字数:2552
标签: 腾讯混元, Hy-MT1.5, 翻译模型, 模型量化, 端侧AI