腾讯混元开源 Hy-MT1.5-1.8B-1.25bit 翻译模型,通过极致量化压缩至 440MB,可在手机端离线运行,支持 33 种语言,翻译质量超越谷歌翻译。
📝 详细摘要
腾讯混元于 4 月 29 日开源了 Hy-MT1.5-1.8B-1.25bit 翻译模型,这是其专业翻译大模型 Hy-MT1.5 的极致量化压缩版本。该模型原生支持 33 种语言、5 种方言及 1056 个翻译方向,参数量仅 1.8B,但翻译质量在评测中超越了 Google 翻译等主流商业系统。为解决模型在手机上部署的内存和速度问题,混元团队采用了 2-bit 和 1.25-bit 两种量化压缩方案,将模型从 FP16 下的 3.3GB 压缩至 440MB。该模型无需联网,下载后即可在手机本地运行,并支持后台取词模式,保护用户隐私。模型权重已开源,并提供了可直接使用的 Demo 应用。该模型已在腾讯内部多个业务场景落地,包括元宝、腾讯会议、企业微信等。
💡 主要观点
- 腾讯混元推出极致量化压缩的翻译模型 Hy-MT1.5-1.8B-1.25bit,体积仅 440MB。 该模型通过 1.25-bit 量化技术,将原本 3.3GB 的 1.8B 参数模型压缩至 440MB,使其能在手机端离线运行,解决了大模型在移动设备上部署的内存瓶颈。
💬 文章金句
- 腾讯混元推出并开源极致量化压缩版本翻译模型 Hy-MT1.5-1.8B-1.25bit,把支持 33 种语言的翻译大模型压缩至 440MB。
- 仅以 1.8B 参数量,Hy-mt1.5 实现了比肩商业翻译 API 和 235B 级大模型的翻译效果。
- 无需网络,无需订阅,完全本地处理、不涉及个人信息的采集和上传,一次下载永久使用。
📊 文章信息
AI 初评:88
来源:量子位
作者:允中
分类:人工智能
语言:中文
阅读时间:4 分钟
字数:839
标签: 腾讯混元, 翻译模型, 模型量化, 开源, 离线翻译