PrismML 发布了 Ternary Bonsai 系列开源模型,采用三元权重,在极致压缩的同时保持高性能,支持多种部署环境。
📝 详细摘要
这条推文宣布了 PrismML 公司 Ternary Bonsai 系列开源模型的发布。该系列模型的核心创新是使用了三元权重(-1, 0, +1),实现了极致的模型压缩(例如 1.7B 模型仅 0.37GB),同时声称在同级别模型中性能领先。推文详细列出了其优势:支持苹果 MLX、ONNX、WebGPU 等多种运行时;拥有 65K 上下文长度;在 M4 Pro 芯片上推理速度提升 5.2 倍,在 iPhone 上达到 27 TPS。作者认为这标志着边缘 AI 和浏览器本地推理时代的到来。
📊 文章信息
AI 初评:83
来源:Berryxia.AI(@berryxia)
作者:Berryxia.AI
分类:人工智能
语言:中文
阅读时间:2 分钟
字数:289
标签: Ternary Bonsai, 模型压缩, 开源模型, 边缘 AI, PrismML