Apple Silicon 本地大模型框架 mlx-lm 发布更新,显著提升批处理能力并原生支持 Gemma 4。
📝 详细摘要
mlx-lm 迎来重大更新,核心改进包括:大幅提升服务端批处理能力;原生支持 Google 的 Gemma 4 模型;在 M3 Ultra 芯片上可同时运行 5 个 OpenCode 会话;处理 130k tokens 仅需 1.5 分钟。此次更新极大增强了 Apple Silicon 设备运行本地大模型的并发性能。
📊 文章信息
AI 评分:88
来源:Berryxia.AI(@berryxia)
作者:Berryxia.AI
分类:软件编程
语言:中文
阅读时间:1 分钟
字数:200
标签: mlx-lm, Apple Silicon, Gemma 4, 本地大模型, 性能优化