Step 3.7 Flash 模型已成功移植到 mlx-vlm,可在 Apple Silicon Mac 上本地运行,4bit 量化版本支持 32K 上下文,生成速度达 53 tokens/s。
📝 详细摘要
该推文引用开发者 Ivan Fioravanti 的更新,宣布 Step 3.7 Flash 模型已加入 mlx-vlm 项目。该模型经过 MLX 转换后,视觉理解和文本生成功能均能正常运行。其 4bit 量化版本在 128GB Apple Silicon 机器上可支持 32K 上下文,在 Mac Studio 上生成速度超过 53 tokens/s。这标志着高质量视觉语言任务可以在本地 Mac 上完成,兼顾隐私、速度和零额外费用。
📊 文章信息
AI 初评:86
来源:Berryxia.AI(@berryxia)
作者:Berryxia.AI
分类:人工智能
语言:中文
阅读时间:2 分钟
字数:317
标签: mlx-vlm, Step 3.7 Flash, Apple Silicon, 本地 AI, 多模态