llama.cpp 在 M2 Ultra 上运行 Gemma 4 26B 达到 300 tokens/s，支持 WebUI 与 MCP。
📝 详细摘要
展示了 llama.cpp 在 Mac Studio M2 Ultra 硬件上运行 Gemma 4 26B (Q8_0) 的出色性能。该方案不仅实现了 300 tokens/s 的实时生成速度，还集成了 WebUI、原生 MCP 支持及 Prompt speculative decoding，体现了本地大模型推理的高效性。
📊 文章信息
AI 评分：87
来源：Berryxia.AI(@berryxia)
作者：Berryxia.AI
分类：人工智能
语言：中文
阅读时间：1 分钟
字数：188
标签： llama.cpp, Gemma 4, Local LLM, Mac Studio, MCP