Tether AI 发布了 QVAC BitNet LoRA 框架，该框架支持在智能手机等消费级硬件上高效地微调和运行十亿参数 AI 模型，显著提升了内存效率和运行速度。
📝 详细摘要
这条推文宣布了 Tether AI 的一项突破性进展：QVAC BitNet LoRA 微调框架。这项创新使得十亿参数 AI 模型能够直接在笔记本电脑、消费级 GPU 和现代智能手机等消费级设备上进行训练和推理。该框架利用微软的 BitNet 实现极致模型压缩（1 比特权重），并结合 LoRA 进行高效微调，克服了 BitNet 此前受限于 CPU/CUDA 后端且缺乏 LoRA 支持的局限。其主要优势包括内存占用减少高达 90%，以及在移动 GPU 上的性能比 CPU 快 2 到 11 倍。该框架是跨平台的，通过 Vulkan 和 Metal 后端支持 AMD、Intel、Apple Metal 以及移动 GPU。值得一提的是，一个 130 亿参数模型已成功在 iPhone 16 上完成微调。这项 100% 开源的发布标志着向真正的本地隐私 AI 迈出了重要一步。
📊 文章信息
AI 评分：95
来源：Paul Couvert(@itsPaulAi)
作者：Paul Couvert
分类：人工智能
语言：英文
阅读时间：3 分钟
字数：524
标签： Tether AI, QVAC Fabric, BitNet, LoRA, 设备端 AI