本文以面壁 MiniCPM-V 4.6 开源为契机，深入浅出地讲解了模型大小与内存占用的关系、量化原理、端侧模型的内存限制，并介绍了该模型的技术架构与性能表现。
📝 详细摘要
文章以面壁智能最新开源的 MiniCPM-V 4.6 多模态模型（1.3B 参数）为引子，面向技术从业者系统性地解答了「8G 内存手机能跑多大模型」这一核心问题。文章首先拆解了模型内存占用的两大组成部分：模型权重和 KV Cache，并详细解释了 FP16、INT4、Q4 等不同量化等级的原理、精度与内存占用关系，澄清了业界常见的量化术语混淆。接着，文章基于当前主流手机 8GB RAM 的现状，推算出留给大模型的实际可用内存仅为 2-3GB，从而得出结论：未来两年内，端侧多模态模型的最佳选择是 1-2B 参数规模。文章后半部分重点介绍了 MiniCPM-V 4.6 的技术亮点，包括其 SigLIP2-400M + Qwen3.5-0.8B 的架构、在 vLLM 上的高并发吞吐量、以及论文中关于切片编码、内部压缩和参数复用等关键技术创新。最后，文章指出该模型可在 4090 显卡上进行全量微调，并提供了多种部署方式的链接。
💡 主要观点
- 模型内存占用由模型权重和 KV Cache 两部分组成，量化是降低权重大小的核心手段。 FP16 下每个参数占 2 字节，通过 INT4/Q4 量化可压缩至 0.5 字节，但会带来精度损失。文章清晰对比了 Q 系列和 INT 系列等不同量化标准，并提供了不同参数模型在不同精度下的内存占用表。
💬 文章金句
- 对于主流新机来说，2B 以内的模型，是当下唯一的选择。
- 未来两年内存都不太会宽裕，那么手机上能跑的多模态模型大概就是 1～2B。
- 切片编码比全局编码好...切片编码让编码器专注于每个小区域内的细粒度模式，分辨率越高优势越大。
📊 文章信息
AI 初评：87
来源：赛博禅心
作者：赛博禅心
分类：人工智能
语言：中文
阅读时间：12 分钟
字数：2937
标签： MiniCPM-V, 端侧模型, 模型量化, 多模态, 模型部署