小米 Data + AI 存储架构演进：EB 级统一文件基座实践

📌 一句话摘要

本文详细介绍了小米基于 JuiceFS 构建统一文件存储基座的架构演进、技术选型、核心能力建设以及在大数据上云和 AI 一站式存储场景中的具体实践与收益。

📝 详细摘要

本文由小米云存储组负责人撰写，系统阐述了小米在全面 AI 战略下，为解决原有异构存储体系在选型接入、数据流转和研发运维等方面的问题，选择以 JuiceFS 为核心建设统一文件存储基座的完整历程。文章详细介绍了技术选型考量（多协议支持、弹性扩展、多云适配、高性能），以及容量层、性能层和缓存层的三层架构设计。通过大数据上云和 AI 一站式存储两个典型场景，展示了该方案在性能提升（计算效率提升 10%-30%）、成本降低（国内存储成本降 70%，海外降 90%）和运维简化方面的显著收益。文章还展望了未来在稳定性、数据生命周期管理和数据管理能力三个方向的持续演进。

💡 主要观点

- 小米基于 JuiceFS 构建统一文件存储基座，统一支撑大数据、云原生和 AI 业务。 为解决多套存储系统带来的选型接入成本高、数据流转效率低、运维力量分散等问题，小米选择 JuiceFS 作为核心，构建统一存储层，实现多协议接入和弹性扩展。

存储架构分为容量层、性能层和缓存层，兼顾大规模存储与高性能访问。 容量层基于公有云对象存储，面向 EB 级规模；性能层基于 Ceph 和全闪机器，满足 AI 训练高吞吐需求；缓存层基于 NVMe 和 RDMA 自研，针对 AI 训练读多写少的特性进行加速。

大数据上云场景中，JuiceFS 统一接入多云存储，并通过热表缓存实现计算提效。 通过 JuiceFS 统一接入不同云厂商的对象存储，降低多云适配复杂度。热表预热缓存使计算效率提升 10%-20%，同时降低跨云专线压力和 API 调用成本。

AI 一站式存储场景中，JuiceFS 覆盖从原始数据、训练数据到模型文件分发的全链路。 利用 JuiceFS 的多协议和分层存储能力，统一管理 AI 存储流程。高性能缓存方案使吞吐量提升 20% 以上，成本降低 60% 以上，并整合了 GPU 节点上的 NVMe 资源。

统一存储架构带来显著的性能提升和成本降低。 切换至 JuiceFS 后，顺序读写性能提升超过 1 倍，计算任务耗时降低 10%-30%。国内存储成本降低约 70%，海外场景降低约 90%。

💬 文章金句

- 过去两年，随着生成式 AI 和智能驾驶等业务快速发展，该平台已支撑大模型、智驾训练、推理加速和大数据上云等典型场景。

• 目前，平台已具备支撑千亿级文件数量和 EB 级存储规模的能力，并可覆盖从原始数据、训练数据到模型文件分发的 AI 存储链路。
• 综合多协议支持、弹性扩展、多云适配和高性能读写等因素，我们最终选择以 JuiceFS 作为统一文件存储基座的核心组件。
• 经线下和线上测试，热表缓存后，相关计算效率提升约 10%--20%，计算耗时和计算资源消耗均有所下降。
• 采用缓存方案后，可实现单副本存储，成本降低 60% 以上。

📊 文章信息

AI 初评：87

来源：InfoQ 中文

作者：InfoQ 中文

分类：软件编程

语言：中文

阅读时间：19 分钟

字数：4677

标签： JuiceFS, 统一存储, 大数据上云, AI 存储, 存算分离

阅读完整文章