Uber 的 Hive Federation 实现 1.6 万个数据集与 10 PB 以上数据的去中心化，支持大规模零停机分析

Uber 将其 Hive 数据仓库重构为联邦架构，通过去中心化管理 1.6 万个数据集和 10 PB 数据，消除了单体架构瓶颈并确保了迁移过程中的零停机。

Uber 已从单体 Hive 实例转型为去中心化的联邦架构，以管理超过 10 PB 的数据。此举解决了级联故障、资源争用和治理瓶颈等关键问题。通过在 Hive Metastore (HMS) 中利用基于指针的迁移策略，Uber 成功将数据集重定向到新的 HDFS 位置，而无需复制 PB 级的数据。该系统由四个关键组件支持——引导迁移器 (Bootstrap Migrator)、实时/批量同步器 (Realtime/Batch Synchronizers) 以及恢复编排器 (Recovery Orchestrator)，通过校验和验证和自动元数据对齐确保了数据完整性。这一转变赋予了领域团队运营自主权，通过最小权限访问提升了安全性，并增强了系统的弹性。

- 基于指针的迁移实现了零停机数据迁移。 Uber 在迁移过程中无需物理移动和复制数据，而是更新 Hive Metastore 中的数据集指针。这是一种瞬间完成的操作，确保了 ML 流水线和分析任务的持续可用性。

- 更新 HMS 中的数据集指针是一个瞬间完成的操作，确保了关键工作负载的持续运行。

• 这种方法确保了依赖 Hive 的分析任务和机器学习流水线的零停机。
• 通过去中心化 Hive 数据库并在领域层面强制执行严格的 ACL，团队获得了数据集的所有权，从而提高了可观测性、合规性和工作流效率。

AI 评分：88

来源：InfoQ

作者：Leela Kumili

分类：软件编程

语言：英文

阅读时间：2 分钟

字数：470

标签： Uber, Hive Federation, 数据工程, 分布式系统, 可扩展性

阅读完整文章