「腾讯云 NoSQL」 技术之 MongoDB 篇：物理备份磁盘膨胀率减少 90% 的内核优化实践

📌 一句话摘要

本文详细分析了 MongoDB 物理备份期间 hidden 节点磁盘膨胀的根源（WiredTiger backup cursor 阻止空间回收），并介绍了腾讯云内核团队从 WT 内核到旁路服务的完整优化方案：通过表级精细化 release checkpoint、跳过并立即释放 oplog 以及 crash recovery 路径切换，使膨胀率减少 91%，备份回档效率提升 44%。

📝 详细摘要

文章从线上客户实际痛点出发，系统梳理了 MongoDB 物理备份的四个长期问题：hidden 节点磁盘膨胀、单表膨胀时间随数据量放大、oplog 无意义拷贝导致额外膨胀、膨胀连锁导致回档时间延长。作者深入 WiredTiger 存储引擎内部，用三个核心 extent 列表（live.alloc、live.avail、live.discard）和 checkpoint 机制解释了为什么 backup cursor 会打断空间回收链路：老 checkpoint 被 pin 住，extent 无法进入复用池，新写入只能向文件尾部 append，导致文件持续增长。其中 oplog 表因写入速率极高且是 capped 集合，成为膨胀最严重、拷贝价值最低的『双冠王』。优化方案包括：新增 WT 内核 API WT_CONNECTION::backup_release_checkpoint，使旁路服务拷完一张表就通知 WT 释放该表的老 checkpoint，恢复空间回收；按膨胀率降序调度拷贝顺序；备份一开始立即释放并跳过 oplog.wt（需配合 catalog/元数据修复）；引入 sentinel 标记文件处理 crash 恢复路径。实测四表场景下，膨胀率从 63.9% 降至 5.8%，hidden 节点峰值占用减少 326.6 GB，备份时间缩短 44.4%，COS 存储和回档数据量均减少约 38%。最终，线上某核心大客户的 hidden 节点磁盘膨胀率从 50% 降至 5%，单节点节省约 500 GB。文章还简要提及了极端场景下的在线 compaction 方案。

💡 主要观点

- backup cursor 阻止老 checkpoint 被 drop，是膨胀的根本原因。 WT 的空间回收依赖 checkpoint 切换：老 checkpoint drop 后才将旧 extent 送入可复用池。backup cursor 会 pin 住 backup 开始前所有 checkpoint，导致 extent 无法回收，新写入只能向文件尾部 append。

oplog.wt 是膨胀最严重且拷贝价值最低的表。 oplog 记录全节点所有写操作，写入速率是普通表的几十倍；且它是 capped 集合，range truncate 产生的 old extent 在 backup 期间同样被 pin 住，导致物理文件线性膨胀。但备份恢复时 oplog.wt 会被丢弃，无任何价值。

表级 release checkpoint 可将膨胀控制从『全或无』变为精细化。 新增 backup_release_checkpoint API，旁路服务每拷完一张表即通知 WT 释放该表的老 checkpoint，使该表立即恢复空间回收。配合按膨胀率降序的调度策略，可显著降低 hidden 节点峰值占用。

跳过 oplog 备份并立即释放其 checkpoint 是收益最大的单次优化。 在 backup 开始第一时间释放 oplog 的 checkpoint，使其在整个备份期间保持稳态大小，避免无意义拷贝，同时减少绝大部分膨胀。需配合元数据修复确保恢复时 mongod 正常启动。

💬 文章金句

- 膨胀 → 磁盘成本 → 备份慢 → 膨胀更严重 → 恢复也慢，每一环都在给下一环加压。

• oplog.wt 在很多时候是膨胀最严重 + 拷贝价值最低的『双冠王』。
• 这次备份膨胀的优化，本质上是把 WiredTiger 的 hot backup 从『全或无』语义升级到『表级粒度』。

📊 文章信息

AI 初评：89

来源：腾讯云开发者

作者：腾讯云开发者

分类：软件编程

语言：中文

阅读时间：28 分钟

字数：6800

标签： MongoDB, WiredTiger, 数据库内核, 性能优化, 物理备份

阅读完整文章