不用手搓 SQL 验数了！阿里生产级端到端 Agent Skill 完整设计复盘

📌 一句话摘要

本文详细复盘了阿里生产级数据验数 Agent Skill 的设计，实现从自然语言触发到自动生成验数 SQL、执行、生成报告的全流程，涵盖架构、核心能力、实战案例、设计原则与踩坑经验。

📝 详细摘要

本文面向数据开发团队，系统介绍了一个端到端数据验证 Agent Skill——verify-data。文章从手工验数的痛点（覆盖度不足、基准表选错、代码理解偏差、结论无依据、沉淀成本高）出发，说明 Agent 化验数的机会。核心部分拆解了 verify-data 的 7-9 步工作流（实际可达 17 步条件触发步骤），包括基准表自动发现（血缘+维度/指标精排两阶段）、10 类标准化验数 SQL 模板、Code Diff 驱动的 8 类风险信号扫描、4 种降级验数策略、分区预检与分批执行策略，以及三个关键强制步骤（基准表适用性预检、维表 CUBE 检测、逻辑对照）。通过新 CUBE 表上线、DEV vs PROD 对比、全新口径无基准表、维表验证四个实战场景展示其效果。文章提炼了 4 条不可逾越的红线（禁止跳模板手写、禁止靠字段名猜映射、降级必须追加代码审查、必须验证所有 JOIN 膨胀和日期关联），并给出 PASS/WARNING/FAIL 的结论判定体系。踩坑经验包括 CUBE 汇总行 NULL 是正常行为、浮点精度容忍、DWD 重算同构只能自证执行一致等。当前挑战包括执行耗时、权限依赖、降级信任成本和新手上手门槛。最后展望了异步执行、平台融合、智能根因定位三个演进方向。

💡 主要观点

- 基准表自动发现是 Verify-data 最核心的能力，通过血缘发现候选集和指标/维度精排两阶段策略自动选择最佳对比基准。 当用户未提供基准表时，Agent 沿血缘追溯上游表，计算血缘亲和度、维度重合度、指标重合度综合评分，得分≥0.7 直接选中，多表联合可覆盖指标则分路对比，无合适基准时进入降级策略。

10 类标准化验数 SQL 模板确保验证覆盖度，尤其是关联膨胀检测和日期维度关联校验，是评审最高频退回原因。 模板包括总量对比、数据质量检测、按维度逐项对比、维表分区校验、CUBE 完整性检查、汇总行一致性、逻辑关系校验、历史趋势对比、关联膨胀检测、日期维度关联校验，其中必选模板有 4 项。

Code Diff 驱动的风险扫描能定位到具体代码变更对数据的影响，从“知道差了多少”跨越到“知道为什么差”。 在迭代验数场景中，Agent 获取 DEV 和 PROD 运行态代码，进行结构化 Diff，扫描 8 类风险信号（数据源变更、JOIN 关系变更、聚合方式变更等），并为每个高风险信号生成定量证实 SQL。

降级验数策略确保无基准表时仍然能给出有意义的结论，但强制要求追加代码审查和独立构造 V 类证实 SQL，防止自证执行一致。 四种降级策略（CUBE 自洽、DWD 重算、分路指标、静态逻辑）根据表类型自动选择，降级时除了运行 D 类一致性 SQL，还必须进行 8 类风险扫描并生成独立于原有逻辑的 V 类定量证实 SQL。

💬 文章金句

- 将传统手工验数从'手写多条 SQL+人工比对'升级为'一句话触发+评审级证据输出'。

• 标准化比智能化更重要：验数最关键的是覆盖度和可重复性，10 类标准化模板比'让 AI 自由发挥'可靠得多。
• 踩坑记录是核心资产：lessons-learned.md 里记录的 19 条实战经验，每一条都是真实踩过的坑。
• 红线要硬：关键红线在流程层面做了约束，不是'建议'而是'强制'。

📊 文章信息

AI 初评：90

来源：dbaplus社群

作者：dbaplus社群

分类：软件编程

语言：中文

阅读时间：39 分钟

字数：9508

标签： 数据工程, Agent, 数据验证, 数据质量, 大数据

阅读完整文章