高价率运营 AI 工作台：约定驱动与 AI 编排的评测优化实践

📌 一句话摘要

阿里大淘宝技术团队分享其基于约定驱动与 AI 编排架构，构建自动化评测体系将 Agent Skill 可用性从主观判断转变为可量化工程闭环的实践，重点剖析了评测集生成、双引擎架构、金标设计陷阱及飞轮挑战。

📝 详细摘要

文章详细介绍了「高价率运营 AI 工作台」的评测体系设计与实践。针对 LLM Agent 场景下传统测试失效的痛点，团队将评测作为一等公民建设，采用约定驱动（标准化目录结构）与 AI 编排（Coding Agent 自动强制产出）的架构，实现评测流程全自动化。核心设计包括：基于真实业务数据由 AI 生成评测集；沉淀 14 个通用评测维度并支持 Skill 级专项指标定制；采用二元评分机制的 LLM Judge，通过实验对比证明其对可复现性和可解释性的优势；构建 auto-evaluation（评测大脑）与 pinchbench-eval（执行引擎）双引擎架构，实现闭环持续迭代。文章还深度复盘了金标（reference_data）设计的四大陷阱（信息泄漏、粒度过细、答案污染、多轮覆盖）及其工程应对方案，诚实指出了评测飞轮在入口、出口、记忆三个环节尚未完全解决的硬骨头。整体提供了从理论到工程实现的完整方法论，对 AI Agent 产品质量保障有极高参考价值。

💡 主要观点

- 评测体系是 AI 工作台的核心工程产物，而非事后检查。 团队将评测作为一等公民建设，使 Skill 可用性从主观判断变为可量化、可复跑、可对比的持续工程闭环，驱动整个工作台演进。

约定驱动与 AI 编排结合，通过目录结构和 Coding Agent 强制固化开发规范。 标准化目录结构（skills/、skill-data/、pinchbench-suite/）将规范沉淀到文件路径，Coding Agent 作为编排器用自然语言自动产出符合约定的产物，消除人为违规空间。

评测集、评测指标、Skill 定义三者通过共享 SKILL.md 实现联动演进。 三者不再是独立产物，而是同一飞轮的齿轮：SKILL.md 作为单一事实源，AI 据此自动生成评测集和指标，三方绑定后任何改动自动触发评测更新。

金标（reference_data）设计的关键陷阱在于工程结构而非内容。 实战中暴露的四大坑（信息泄漏、粒度粗化而非细化、AI 自动生成导致答案污染、多轮覆盖不足）说明金标的隔离、粒度、生成源、轮次覆盖等结构问题比内容本身更致命。

自动化评测飞轮仍面临入口、出口、记忆三大硬骨头。 虽然评测中段已跑通，但线上问题如何自动进入飞轮（入口）、AI 生成的修改建议如何准确落地（出口）、每一次迭代如何被有效记忆以复用（记忆）仍是未完全解决的挑战。

💬 文章金句

- 二元评分的本质是 '强迫评测者做出判断'：要么这个维度合格，要么不合格，中间地带不存在。

• 金标的内容可以靠业务理解打磨，但金标的结构问题（谁能看到、什么粒度、谁来生成、覆盖到哪）只能靠真实事故才暴露。
• LLM 系统里的 '信息隔离' 必须做到类型层面，不能靠 prompt 里写 '请不要看 X'——LLM 不会真的不看。
• 自动化不等于失控。
• 这套用了不到一个月就停了。

📊 文章信息

AI 初评：90

来源：大淘宝技术

作者：大淘宝技术

分类：人工智能

语言：中文

阅读时间：106 分钟

字数：26461

标签： AI Agent, AI 工程, LLM 评测, 自动化评测, AI 编排

阅读完整文章