⌘K
Change language Switch ThemeSign In
Narrow Mode
Braintrust 创始人：PRD 已经过时了，优秀的 PM 们正在用这个来取代它丨 Aakash Gupta
!Image 3: 晚点再听LaterCast 晚点再听LaterCast @晚点再听LaterCast
One Sentence Summary
This article introduces Braintrust founder Ankur Goyal's view: in the AI era, PRD is outdated, top companies are using "Evals" to replace traditional requirement documents, and product managers need to transform into roles that define evaluation standards and build data-task-score frameworks.
Summary
Based on organizing Braintrust founder Ankur Goyal's podcast, the article explains the fundamental transformation of product development paradigm in the AI era. Traditional PRD becomes ineffective against LLM probabilistic outputs, replaced by a systematic evaluation framework. The article expands from five dimensions: why evaluation is needed (bid farewell to black-box development), how to understand large language models' characteristics (accept flaws and use rules to harness them), PM role transformation (from defining specifications to defining evaluations), the necessity of evaluation depending on distance from end users, and practical methods to build data-task-score frameworks. The author emphasizes that evaluation is not about pursuing perfection but establishing mechanisms to identify and control errors, and reminds teams to include 20% failure cases in test sets to ensure the safety net is effective.
Main Points
* 1. PRD becomes ineffective in the AI era, replaced by evaluation systems (Evals)LLM output is probabilistic and cannot be constrained by deterministic requirement documents. It requires an evaluation system to quantify output quality. * 2. Evaluation turns subjective "feelings" into objective, traceable scoresReplace dialog-based manual testing with batch test sets to quantify prompt iteration effects—this is the first step to gaining control over AI. * 3. Accept LLM's imperfections and use business rules as safety netsTop teams don't pursue zero hallucinations. Instead, they use evaluation to identify model weaknesses and apply code logic or MCP tools as hard constraints. * 4. PMs' core asset shifts from PRD to data setsPMs need to build test sets containing user raw statements and golden answers, and define scoring functions—this is the core business asset for PMs in the AI era. * 5. Evaluation necessity depends on distance from end usersInternal tools can use manual sampling inspection, but zero-tolerance consumer-facing scenarios require mandatory automated evaluation.
Metadata
AI Score
81
Website mp.weixin.qq.com
Published At Yesterday
Length 3316 words (about 14 min)
Sign in to use highlight and note-taking features for a better reading experience. Sign in now
我们每天为你更新全球最新的 AI 商业与科技播客总结，让你与前沿保持同频。全文约 3600 字，如果你现在没有时间试试转播客稍后再听晚点再听LaterCast
“我们无法要求大模型永远不犯错，但我们可以建立一套“评估系统”，让它不敢在核心业务上犯错。”
“PRD 正在消亡，顶尖产品经理早就把 50 页的废话换成了“测试集”。”
“只会画原型图的 PM 正在快速贬值，能写出“打分函数”的 PM 正在被大厂疯抢。”
在传统的软件工程里，产品需求文档（PRD）是所有开发的起点。产品经理花费数周时间，用几万字和无数张原型图，精确定义每一个按钮的位置、每一次点击的反馈。程序员拿到文档，将其翻译成“如果 A，就执行 B”的确切代码。
但在生成式 AI 的时代，这套逻辑彻底失效了。大语言模型（LLM）的输出是概率性的，你无法为一段无法预测的自然语言回复编写“确切的需求文档”。面对这种剧变，估值达 8 亿美元的 AI 评估平台 Braintrust 创始人 Ankur Goyal 给出了一个极其断然的结论：PRD 正在消亡，取而代之的是“评估（Evals）”。Replit、Vercel、Notion 等硅谷顶尖公司，已经全面转向了基于评估的开发工作流。
1. 为什么你需要评估？告别“盲盒式”开发
当你把大模型接入你的产品时，最可怕的不是它回答不上来，而是你根本不知道它在面对真实用户时会说出什么疯狂的话。很多团队在开发 AI 功能时，做法极其原始：写一段提示词，自己在对话框里输入几个问题，看着输出结果觉得“感觉还不错”（Vibe Check），然后就直接推上线了。
这种“氛围测试”在面对海量用户和复杂场景时，瞬间就会崩溃。你需要一套系统化的机制，在代码上线前，自动模拟成千上万种用户输入，并客观衡量 AI 的回复质量。这就是评估（Evals）的核心价值。它把主观的“感觉”，变成了客观的、可追溯的分数。
> “我认为所有的顶级 AI 公司都明白，建立一个非常好的反馈循环极其重要。你需要把用户在生产环境中的行为，直接转化为你可以在离线环境中运行的评估体系。”
停止在对话框里进行人工肉眼测试。如果你不能用一个批量运行的测试集来证明你修改的提示词比上一版好，你就不要提交任何修改。量化你的提示词输出结果，是掌控 AI 的第一步。
2. 理解大语言模型：接受瑕疵，用规则驾驭
传统软件追求 100% 的确定性。如果一个计算器算错了一次加法，那就是一个必须修复的致命 Bug。但大语言模型的本质是概率预测机器，它天然带有幻觉、偏差和不可控性。要求 LLM 永远不犯错，是对这项技术底层逻辑的无知。
Ankur 指出，顶尖的开发团队已经学会了与这种“不完美”共存。他们不再试图打造一个全知全能的超级提示词，而是通过建立严密的评估网络，找出模型最容易犯错的边界，然后用传统的代码逻辑或外部工具调用（如 MCP）来做硬性兜底。模型虽然不完美，但在特定规则的约束下，它的推理能力强大到足以重塑业务流。
> “你必须接受模型会犯错的现实。我们的工作不是消除所有的错误，而是建立评估机制去识别这些错误，并确保它们不会在最核心的业务路径上爆发。”
不要患上“零幻觉强迫症”。把精力从无限次调整提示词试图让模型“变完美”，转移到设计异常处理机制上。用评估测出模型的底线，然后用业务规则去填补底线以下的风险。
3. 产品经理的权力转移：从定规格到定评估
在这个新体系下，产品经理（PM）的角色发生了根本性的变化。以前，PM 的核心产出是 PRD 和交互线框图。现在，界面越来越极简，很多应用甚至只有一个输入框，PM 该干什么？
答案是：定义评估标准。未来的项目经理不再写静态的需求，而是构建“数据-任务-分数”框架。你需要亲手筛选出最具代表性的用户真实提问（数据），定义模型应该如何处理这些问题（任务），并且明确规定什么叫“回答得好”，什么叫“回答得差”（分数）。评估体系，就是你对产品业务逻辑的最终解释权。
> “产品经理的角色正在转变为定义‘什么叫好’。他们需要深入到数据集中，为工程团队制定清晰的打分函数和通过标准。”
立刻开始收集你业务中的真实 User Case。建立一个包含数百条“用户原话输入”及“完美标准答案”的 Excel 表格。这个数据集就是你作为 AI 时代产品经理最核心的业务资产，它的价值远超一份 50 页的 PRD。
4. 距离决定生死：离最终用户越近，越需要评估
并非所有的 AI 功能都需要动用最顶级的评估系统。决定你在这上面投入多少精力的唯一指标，是你的功能距离最终用户有多近。
如果你的 AI 功能只是在公司内部帮助运营人员生成草稿，运营人员在发送前还要手动检查一遍，那么偶尔的幻觉是可以容忍的。但如果你的 AI 是一个直接面向消费者的自动退款客服，或者是一个为医疗诊断提供建议的助手，这种“直接与最终用户交互”的场景，一旦出错就会引发公关危机或法律责任。在这种零容错的触点上，高密度的评估就是你的免死金牌。
> “与最终用户的距离决定了对评估的迫切需求。当机器自主决定向外部世界输出什么内容时，你没有任何退路，只能依靠严苛的离线测试。”
根据风险等级对你的 AI 功能进行分类。对于内部工具，采用“人工抽检”即可；对于直面用户的核心功能，必须强制实施代码级别的自动化打分与评估，不达标的提示词版本坚决不允许上线。
5. 实战拆解：构建“数据-任务-分数”框架
在播客的现场演示环节，Ankur 详细拆解了如何用 Braintrust 从零构建一个评估流程。其实无论是用动辄百万美元的商业平台，还是你自己手搓的代码脚本，核心都是这个不可撼动的铁三角框架：
第一是“数据（Data）”，即一组具有挑战性的测试用例，涵盖了用户可能出现的拼写错误、极端诉求。第二是“任务（Task）”，这通常是你写好的提示词或者一个调用了外部 MCP（比如查询 Linear 任务库）的 AI 代理。第三是“分数（Score）”，你需要写一段代码或使用另一个大模型作为裁判（LLM-as-a-Judge），对代理的回答进行自动打分。比如判定“是否包含了关键事实”、“语气是否礼貌”。只有这三个齿轮咬合在一起，你的提示词迭代才能拥有清晰的方向感。
> “你必须建立你的数据集，明确你的执行任务，并编写严格的评分函数。只有这样，当你迭代提示词或更换底层模型时，你才能确切知道自己是进步了还是退步了。”
不要在真空中优化你的提示词。建立一个 Baseline（基准线）。在修改任何指令前，先跑一遍你的测试集并记录下当前的分数。每一次修改，都必须以分数的提升作为唯一判定依据。
6. 失败的价值：为什么你需要“不通关”的测试？
很多开发团队在搭建了评估系统后，看到仪表盘上显示 100% 的通过率，就会沾沾自喜。Ankur 尖锐地指出，这是极其危险的错觉。如果你的评估测试全都是绿色通过的，这并不代表你的 AI 很强，只代表你的测试题出得太简单了。
真实的业务场景充满了恶意输入、上下文缺失和逻辑陷阱。一个健康的评估系统，必须包含大量专门用来“折磨”模型的失败用例。只有当你看到评估系统闪烁着红色的警告，准确捕获了模型在极端情况下的幻觉或崩溃时，你才能确信这套安全网正在发挥作用。拥抱并维护这种“允许失败、暴露缺陷”的评估文化，是区分顶尖 AI 团队和业余玩家的分水岭。
> “我认为最重要的事情之一，就是必须拥有会失败的评估。如果你只有永远成功的评估，那你根本不可能知道你的系统到底藏着什么问题。”
在你的测试集中，主动塞入 20% 的“毒药数据”（比如极其模糊的问题、故意诱导违规的指令）。你需要亲眼看到你的打分系统将这些输出判定为“不合格（Fail）”。如果它没抓出来，你需要立刻升级你的打分规则。
结语：掌控标准，才能掌控未来
当 AI 能够瞬间生成数百行代码，当代理能够自动完成跨部门的复杂协调，软件行业的门槛看似在降低，但实则核心竞争力正在急剧向上层转移。
PRD 的消亡，本质上是从“确定性执行”向“概率性治理”的让位。在这个新周期里，你不再需要去详细规定机器实现某个功能的每一个比特，而是要去界定业务的底线与成功的标准。谁能构建出最贴近真实业务的数据集，谁能写出最敏锐的评分函数，谁就掌握了让 AI 乖乖听话、持续进化的密码。丢掉那份冗长的需求文档，打开你的评估仪表盘，去用数据和标准，重新定义你的数字帝国吧。
内容来源：“Practical Guide to AI Evals Braintrust Tutorial with the CEO”丨(嘉宾: Ankur Goyal)丨Aakash Gupta
视频：https://www.youtube.com/watch?v=71qvIkO9d_A
!Image 5: 晚点再听LaterCast 晚点再听LaterCast @晚点再听LaterCast
One Sentence Summary
This article introduces Braintrust founder Ankur Goyal's view: in the AI era, PRD is outdated, top companies are using "Evals" to replace traditional requirement documents, and product managers need to transform into roles that define evaluation standards and build data-task-score frameworks.
Summary
Based on organizing Braintrust founder Ankur Goyal's podcast, the article explains the fundamental transformation of product development paradigm in the AI era. Traditional PRD becomes ineffective against LLM probabilistic outputs, replaced by a systematic evaluation framework. The article expands from five dimensions: why evaluation is needed (bid farewell to black-box development), how to understand large language models' characteristics (accept flaws and use rules to harness them), PM role transformation (from defining specifications to defining evaluations), the necessity of evaluation depending on distance from end users, and practical methods to build data-task-score frameworks. The author emphasizes that evaluation is not about pursuing perfection but establishing mechanisms to identify and control errors, and reminds teams to include 20% failure cases in test sets to ensure the safety net is effective.
Main Points
* 1. PRD becomes ineffective in the AI era, replaced by evaluation systems (Evals)
LLM output is probabilistic and cannot be constrained by deterministic requirement documents. It requires an evaluation system to quantify output quality.
* 2. Evaluation turns subjective "feelings" into objective, traceable scores
Replace dialog-based manual testing with batch test sets to quantify prompt iteration effects—this is the first step to gaining control over AI.
* 3. Accept LLM's imperfections and use business rules as safety nets
Top teams don't pursue zero hallucinations. Instead, they use evaluation to identify model weaknesses and apply code logic or MCP tools as hard constraints.
* 4. PMs' core asset shifts from PRD to data sets
PMs need to build test sets containing user raw statements and golden answers, and define scoring functions—this is the core business asset for PMs in the AI era.
* 5. Evaluation necessity depends on distance from end users
Internal tools can use manual sampling inspection, but zero-tolerance consumer-facing scenarios require mandatory automated evaluation.
Key Quotes
* PRD is dying. Top product managers replaced 50 pages of bs with 'test sets' long ago. * You must accept that models will make mistakes. Our job is not to eliminate all errors, but to establish evaluation mechanisms to identify those errors and ensure they don't explode on the most critical business paths. * The product manager's role is transforming into defining 'what good looks like.' They need to dive deep into data sets and formulate clear scoring functions and pass criteria for engineering teams. * One of the most important things is having evaluations that will fail. If you only have evaluations that always pass, you have no way of knowing what problems your system is actually hiding.
AI Score
81
Website mp.weixin.qq.com
Published At Yesterday
Length 3316 words (about 14 min)
Tags
AI Evals
Product Requirements Document
PRD Obsolete
Evals
PM Transformation
Related Articles
* Head of Claude Code: Programming is Disappearing, but Software Opportunities are Just Beginning | Lenny's Podcast * Netflix Co-founder: 7 Culture Rules That Changed the Entertainment Industry | Invest Like The Best * Tiny Capital Founder: Building 30 Free Employees with Opus 4.5 for Just $40 a Day | Every and deeply explores the reconstruction of software industry moats and investment strategies in the AI era.") * Anthropic skill-creator Major Update: Introducing a Testing and Evaluation Framework * Beyond Models: New Opportunities AI is Opening Up | a16z * OpenClaw Developer: Why 80% of Apps Will Disappear | Y Combinator HomeArticlesPodcastsVideosTweets