作者探讨了建立标准化评估基础设施以验证企业软件中 AI 能力声明的必要性，并寻求社区反馈，以确定“评估”（evals）是否是投资者和采购团队的正确解决方案。
📝 详细摘要
本文指出了当前 AI 软件市场的一个关键缺口：投资者和采购团队无法验证供应商关于 AI 性能的声明。作者在私募股权咨询领域工作，提议开发一种类似于 Braintrust 的、可访问的评估基础设施，允许非技术利益相关者运行自定义测试用例并进行基准事实（ground-truth）验证。作者寻求社区对这种方法的可行性、“外部视角”（outside-in）评估协议的设计，以及“LLM 作为裁判”（LLM-as-a-judge）评分方法在区分企业 AI 工具中的事实与营销噪音方面的可靠性提供意见。
💡 主要观点
- AI 软件供应商与买方之间存在严重的信息不对称。 供应商经常对 AI 的准确性和性能做出大胆声明，但投资者和采购团队目前缺乏独立验证这些声明的技术基础设施。
💬 文章金句
- “大多数企业工具现在都在大肆宣传其 AI 能力……而接收这些声明的人（主要是投资者，也包括买家/采购团队）目前没有真正的方法来可靠地验证这些声明。”
- “理想情况下，应该存在一种对公开市场可访问的基础设施——本质上是一个平台或服务……可以帮助投资者/采购团队自行运行评估测试。”
- “核心思想是真正从当今许多软件供应商的噪音中剥离出事实。”
📊 文章信息
AI 评分：82
来源：LessWrong
作者：Dhruv Gulati
分类：人工智能
语言：英文
阅读时间：2 分钟
字数：417
标签： AI 评估, 企业 AI, 尽职调查, LLM 基准测试, 软件采购