应用层公司凭什么和顶级 AI 实验室竞争？Harvey 联合创始人 Gabe Pereyra 给出了一套真实打法：先建 benchmark、用领域专家引导合成数据生成、借助 frontier ecosystem 做 post-trainin
大家都知道 OpenAI、Anthropic、Google DeepMind 这些顶级 AI 实验室手里捏着什么：顶级的研究人才、天量的算力、海量的数据、几乎无限的资金。那对于一家应用层（application layer）公司来说，跟这些实验室正面竞争，听起来根本是一场不公平的游戏。
但 Harvey 的联合创始人兼总裁 Gabe Pereyra 最近在 Sequoia Capital 的活动上分享了一段让我印象特别深的演讲。他说的不是什么宏大叙事，而是一套真实在跑的研究院打法。听完之后我反复想了好几遍，觉得这套东西值得好好拆开来看。 Harvey 是谁 为什么值得关注
如果你还不太熟悉 Harvey，简单说一下背景。Harvey 是一家专注于法律行业的 AI 公司，服务对象是全球最顶级的律师事务所和企业法务团队。Gabe 本人有很硬的技术背景，曾在 DeepMind 和 Meta 做研究科学家，后来拉上大学室友一起创办了 Harvey。公司成立至今约四年，现在已经在 60 个国家运营，服务对象是那些对数据隐私要求极度苛刻的大型律所。
我觉得 Harvey 这个案例特别有代表性，不是因为法律行业本身，而是因为他们面对的挑战几乎是所有垂直行业 AI 公司都会碰到的：客户数据不能拿来训练、没有公开的高质量领域数据、要跟通用大模型竞争、还要在资源远不如大实验室的情况下保持技术竞争力。Gabe 用了一句话来定性这场竞争，他说顶级实验室有更多的钱、更强的人才、更好的算力基础设施和更多的数据。所以怎么竞争？答案是：借助 frontier ecosystem（前沿生态系统）。我觉得这个判断本身就值得停下来好好想一想。
!Image 3 先建 benchmark 这是一切的起点
Gabe 在演讲里说的第一件事是，如果你没有一个好的 benchmark（评估基准），你就没办法训练模型，没办法训练模型，就更谈不上把它部署到生产环境里。这句话听起来很简单，但其实道出了一个很多公司容易跳过的关键步骤。
Harvey 今年已经开源了三个自己做的数据集。第一个叫 LegalAgentBench，这是一个覆盖大型律所各种日常工作任务的分类体系，包括起草复杂的基金设立文件、做案例法律研究等等，都是真实业务中会碰到的复杂任务，不是那种简单问答。第二个是合同谈判数据集，专门用来训练 AI agent 做类似企业内部法务部门的合同谈判。第三个是 Gabe 本人最兴奋的大型 due diligence（尽职调查）数据集，他说这是目前公开发布的最大规模 RL（强化学习）环境之一，最大的 data room（数据室）达到 8000 万个 token，可以用来研究超长上下文、极复杂任务场景下的模型表现。
我觉得这里有一个细节很多人会忽略掉。为什么要自己做这些 benchmark？因为如果你用的是通用 benchmark，你其实很难知道你的模型在你自己的业务场景里到底够不够好。对 Harvey 来说，法律任务本身就是天然的难题，Gabe 说得很直接：你只要把一个真实的律所客户案子还原出来，现在最顶级的模型都还做不好。这个现实本身就是 benchmark 存在的意义。一个好的 benchmark，本质上是你对自己业务问题的精确描述。 最难的问题：数据从哪里来
这是整个演讲里我觉得最有意思的一部分。Harvey 遇到了一个非常极端的数据困境：他们的客户是全球最顶级的律所，这些律所的法律数据受到严格的特权保护（privilege），不只是不能放进通用模型，甚至连 Harvey 自己的模型都不能用这些数据来训练。换句话说，你没有真实数据，你怎么训练？
Gabe 的答案是：用领域专家来引导合成数据（synthetic data）生成。他举了一个很好玩的类比，来自 Reka 的 Brendan 说的：就像现在工程师不再直接写代码，而是用 vibe coding（氛围编程）的方式引导 AI 编程模型一样，Harvey 也开始用类似的方式引导数据生成。Gabe 的弟弟本身是 Harvey 的一名律师，也是公司的早期员工，他在这件事上已经非常熟练，还培训了团队里其他律师来做这件事。
具体是怎么做的？Gabe 在 Q&A 里给了一个非常具体的例子。以 due diligence 场景为例，真实的 data room 可能包含一万份合同，这些合同需要相互匹配、逻辑自洽，而且历史上这种合同数据根本没有公开来源。他们的解法是：先从 rubric（评分标准）出发，人为在数据里埋好问题，比如这几份合同之间有矛盾、这一份合同缺失了关键条款，然后用这个 rubric 来生成整个 data room。生成之后，再借助 Mercor 和 Snorkel 这类公司把合同文件做得更逼真，最终你就有了一个完整的、有答案的训练数据集：你知道 data room 里埋了哪些问题，就可以评估模型有没有发现它们。
Gabe 说这解决了他们一直以来的鸡生蛋蛋生鸡的死结。以前去找律所谈合作，律所说你先证明这模型有用，Harvey 说你先给我数据，律所说不行。现在通过合成数据，可以先证明可行性，律所才愿意往下谈。我觉得这个思路有很强的普适性。几乎所有垂直行业都面临类似问题：真实数据敏感，合规成本极高，开源数据又不够专业。用领域专家来引导合成数据生成，可能是目前最现实的破局路径。
!Image 7 为什么选择开源 benchmark 而不是藏起来
Harvey 做了一个在当时看起来挺争议的决定：把自己做的 benchmark 开源了。Gabe 对此的解释很务实。他说一个 benchmark 够不够好，你自己很难判断，只有很多人拿去训练、测试，才能发现里面的问题。这跟他早年在 Google Brain 和 DeepMind 做研究的经验一致，那时候最好的数据集都是开放的，比如 ImageNet、CIFAR、MNIST，正是因为开放，大家才能共同发现和修复问题。
他还说了一个更实际的理由。现在越来越多的顶级实验室在发布新模型时，会把 Harvey 的 benchmark 作为评测指标。这对 Harvey 来说是很大的杠杆，相当于让整个行业的最强模型来帮你持续测试你的 benchmark 有没有问题。他顺带提了一句，Elon 把他们的数据集转发了一次，也带来了不少关注度。
但这里有一个真实的张力。有人在 Q&A 里问：开源了 benchmark，不就等于让大实验室可以直接刷榜，让你的竞争优势消失？Gabe 的回答很清醒。他说真正有价值的数据，不是这些合成出来的公开 benchmark，而是帮助律所在自己的私有数据上训练定制模型的能力。这才是 Harvey 真正的护城河。公开 benchmark 只是一种生态建设，目的是让整个行业都能用上更好的工具，同时也能吸引更多的研究力量来测试新方法，说不定某个团队试出了什么新技术，Harvey 就可以第一时间接入。
我自己觉得这里有一个更深层的战略逻辑。开源 benchmark 本质上是一种话语权的建立。你定义了评估标准，你就在某种程度上定义了这个领域里什么叫做"好"。Harvey 在法律 AI 这个赛道上，正在通过这种方式把自己变成行业标准的制定者。这种影响力，比把数据藏起来要有价值得多。 和 Neo Labs 合作做 post-training 为什么要同时找多家
Gabe 提到，Harvey 现在和多家 neo lab（新兴 AI 训练实验室）合作来做 post-training（后训练，即在预训练模型基础上进行针对性微调）。他具体提到的包括 Fireworks、Base 10、N-gram、Trajectory、Applied Compute 等。每一家的合作内容都不一样，比如和 Fireworks 合作训练 GLM 5.1，用 Claude 系列模型作为顾问模型，和 Trajectory 合作训练 NeMo-Megatron 模型，和 N-gram 做企业搜索和律所知识库等。
有人问他为什么不干脆只选一家？他的回答很直接：因为 Harvey 现在有的研究项目，比他们内部的带宽要多，也比任何单一 neo lab 的能力范围要广。每家 neo lab 在研究方向上下的赌注不同，有不同的专长，和更多家合作，就能学到更多。而且开源模型现在越来越强，post-training 的价值越来越高，这也是一个关键背景。
Gabe 说了一个让我觉得很有意思的判断。他说过去几年，对开源模型做 post-training 其实意义不大，因为基础模型本身进步太快，你今天做完的 post-training，下一个版本的 pre-trained 模型出来就把你的工作淹没了。但现在不一样了，GLM 5.2、NeMo-Megatron 这些开源模型已经足够强，做 post-training 可以把它们推进到 frontier intelligence（前沿智能）的水平，至少在法律这个具体任务上是可以的。
他说他们整个努力的目标，是参照 Cursor 做 Composer，打造 Harvey 自己版本的 Associate 1——把他们在合成数据、Mercor 扩展、neo lab 合作等方面积累的成果，打包成一个可以和闭源模型并行部署的专属模型。我觉得这个目标设定本身就挺有意思。不是说要超过 GPT-4 或者 Claude，而是在特定垂直场景下，做出一个可以放在闭源模型旁边、同样能用的东西。这种定位其实比"做最好的模型"更现实，也更容易实现。 把模型推上生产有多复杂 这才是真正的工程挑战
这是演讲里很多人可能会跳过但我觉得最值得学习的部分。Gabe 说，很多人还以为应用层公司的模型服务就是调一个模型接口，最多是个聊天产品。但 Harvey 面对的现实是：60 个国家、多个产品线、不同客户对模型有不同偏好、还需要在多个供应商之间做 fallback 来保证 SLA（服务水平协议）。
他展示了一个矩阵，描述了在生产环境中服务模型需要考虑的所有维度。对每一个模型家族，都需要同时维护多个版本，需要在供应商之间做备份切换，现在还要把开源模型混进来一起管理。这套基础设施建设，必须在你考虑 post-training 之前就先搭好。
那一个新模型来了，怎么决定要不要把它放进生产？Gabe 说他们有一套评估流程。进入生产前，先用 LegalAgentBench 做快速自动化评估，看它在法律任务上的基础水平；然后做人工测试，让这个模型和现有模型做 side-by-side 对比；再针对每个产品页面检查 critical user journey（关键用户路径），因为一个模型可能在通用任务上很强，但在某个特定产品场景里表现很差。进入生产后，同样有一套持续监控机制，包括 A/B 测试、参与度跟踪、uptime（正常运行时间）、token 使用效率，还有 Gabe 幽默地称之为 product feedback 的东西——他说他本人叫它"愤怒的客户邮件"。
这里有一个我觉得特别实用的建议。Gabe 说在做 post-training 之前，先做两件成本很低的事：一是找出产品里有没有地方可以直接把闭源模型换成开源模型，比如 Harvey 有些生成引用的模块根本不需要最强的模型，换成 GLM 5.2 就能省成本或者提升性能；二是做 model routing（模型路由），对于不能直接替换的场景，至少可以在某些特定类型的查询上把流量导向开源模型。这两步做完，你就建立了在生产中同时运行开源和闭源模型的基础能力，后面再上 post-training 就顺畅得多。
!Image 10 招人的困境 怎么和大实验室抢研究人才
有人在 Q&A 里问了一个很现实的问题：Harvey 怎么跟 Anthropic、OpenAI 这些实验室竞争研究人才？那些地方给的薪酬包可能高达一亿美元以上。
Gabe 的回答很诚实。他说一开始这是他犯的一个大错误。他早年在实验室里认识了很多厉害的研究员，想把他们招进来，但公司规模还不够大，根本没法在薪酬上竞争。现在 Harvey 才刚刚到达一个可以认真参与这个竞争的体量。
但他说了一个让我觉得挺有希望的判断。以前需要这种顶尖人才的原因，不只是做 post-training 本身，还因为你需要同时搭建训练基础设施和服务基础设施，这两件事加在一起，对人才的要求极高。但现在 Fireworks、Tinker 这类 API 已经把训练和部署的基础设施都做好了，你不需要再自己从头搭了。这就把可以胜任这份工作的人才范围大大拓宽了。再加上现在有越来越多读完博士不想去大实验室的研究员，这个市场正在变得更可及。
我自己对这一点有一个延伸理解。这其实和前面聊过的"借助 frontier ecosystem"是同一个逻辑。你不一定要把所有能力都内置，当周边生态足够成熟，很多能力可以外包给专业供应商，这样你需要在内部培养的只是真正有差异化价值的那部分。 Moneyball 时刻 用小预算赢大对手
演讲快结束时，Gabe 用了《点球成金》（Moneyball）里的一段台词来收尾。电影里 Billy Beane 说：如果我们用这个预算、这支队伍赢了，我们就改变了这个游戏。Gabe 说他认为现在 frontier ecosystem 给了所有应用层公司同样的机会。
我觉得这个比喻选得很准。Moneyball 的核心逻辑是：当资源不对等时，与其在对方擅长的领域正面硬拼，不如找到一套不同的评价体系，在里面建立自己的优势。Harvey 的做法本质上就是这样——不是要在算力上超过 OpenAI，而是在法律这个垂直场景里建立一套评估标准、数据能力和模型服务能力，让通用大模型在这里也不得不和自己较量。 真正难的问题还没有解决
Gabe 在 Q&A 里也坦诚地说了他们目前还没搞定的事情，这段我觉得比光讲成功更有价值。
最大的挑战是数据分布的偏差。合成数据虽然可以做得很逼真，但它的分布和真实生产环境里的数据分布还是有差距。他们现在生成的数据集在某种程度上是"面向未来"的，比如一个完整的 due diligence 流程，但实际用户现在更多是用 Harvey 来写邮件或者起草某一段内容，而不是做完整的尽职调查。因为没办法看客户数据，所以这个分布差距很难弥合。
第二个挑战是超长上下文管理。他们的 due diligence 数据集里最大的 data room 有 8000 万个 token，现有的模型在这种超长上下文环境下的表现还差得很远，如何训练模型在这种复杂环境里工作，仍然是一个开放问题。
第三个挑战也是 Gabe 认为最长远的终极目标：持续学习（continual learning）。他说他们最终的愿景不是做出最好的法律模型，而是帮助每一家律所或者企业客户根据自己的业务不断定制和迭代自己的 AI 系统。每办完一个客户案子，这家律所的 AI 系统就变得更聪明一点，同时还能保护客户数据的隐私。他说这既是技术挑战，也是运营挑战，还是 AI 的核心难题，三个维度叠在一起，非常复杂。
!Image 12 我自己的几点思考
听完 Gabe 的整段演讲，我有几个感受想分享。
第一，benchmark 的价值被严重低估了。很多公司在做 AI 产品时，evaluation（评估）这件事往往是事后才想到的，先把产品做出来，再考虑怎么测它好不好。但 Harvey 的逻辑是反过来的：先有 benchmark，再训练模型，再上生产。这套顺序让他们在每个环节都有清晰的信号知道自己在哪里、问题出在哪里。我觉得这对做垂直 AI 产品的团队是一个非常值得借鉴的思路。
第二，"借助生态"不是认输，是更聪明的竞争方式。Gabe 说的 frontier ecosystem 包括开源模型、neo labs、训练 API、评估工具等等。以前要做这一切，你需要像顶级实验室一样自己从头搭建所有基础设施。现在这些东西都已经有人做好了，应用层公司真正需要做的，是找准自己的核心价值——数据、评估标准、领域知识——然后把外部资源用到极致。这种竞争方式，说实话比很多公司现在走的路要清醒得多。
第三，"做最好的通用模型"可能根本不是正确的目标。Harvey 从来没有说要超过 GPT-4 或者 Claude。他们的目标是在法律场景里做到 frontier level，然后帮助每家律所把 AI 系统定制成适合自己的样子。这种超垂直的路线，在当下这个阶段可能比追求通用性要更容易找到真实价值，也更容易建立真正难以被复制的护城河。
第四，关于持续学习这个终极目标，我觉得 Gabe 描述的那个愿景——每家律所办完案子 AI 就变得更聪明，同时保护数据隐私——如果真的能实现，这是一个几乎不可被颠覆的竞争壁垒。因为每个客户的使用都在给系统喂数据，系统越用越好，就越难被替换。这种 flywheel（飞轮效应）一旦转起来，后进者的追赶成本会呈指数级上升。这才是真正意义上的 AI 时代的护城河。 结尾
也欢迎大家留言讨论，分享你的观点！
觉得内容不错的朋友能够帮忙右下角点个赞，分享一下。您的每次分享，都是在激励我不断产出更好的内容。 欢迎关注深思圈，一起探索更大的世界。 -END- 往期文章   