Title: 图灵奖得主押上 10 亿美元的「世界模型」，是 AI 的下一个十年？（下） | BestBlogs.dev
URL Source: https://www.bestblogs.dev/article/d1d68cc1?amp%3Butm_medium=feed&%3Butm_campaign=resources&%3Bentry=rss_article_item
Published Time: 2026-06-19 12:19:00
Markdown Content: 真正的智能，不始于语言，而始于世界。
👦🏻 作者: Shirley
🥷 编辑: Koji
🧑🎨 排版: NCon
!Image 2: 图片 上集结尾，我们留了一个问题：LeCun 口中的"世界模型"听起来很有说服力，可它真能比今天的大语言模型做得更好吗？能不能控制一台真实的机器人？
这一集，他的世界模型第一次走出理论、接受现实的检验。还是做客 Welch Labs，话题从"为什么"转向"行不行"：眼下最惊艳的那批机器人（能削西葫芦、能倒垃圾），用的恰恰是 LeCun 看衰的 VLA 架构。他凭什么说"VLA 必死"？而他自己的世界模型，又真的更强吗？
我们整理这一集，是因为它少见地把一场技术豪赌的两面都摆在了台面上，既有 JEPA 拿得出手的成绩，也有 LeCun 对它短板的坦白。
读完它，对于这条与主流唱反调的路，眼下究竟走到了哪一步，相信你会有自己的判断。
嘉宾背景 Yann LeCun｜图灵奖得主、卷积神经网络（CNN）之父、前 Meta 首席 AI 科学家，被公认为深度学习的奠基人之一。他 1980 年代开创的卷积网络奠定了今日计算机视觉的基础，2015 年提出的"蛋糕理论"则准确预言了自监督学习主导 AI 的时代。如今他离开 Meta、融资约 10 亿美元创办 AMI Labs，押注以 JEPA 和世界模型为核心、非生成式的全新路线，这让他成为当下质疑主流 LLM 路线中，分量最重、资历最深的声音。 本文路线：VLA 必死 → 第一层：视觉编码器 → 第二层：VL-JEPA → 第三层：机器人 → 眼下走到哪了
开场直球：VLA 必死 主持人：你的预期是什么？你认为 JEPA 路线最终会超越 VLA 吗？ Yann LeCun：哦，绝对会。是的，VLA 必死，它们基本上就是不太管用。
初创公司 Physical Intelligence 打造了迄今为止最令人印象深刻的机器人“大脑"之一。这是他们的 𝝅0.7 模型，能削西葫芦皮、折纸风车、倒垃圾。而它，是一个VLA（视觉-语言-动作）模型。
与 VLA 模型类似，JEPA 路线也能控制机器人，但 JEPA 所展示出的能力明显落后。这是 JEPA 花 60 秒才把一个杯子从平台上移开的样子：
一边是 VLA 机器人流畅地削西葫芦、倒垃圾；另一边是 JEPA 花整整 60 秒才挪开一个杯子。可偏偏是 LeCun，押下这一切的人断言那条更强的路才是死路。
是什么让他如此自信？这些现在看起来惊艳无比的 VLA，真的注定会失败吗？
从许多方面来看，VLA 模型的确算得上是当前主流"生成式、语言驱动"AI 路线的巅峰。
VLA 模型建立在 VLM（视觉语言模型）之上，而 VLM 又由视觉编码器和大语言模型构建而成。
在 VLA 技术栈的每一层，都存在一种基于 JEPA 的替代方案。因此这一集，我们将逐步探索 VLA 的替代技术栈：
1.一种名为V-JEPA 2的视频基础模型，与 AI 系统里常见的"语言监督编码器"相比较将如何？
2.包括 ChatGPT、Claude 等 AI 助手在内的视觉语言模型，以及用 JEPA 重述它们的训练方式。
3.探究JEPA 究竟如何学习一个可用于机器人规划与控制的世界模型，并审视这种方法相较于 VLA 可能具备的优势。
我们先从第一层、也是整个技术栈的根基——视觉编码器开始。
第一层：CLIP 与 V-JEPA 2 的视觉编码器之争
现代 AI 系统在融合视觉与语言上已经相当出色：聊天机器人能对图像进行极其详细的描述，我们甚至能反过来，把文字描述映射成逼真的图像和视频。
这些进展很大程度可追溯到 2021 年 OpenAI 的一篇论文和模型CLIP。
在上集我们提到，对比学习可以训练联合嵌入架构：让编码器对同一图像的"损坏版"和"未损坏版"输出相似向量、对不同图像输出不相似向量。
CLIP 的工作方式与之类似，但它用的不是同一图像的“损坏版”和“未损坏版”，而是图文配对：图像被输入进视觉编码器、文字说明被输入进独立的文本编码器，训练 CLIP 最大化配对图文的嵌入向量相似度、最小化非配对图文的嵌入向量相似度。
训练完成后，CLIP 的视觉与文本编码器可被复用到大量 AI 系统中。
一个常见应用是让大语言模型多模态化：当你给 AI 助手一张图，这张图通常会被输入进一个用类 CLIP 方法训练的图像编码器中，编码器提取出有意义的信息再供 LLM 使用。这种"视觉编码器 + LLM"的组合，就叫视觉语言模型（VLM）。
CLIP 靠的是图文配对，本质上仍依赖语言来引导视觉。那么，有没有一种完全不依赖语言、只从视频本身学习的视觉编码器？这就是 JEPA 给出的另一种答案——V-JEPA 2。
两种相反的训练哲学
V-JEPA 2 由 Meta 团队于 2025 年在 100 万小时视频上训练完成，并采用高达 10 亿个参数，是迄今为止最雄心勃勃的 JEPA 模型之一。
如上集所述，JEPA 把输入 X 和输出 Y 各自送进编码器得到嵌入向量，再用一个独立的预测器，根据 X 的嵌入向量去预测 Y 的嵌入向量。
V-JEPA 2 团队采用自监督训练方法，通过移除视频若干小块来损坏视频片段，将损坏版和未损坏版都输入进编码器中，训练预测器去预测缺失区域的嵌入向量。
这里的核心思路是，JEPA 通过学会补全视频中的缺失块，将学会如何理解视频，并由此理解视频所展示的世界如何运作。
尽管 CLIP 和 V-JEPA 都生成"输入图像/视频，并返回嵌入向量"的视觉编码器，但训练目标却截然不同：
对比维度CLIP （2021, OpenAI）V-JEPA 2 （2025, Meta） 训练信号 图文配对（图像 ↔ 文字说明）纯视频，不接触语言 学习方式 让配对图文的嵌入相似、非配对的不相似 移除视频小块，预测缺失块的嵌入 与语言的关系 受语言描述引导/约束对语言一无所知，表示方式自由
因此，只要 V-JEPA 学到的表征有助于补全猫的视频，模型就能用它自己喜欢的方式去表示"猫"这个概念，而不受语言所约束。
关键一问：只看视频的编码器，语言模型用得上吗？
但这种自由度也带来一个关键问题：V-JEPA 2 学到的表征，我们的语言模型真的用得上吗？一个仅通过视觉训练出来的模型，能否与一个仅通过语言训练出来的模型进行交互？如果我们把 CLIP 替换成 V-JEPA 2，即在视觉语言模型中配备一个 V-JEPA 2 编码器会怎么样？
V-JEPA 2 的作者在论文[1]中进一步证明，这种方法不仅可行，而且换上 V-JEPA 2 编码器后，在一组视频理解基准上达到了SOTA（最先进）：
我们展示了一种无需语言监督即可预训练的视频编码器，这种编码器能够与语言模型对齐，并实现最先进的性能，这与传统观点相悖。
这些视频理解基准测试涵盖了多种技能。举一个 TempCompass 基准测试中的例子：
给模型看一段"人拿起菠萝"的视频，让它在多个选项里选发生了什么。有意思的是，在这个问题的变体中，视频被倒放，正确答案随之改变。
作为参照，在我们的测试中，ChatGPT 5.5 对正放和倒放都答错，只有某些版本的 Claude 和 Gemini 能够给出正确答案。
因此 V-JEPA 2 表明：在用于训练视觉语言模型中的视觉部分时，一个基于 JEPA 的方法，能取得有竞争力的结果，甚至在某些基准测评上达到最先进的水平。
第二层：VL-JEPA，把整个 VLM 改造成 JEPA
不过这仍是一种混合方法：JEPA 只用在模型的视觉部分，而完整的视觉语言模型（VLM）在语言上仍用标准的生成式下一 token 预测目标。那么，能否把 JEPA 架构应用到整个 VLM 上呢？
在最常用的 VLM 架构里，图像/视频被输入进视觉编码器，生成的嵌入向量连同被 token 化的 prompt 一起送进 LLM，LLM 直接一次一个 token 地输出文本。
现在我们试着把它映射到 JEPA 架构，按 JEPA 的做法，不再直接生成输出文本，而是把目标输出文本送进一个编码器，训练预测器去预测输出文本的嵌入向量。
除此之外，标准 VLM 架构的其余部分实际上与 JEPA 架构的对应关系非常清晰：
在标准 VLM 架构中，视觉嵌入和 prompt 被输进 LLM；在 JEPA 架构中，预测器接收嵌入后的图像/视频，输入 prompt 让预测器能够同时处理视觉和文本输入。
所以在架构上，VLM 里的语言模型和 JEPA 里的预测器，都承担着相似的任务并接收相同的输入。 关键差别在于，JEPA 预测器的目标是输出文本的嵌入向量，而非输出文本本身。
那么这个 JEPA 版的视觉语言模型表现究竟如何？
在上集“行车记录仪”的例子中，我们了解到 JEPA 架构的一个关键优势是不必重建完整输出，因此理论上，编码器会提取输出的显著特征，而忽略无关细节（如路边树叶的随机抖动）。
举个例子，如果我们问 VLM"图里这个蘑菇能不能吃"，正确答案有很多种措辞，但训练数据里可能只包含其中一种表述。根据训练数据得出的正确答案是"不要吃这个蘑菇"，而模型却返回"这个蘑菇不安全、不能吃"，模型会在训练中因为一个本质上正确的回答而受到惩罚。
而用JEPA 架构，这些措辞会被映射到非常相似的嵌入向量，从而抽象掉预测目标中不相关的语义差异。
2025 年底，Meta 一个研究团队展示了这种视觉语言 JEPA 架构（他们称为VL-JEPA）带来的惊人效率提升。
在一项对照实验中，当 VLM 和 VL-JEPA 在相同的视觉编码器、并使用相同数据和训练配置进行训练，VL-JEPA 学习速度显著更快：在 500 万个训练样本后，达到了35%的视频分类准确率，而传统 VLM 架构仅20%准确率。
也就是说，通过抽象掉目标训练文本里无关的语义细节（预测目标文本 Y 的嵌入、而非 Y 本身），VL-JEPA 能够实现更高的学习效率。
这种效率优势能转化为实打实的结果。GQA 是一个考验组合视觉推理的基准，题目往往很绕，比如给一张图，要模型判断"杯子所在的那个托盘，它左边有没有水果"。
正是在这样的基准上，16 亿参数的 VL-JEPA，直接打赢了 70 亿参数的模型。
不过，由于 VL-JEPA 不是生成式的，它默认并不会直接输出问题的答案。团队因此用了几种变通：
1）是把图像和问题送进模型得到一个预测嵌入向量，再把某基准的所有候选答案送进 Y 编码器，选出与预测嵌入向量最相近的那个，相当于给 VL-JEPA 出选择题；
2）是训练文本解码器，将 VL-JEPA 预测的嵌入向量映射成文本，让它在推理时能像生成式模型一样工作。
第三层：机器人——VLA vs JEPA 的最强碰撞
JEPA 框架和 AI 聊天助手背后的视觉语言模型有着有趣的重叠，提供了通往更强视觉编码器（如 V-JEPA 2）、以及通过 VL-JEPA 这类架构，获得"嵌入空间训练目标、让模型更高效学习"的路径。
前两层，JEPA 都赢得漂亮，但到了第三层，故事开始变得不一样了。
那么开头那些视觉-语言-动作（VLA）模型呢？
这些模型实质上把 LLM 变成了"机器人大脑"：利用预训练的 VLM，根据指令提示和机器人摄像头/传感器提供的输入数据，训练它们输出机器人的控制信号。
早期 VLA 模型让 LLM 直接输出控制信号，前面 𝝅0.7 这类最新的尝试，则采用一个叫动作专家（action expert）的独立模型来对接 LLM，并输出最终的控制信号。
有意思的是，VLA 模型正是与 LeCun 的 JEPA 理念对比最强烈的地方。LeCun 对 VLA 的批判归结为两点： 行为克隆的扩展难度，以及缺乏明确的规划。
先来听听 LeCun 对行为克隆的看法：
哦，VLA 必死，它们基本上就是不太管用。让它们运作起来的唯一办法，本质上是收集海量的示范样本，然后做行为克隆（behavior cloning）。而这只在极少数、且变化程度不高的应用场景中才适用，一旦系统面对稍微新一点的情况，就会显得无助。
人类演示是许多 VLA 实现（包括 Physical Intelligence 的 𝝅 模型）的关键训练数据来源，训练数据集通过精密的控制器进行采集，其中机器人模仿操作员手部的位置。
但 LeCun 认为，这种方法根本无法规模化：你不可能为机器人做的每项任务的每种变体都采集人类演示数据。
需要指出的是，VLA 模型已被证明能泛化到训练示范之外的新任务去。
事实上，VLA 在 2023 年的突破时刻，Google 的 RT-2 把一罐可乐移到泰勒·斯威夫特的照片旁，就体现了这点。
为了完成任务，RT-2 必须把它内部视觉语言模型在预训练时学到的"泰勒·斯威夫特"概念，并与它后来从人类示范里学到的"移动物体"动作相结合。
当然，泛化能力本身是一个渐进的范围：这些具体任务虽并未包含在人类示范数据中，但训练数据里有相似任务；如果让它做与示范数据差异过大的任务，它很可能会失败。
但这里更大的问题是，VLA 能否在示范数据以外实现足够好的泛化能力？
LeCun 对 VLA 的第二大批评是缺乏明确的规划。
VLA 是端到端进行训练和部署，在每个时间步，都会输入一组新的摄像头图像和机器人关节位置，模型被训练为直接输出下一组关节位置，机器人随后移动到这些新位置，拍摄新的图像，循环往复。
在 Physical Intelligence 的一个演示中，机器人要在两个夹爪间来回传递钥匙、才能将其调整到恰好能开锁的位置；内部的 LLM 推理出钥匙该怎么拿，并把这个目标拆解成这套来回倒手的动作。
这里的挑战在于，我们对整个规划过程的控制和可见性都极其有限，面对的基本是个黑箱，它接收文本指令和摄像头画面，然后吐出动作。
而这恰恰是 LeCun 所质疑的：一个无法预测自身行为后果的系统，他根本不认为能在它之上构建可靠的智能体。可靠的智能体必须能预判一连串动作的结果、再去规划。
这样一来，推理就从"自回归预测"变成了一种"搜索"，这就是世界模型的全部意义。 push-T：让机器人先在脑子里预演
与 VLA 不同，LeCun 用 JEPA 架构搭建世界模型的方法，并非端到端学习、也不通过行为克隆去模仿人类，而是用 JEPA 架构学习一个以动作为条件的世界模型，再用它来显式规划动作。
这是一个叫push-T的任务，机器人要把一个 T 形物体移动到桌上标记的最终位置。
它比看起来更棘手，因为很难预测 T 会如何随推动方式平移和旋转，机器人的动作实质上仅限于二维摇杆控制（上下左右移动末端执行器）。
LeCun 的世界模型在模拟 push-T 任务时又是如何运作的呢？
首先，先用 JEPA 学习一个世界模型，通过记录来自推杆的图像和动作，在每一步中，我们训练预测器根据当前图像的嵌入向量，以及箭头键显示的某个动作，去预测下一帧环境图像的嵌入向量。
这里的“棕色 T” 是目标位置，“蓝色 T” 是我们推动的物体，控制输入则移动黄色的执行器。
现在事情变得真正有趣了：给定某个初始配置，我们把这张图像输入编码器中，得到起始位置的嵌入向量；然后把任意动作输入预测器，预测器会根据该动作返回其对世界下一状态的预测。
这个预测仍是个嵌入向量，我们很难直接看懂它在预测什么，但对 push-T 这种简单环境，可以训练一个独立的解码器（vision decoder），把预测的嵌入向量映射回环境图像。
输入一个"向上"的动作，解码图里的执行器（黄色圆点）就向上移动，向左、向右、向下同理。再把动作串联起来，每一步都把预测出的新状态（嵌入向量）反馈回预测器、再输入下一个动作，以此类推…这就像一幅学出来的、关于 push-T 世界动态的习得性草图。
上述这个 push-T 游戏，出自一个名为LeWorldModel（简称 LeWM）的 JEPA 开源实现。它由 LeCun 本人参与提出，直接从原始像素和动作端到端、从零训练，不依赖任何预训练编码器。
仅凭这些数据，世界模型就学到了环境的物理规律，包括"蓝色 T 是刚体且可移动"这一事实，以及执行器与 T 的复杂交互。
有了这个，就能预测一连串动作，并通过优化，找出能实现某一特定结果的最优动作序列，这就是经典的最优控制理论。
为了规划一系列动作，LeWorldModel 团队用了一个很通用的规划方法——交叉熵方法（CEM）。
给定起始图和目标图，CEM 从一组完全随机的动作开始（比如执行器的 500 条随机轨迹），用世界模型挑出最有希望的轨迹：
对每条路径，用世界模型预测它会发生什么，并计算最终预测嵌入向量与目标嵌入向量之间的欧氏距离（Euclidean Distance）作为打分；按距离给路径上色，挑出表现最好的 30 条轨迹组成精英集（Elite Set），用其均值和标准差再采样一批新轨迹，如此反复，直到收敛出一条最终规划路径。
最后沿规划路径走，执行器就把 T 漂亮地推向了目标。
真正了不起的是，整个规划过程完全发生在模型学到的嵌入空间中，给每条路径打的分数（最终预测嵌入向量与目标嵌入向量的距离）引导着整个规划过程。
因此，这个系统干净地回应了 LeCun 对 VLA 的批判： 它并非通过模仿人类来学习，因此无需观察人类如何解决该任务；但可凭借世界模型，以及明确的规划过程，自主寻找解决方案。 短板与解法：分层世界模型
不过，这套优雅的方案有一个必须诚实面对的短板：LeWorldModel 迄今展示的性能，大幅落后于 VLA，它只能可靠地向前规划约 5 步，因此被限制在相对简单的操作上。
这正是采访中那个尖锐的追问：一个 JEPA 机器人，连"清扫厨房 10 分钟"这种长任务都规划不了，怎么办？
LeCun 的答案是分层模型（hierarchical model）： 低层负责高细节的短期预测，高层负责粗颗粒的长期预测。
理由是，对预测保留的细节越多，它就越容易迅速偏离现实；所以越往长远看，就越要舍弃细节、只抓大方向。
他用一个所有人都熟悉的场景举例：
如果我坐在纽约的办公室，想明天到巴黎，我没法用'毫秒级的肌肉控制'去规划整趟旅程，大多数时候，我根本没有那个信息。
真实的规划是逐级展开的：最高层是"去机场、赶飞机"，往下分解出"先到机场"这个子目标，再往下是"下楼、打车"，直到某一层，你面对的已经是"从椅子上站起来、走到电梯"这种熟练到无需思考的动作。
将这套分层世界模型继续延伸到之前的 push-T 任务上，仅用两层结构，就把规划步长从 5 步延伸到了 15 步。有趣的是，其中高层的预测，恰好充当了低层规划器的子目标。
更让 LeCun 期待的是一种免费的午餐： 如果架构设计得当，这种层级或许能像 CNN（卷积神经网络）自动学出"由简到繁"的特征层级那样，自发涌现出来——系统通过"低层学短期、高层学长期"的自监督训练，自己长出合适的抽象层级。
但他也补了一句前提，这只有在"半专家级"的轨迹数据上才行得通，也就是说这一层级的成功涌现高度依赖于训练数据的质量。
若喂给它的是完全随机、毫无因果关联的训练数据，系统学不到任何高层规律。 AMI Labs的工业蓝图：控制写不出方程的系统
V-JEPA 2 与 VL-JEPA 让我们看到了这个框架的潜力，也证明 JEPA 路线与当前主流的语言驱动路线并不冲突。
但 LeCun 没有回避现实，一旦拉远到真正的智能体和机器人问题，JEPA 驱动的世界模型仍然相当受限。
为此他给了一个意味深长的类比：30 年前，他做的那套识别手写数字的早期深度学习系统，在当时看也相当受限，就像今天的 push-T 演示一样不起眼，可正是那批核心思想，最终被放大成了今天强大的 AI。
!Image 34: 图片 JEPA 会不会复刻同一条轨迹？
在被问到 AMI Labs 的下一步时，LeCun 给出的方向不是人形机器人，而是去控制那些"行为无法被简化为少量方程"的复杂系统：
如果你能写下方程，比如一个简单的机械臂、甚至一个人形机器人，你直接写下动力学方程就行；NASA 发射火箭，也有完整的动力学模型，能规划出整条飞行轨迹。真正的难题在那些写不出方程的地方，一座化工厂、一台喷气发动机，或者一位糖尿病患者。你该用什么疗程去控制他的血糖？该如何引导一个干细胞，变成胰腺里分泌胰岛素的 β 细胞？
这些系统都无法被几个方程描述，但 LeCun 认为，或许能从数据里学出它的现象学模型（phenomenological model），再用它来进行控制。
材料科学和化学里已经有不少这类尝试，譬如训练一个复杂集体现象的模型，再用它去设计新材料、新催化剂、新电池等等。
而他坦言，眼下这未必是为了创收，更多是积累把这套方法论推进到实际应用的经验。
至于终点，他的野心并不小：
再过几年，希望 AMI Labs 能成为智能系统的主要供应商，无论应用场景是什么。
支撑这份野心的，是写在 AMI Labs 主页上的一句信条，也是他这场豪赌的全部前提：
_Real intelligence does not start in language. It starts in the world. 真正的智能，不始于语言，而始于世界。_
!Image 36: 图片 写在最后：一场还没有答案的赌局
把上下两集连起来看，LeCun 这场 10 亿美元的赌局，既有亮眼的一面，也有清醒的一面。
JEPA 证明了"不生成、只理解"这条路不仅走得通，效率还能反超：不靠语言的 V-JEPA 2 在视频理解上摸到了 SOTA，16 亿参数的 VL-JEPA 直接压过了 70 亿参数的对手。
但在机器人控制上，JEPA 还大幅落后于 VLA：连推一个 T 形积木都只能规划区区 5 步。
LeCun 有一套完整的构想，也有几个漂亮的单项战绩，但他最看重的那个能力：让机器人像人一样先在脑子里预演、再动手，离真正能用，还有很长的路。
所以这不是一封"JEPA 赢了"的捷报，但别忘了，30 年前，他那套识别手写数字的小网络，在当时看也一样不起眼。
这一次，世界模型还会复刻同样的逆袭吗？
几年之内，我们或许就能看到答案。
!Image 37 十字路口正在寻找独立撰稿人，撰写 AI 产品和模型评测。
如果你写过类似文章：《实测 PixVerse C1[1]》、《实测 LibTV[2]》，请联系 zeo0811@gmail.com ，邮件内容请包括：① 个人介绍、② 你写过的 AI 评测文章。
我们会提供有竞争力的稿酬。期待与你一起观察与记录 AI 时代 🎪