本文梳理了图灵奖得主 Yann LeCun 对当前主流生成式 AI 路线的尖锐批评,阐述了他为何认为「像素重建」和「下一 Token 预测」是错误方向,并介绍了他押注的 JEPA 架构和世界模型理念。
📝 详细摘要
文章以 Yann LeCun 的公开言论为线索,系统阐述了他对当前 AI 主流范式的根本性质疑。LeCun 认为,以 LLM 为代表的「下一 Token 预测」和以扩散模型为代表的「逐像素重建」在物理世界面前走不通,因为真实世界是连续、无限且充满不确定性的,而语言是离散、有边界的。他提出,真正的智能体必须具备预测自身行为后果的能力,而这需要构建「世界模型」。文章详细介绍了 LeCun 提出的替代方案——JEPA(联合嵌入预测架构),该架构不输出像素或 Token,而是在抽象的表示空间中进行预测,通过孪生网络和 Barlow Twins 等技术避免表示崩溃。文章还提及 LeCun 离开 Meta 创立 AMI Labs 并获得 10 亿美元投资,以实践其理念。
💡 主要观点
- LeCun 认为「下一 Token 预测」和「逐像素重建」是错误方向。 他指出,语言是离散的、有边界的,因此 Token 预测可行;但物理世界是连续的、无限的,逐像素预测会导致模糊和不确定性,无法真正理解世界。
💬 文章金句
- 一个没有预测自身行为后果能力的系统,不配成为真正的智能体。
- 像素重建是个坏主意,并不是自监督学习的正确方向。
- 联合嵌入比传统方法更适合表示学习。
- 我实在无法理解,一个没有预测自身行为后果能力的系统,凭什么被称为真正的智能体?
📊 文章信息
AI 初评:85
来源:51CTO技术栈
作者:51CTO技术栈
分类:人工智能
语言:中文
阅读时间:15 分钟
字数:3523
标签: Yann LeCun, JEPA, 世界模型, 自监督学习, 生成式 AI