OpenAI 首席科学家 Jakub Pachocki 深度访谈，探讨了编程智能体爆发、模型北极星从数学转向真实世界、强化学习的长时程开放任务、以及 AI 自动化带来的权力集中等核心议题。
📝 详细摘要
本文编译自 OpenAI 首席科学家 Jakub Pachocki 在《Unsupervised Learning》播客的深度访谈。访谈围绕多个关键议题展开：编程智能体（Codex）已在 OpenAI 内部承担大部分真实编码工作，标志着研究实习生级能力正在逼近；数学和物理 benchmark 曾是衡量模型智能的北极星，但如今 OpenAI 正将焦点转向模型在真实世界的实用性；强化学习在代码和数学领域的成功，下一站将是更长时程、更开放的任务；模型将越来越适应人类现有的界面和工具，而非要求人类适应 AI 的限制。访谈还深入讨论了 OpenAI 隐藏思维链的原因——避免训练信号污染这一理解模型内部推理的窗口，以及高度自动化的研究实验室可能导致的权力集中问题。Jakub 认为，长期对齐问题本质上是泛化问题，而社会对 AI 自动化带来的财富和权力集中问题准备不足。
💡 主要观点
- 编程智能体（Codex）已在 OpenAI 内部承担大部分真实编码工作。 这不仅是单一产品的成功，更是研究实习生级能力正在逼近的直接信号，标志着 AI 辅助编程已进入新阶段。
💬 文章金句
- OpenAI 现在已经到了一个阶段：我们把 Codex 用在了大多数真实编码工作上。所以我觉得，对大多数人来说，编程这件事本身已经变了。
- 如果你在产品里公开展示它，迟早就得去训练它。你会出于和训练其他产品能力一样的理由，开始要求它'说得更好''更得体''更适合公开看'。一旦这样，那个窗口就被污染了。
- 长期价值对齐研究，本质上是在研究泛化：模型最终会回落到什么价值上？
- 如果你真的拥有一个自动化研究实验室、一个自动化公司，它能做非常多事，却只需要非常少的人控制，事情就会变得很不一样。
- 我们所有人的任务，是把 AI 和这个世界一起建设成一种状态：到头来，仍然是人类拥有 agency，由人类来设定方向。
📊 文章信息
AI 初评：87
来源：CSDN
作者：CSDN
分类：人工智能
语言：中文
阅读时间：45 分钟
字数：11227
标签： OpenAI, Jakub Pachocki, 首席科学家, 思维链, AI 对齐