Anthropic 联合创始人 Jack Clark 基于公开数据判断,到 2028 年底 AI 实现递归自我改进的概率为 60%,AI 研究即将进入端到端自动化阶段。
📝 详细摘要
本文编译自 Anthropic 联合创始人 Jack Clark 的 Import AI 455 期 newsletter,系统阐述了他对 AI 递归自我改进(recursive self-improvement)即将到来的判断。Clark 通过分析 SWE-Bench、METR 任务时长、CORE-Bench、MLE-Bench、PostTrainBench、Kernel 设计等多个公开基准的进展,论证了 AI 系统在编程能力、长时任务执行、科学复现、模型微调、底层优化等 AI 研发核心环节上的快速进步。他认为,到 2028 年底,出现无人类参与的 AI 研发的概率超过 60%,届时 AI 系统将能够自主构建自己的后继系统,开启自我迭代循环。文章还讨论了这一趋势带来的对齐挑战、经济结构变化和社会治理问题。
💡 主要观点
- Jack Clark 预测到 2028 年底 AI 实现递归自我改进的概率为 60%。 基于 SWE-Bench、METR、CORE-Bench、MLE-Bench 等多个公开基准的进展,AI 在编程、长时任务、科学复现等 AI 研发核心能力上进步显著,已接近端到端自动化研发的门槛。
💬 文章金句
- 到 2028 年底之前,出现无人类参与的 AI 研发的可能性已经相当高,或许超过 60%。
- 如果这一刻真的到来,人类就像跨过了卢比孔河,进入一个几乎无法预测的未来。
- AI 系统已经足够强,能够自动化 AI 研发中的一个重要组成部分,并显著加速所有参与 AI 研发的人类研究员和工程师。
- 即便 AI 系统目前相对缺乏创造力,也有理由相信,它们仍然能够推动自身继续向前发展。
- 你必须把对齐做好:如今有效的对齐技术可能会在递归式自我改进中失效,因为 AI 系统会变得比监督它们的人员或系统智能得多。
📊 文章信息
AI 初评:87
来源:机器之心
作者:机器之心
分类:人工智能
语言:中文
阅读时间:35 分钟
字数:8558
标签: 递归自我改进, AI 研发自动化, Anthropic, Jack Clark, AI 对齐