本文利用 METR 的基准测试数据证明,以更长任务时间跨度为特征的 AI 能力提升,并非由指数级增长的推理成本所驱动,这挑战了“AI 自动化即将变得难以负担”的观点。
📝 详细摘要
作者分析了 METR 的时间跨度数据,以探究 AI 能力提升与推理成本之间的关系。与“算力账单上涨意味着 AI 自动化变得极其昂贵”的担忧相反,分析表明,随着模型实现更长的时间跨度,成本比率(AI 推理成本相对于人类劳动力成本)保持稳定。作者证明,任务的成功完成与更高的成本比率无关,即使在严格的成本上限下,AI 能力提升的趋势仍以相似的速度持续。此外,文章还批评了 Toby Ord 估算 AI 小时成本的方法,认为该方法未能考虑任务成功完成的实际成本动态,从而导致了严重的估算过高。
💡 主要观点
- 成本比率在各前沿模型中保持稳定。 对 METR 数据的分析显示,在 50% 可靠性时间跨度下的成本比率在后续模型中并未增加,这表明能力的提升并非以牺牲经济性为代价。
💬 文章金句
- 推理成本的上升反映了模型正在完成更长的任务,而不是模型相对于它们所替代的人类劳动力变得更昂贵。
- 成本比率在各模型中没有显示出上升趋势,并且远低于 1。
- 更严格的成本限制会过滤掉一些模型,但不会实质性地减缓这一趋势。
- Ord 的方法需要 10 美元以上的预算才能达到该范围内的时间跨度……将这个虚高的预算除以较短的 50% 时间跨度,就会得出虚高的小时成本。
📊 文章信息
AI 评分:86
来源:LessWrong
作者:Anders Woodruff
分类:人工智能
语言:英文
阅读时间:13 分钟
字数:3217
标签: AI 能力, 推理成本, METR, AI 经济学, 时间跨度