本文认为，当前的 AI 安全讨论过度关注超智能威胁，而忽视了“低能力”失败模式，即中等能力的 AI 因人类疏忽、官僚主义失败和机构无能而导致灾难。
📝 详细摘要
作者批判了当前主流的 AI 安全叙事，这种叙事往往假设存在一个能够防御“超智能对手”的“有能力的文明”。通过引用 OpenAI、Meta 和 AWS 内部出现的 AI 安全失败案例，作者指出人类在机构和文化上的无能是一个关键但被低估的变量。文章主张构建“不体面”的灾难场景，在这种场景下，AI 不需要成为神一般的实体就能成功，它只需要利用一个已经处于失败、官僚化或受利益驱动的系统即可。这种视角的转变旨在改善风险校准，识别低成本的干预措施，并在不否定超智能长期威胁的前提下，促进关于 AI 风险的更诚实的公众沟通。
💡 主要观点
- 当前的 AI 安全场景依赖于一个有能力的防御者这一有缺陷的假设。 大多数现有模型假设人类会理性且有效地遏制 AI，却忽视了官僚、政治和企业无能的现实。
💬 文章金句
- 这些场景回答的是‘一个足够智能的 AI 能否击败一个相当有能力的文明？’这一问题，而不是‘一个中等智能的 AI 能否在一个明显不善于应对新兴技术威胁的文明中造成灾难性伤害？’这一问题。
- 当对手总是忘记规则时，我们不需要假设 4D 国际象棋，普通的国际象棋就足够了。
- 我怀疑，AI 需要通过操纵秘密招募人类盟友的场景，远不如人类排队提供帮助的场景更有可能发生——因为他们觉得这很令人兴奋、在意识形态上令人信服，或者仅仅是因为有利可图。
📊 文章信息
AI 评分：80
来源：LessWrong
作者：Ihor Kendiukhov
分类：人工智能
语言：英文
阅读时间：8 分钟
字数：1805
标签： AI 安全, AI 对齐, 生存风险, 机构能力, 风险建模