本文认为，人工智能超级智能（ASI）的部署在默认情况下会破坏自由民主，因为它创造了一种无法逾越的权力失衡，无论 ASI 是否对齐，也无论由谁控制。
📝 详细摘要
本文探讨了人工智能超级智能（ASI）对自由民主制度构成的生存威胁。作者认为，自由民主的基本机制——权力制衡——与 ASI 所带来的权力集中本质上是不相容的。即使 ASI 是完美对齐的，控制它的实体也将拥有中和任何反对力量的能力，包括军事和政府机构，从而导致事实上的极权主义。作者评估了两种潜在的缓解策略：放缓 AI 发展或将民主价值观嵌入 ASI 本身，但这两种策略都面临着巨大的技术和政治障碍。最终，文章强调了一个困境：ASI 发展的默认轨迹可能会将人类锁定在极权主义之中，而不是向更好的治理方向演进。
💡 主要观点
- ASI 从根本上打破了自由民主所需的权力平衡。 自由民主依赖于制衡机制来防止不良行为者造成过度损害。ASI 通过为其控制者提供压倒性的力量，使得这些传统的制度约束失效。
💬 文章金句
- 自由民主的存在——伴随着法治、对政府权力的约束以及拥有选举权的公民——依赖于一种权力平衡，在这种平衡下，个人的不良行为无法造成太大的破坏。
- 如果自由民主继续存在，那也仅仅是因为控制 ASI 的人施予的恩惠。
- 本文并非断言 ASI 将终结自由民主。它断言的是，基于强默认假设，ASI 将终结自由民主（即使在解决对齐问题的前提下也是如此）。
📊 文章信息
AI 评分：86
来源：LessWrong
作者：MichaelDickens
分类：人工智能
语言：英文
阅读时间：4 分钟
字数：933
标签： ASI, AI 安全, 自由民主, 生存风险, AI 治理