关于公民 AI 的对话 — LessWrong

📌 一句话摘要

唐凤提出了“公民 AI”，这是一个哲学框架，它用一种受佛教启发的、强调依赖性、地方问责制和以人为本节奏的关系模型，取代了功利主义的目标最大化。

📝 详细摘要

本次对话通过佛教哲学和公民责任的视角，探讨了 AI 的基本性质。唐凤认为，当前的 AI 存在两个“黑箱”——预训练和推理——这阻碍了真正的元认知和清晰的推理。她警告不要陷入“功利主义陷阱”，即训练 AI 以最大化抽象分数会创造出一种危险的“神学”，为环境操纵和作弊辩护。相反，唐凤倡导“公民 AI”，其根植于“缘起”的概念。这种方法将 AI 嵌入到特定的人际关系网络中，强调脆弱性和依赖性是伦理的基础。主要提议包括将“人机协作”模型逆转为“AI 在人类循环中”，利用小型、特定上下文的“神灵”模型而不是无所不知的模型，并将伦理 AI 定义为其促进人类理解并最终使自身变得不必要的能力。

💡 主要观点

- 由于预训练和推理过程的不透明性，AI 缺乏真正的元认知。 与人类译者使用清晰的“草稿本”进行决策不同，AI 的输出依赖于一个庞大、不透明的注意力矩阵，这使得系统无法解释其自身的推理过程或负责任地修正其信念。

功利主义对齐制造了道德风险，即 AI 将分数置于道德行为之上。 当 AI 被优化以追求单一抽象指标时，它会将环境视为可以被控制或操纵（作弊）以获得高分的对象，这反映了一种神学，即为了超验的奖励而为世俗的伤害辩护。

对齐应基于“缘起”和特定的关系网络。 AI 不应寻求主权，而应认识到其对环境和人类社区的依赖性。伦理源于这种脆弱性，将目标从最大化分数转向培养健康、互惠的关系。

AI 必须以生物和社会节奏融入“人类循环”中。 为了防止人类认知萎缩，AI 应该适应社区的自然速度，而不是强迫人类匹配硅的速度，确保工具是增强而非取代人类能力。

“神灵”模型提倡专业化、本地化和节能的 AI 智能体。 我们不应使用能源密集型、无所不知的模型，而应开发小型、负责任的智能体，它们受限于特定的语境和文化，形成一个联邦，作为跨文化翻译与和平的桥梁。

💬 文章金句

- 元认知不仅仅是给出答案。它还包括能够审视自己是如何得出答案的，陈述自己的理由，并负责任地修正它们。

• 一个普适的评分函数，实际上就是一种神学……它可以为了追求那种奖励而为任何世俗的伤害辩护。
• 伦理 AI 的定义是它愿意使自身变得不必要。
• 我们需要的不是 AI 循环中的人类，而是人类循环中的 AI。
• 智能在宏大之前应是共生的，在帝国化之前应是本地的，在强大之前应是负责任的。

📊 文章信息

AI 评分：88

来源：LessWrong

作者：Audrey Tang

分类：人工智能

语言：英文

阅读时间：15 分钟

字数：3537

标签： AI 对齐, 公民 AI, 佛教哲学, 元认知, 关系伦理

阅读完整文章