#573.AI 如何拥有长期记忆，持续学习浪潮下的架构范式之争

📌 一句话摘要

对话 Google 研究员 Ali Behrouz，深入探讨其受大脑启发提出的 Nested Learning 持续学习架构，通过多频率模块更新与睡眠机制实现记忆巩固，直击当前 LLM 无法持续学习与灾难性遗忘的范式痛点。

📝 详细摘要

本期深度访谈克隆自《Cognitive Revolution》对 Google 研究员 Ali Behrouz 的专访，聚焦 AI 持续学习的核心范式——Nested Learning。Ali 指出，当前 LLM 的最大短板在于无法像人类一样持续学习、存在知识截止日期且面临灾难性遗忘。对此，他提出不应将 AI 仅分为训练与测试阶段，而应像人类一样处于活跃（接收信息）与睡眠（自我巩固）的持续循环中。 其核心架构思想是“堆叠更新频率而非堆叠层数”：通过让内部多个 MLP 模块以不同速率更新，快模块负责即时适应与记忆，慢模块负责长期抽象理解。节目深入探讨了 HoPE 架构如何结合 Attention 与多频率 MLP，以及通过“上下文蒸馏”在快模块遗忘前将知识迁移到慢模块的机制。Ali 还分享了实证结果，证明该架构在标准指标上不输 Transformer，并在多语言学习、噪声过滤等微技能上更优。访谈最终上升至对齐风险、AI 生态多样性及意识等伦理层面，警示持续学习既是巨大机遇也是隐私风险。

💡 主要观点

- 当前 LLM 范式的核心缺陷是无法持续学习与灾难性遗忘 现有大模型有固定的知识截止日期，且更新参数时容易忘却旧技能，无法高效地将新知识自然整合进权重中。这是通往真正通用且持续协作的数字 AGI 的关键瓶颈。

真正的持续学习者不应区分训练与测试阶段 Ali 提出，持续学习系统应当消灭预训练和测试的显式边界，变为‘活跃阶段’接收信息与‘睡眠时间’自我蒸馏与巩固的统一过程，模拟人脑的记忆架构。

Nested Learning 的核心是堆叠更新频率而非单纯堆叠模型深度 该范式主张模型内不同 MLP 模块以不同频率更新：极快模块负责即时适应，极慢模块负责存储稳定的长期世界知识。这种层级化更新机制能够天然对抗灾难性遗忘。

通过‘睡眠机制’与上下文蒸馏实现知识从快到慢的迁移 在快模块更新（遗忘）前，通过生成合成数据或模仿旧输出，把快模块学到的高频信息蒸馏复刻到慢模块中。这是将短期工作记忆转化为长期抽象理解的关键。

持续学习带来的不仅是技术进步，更是巨大的隐私与对齐风险 当模型能永远记住每一个用户互动和私人数据时，一旦发生对齐漂移或被对抗性数据污染，其后果远比静态模型严重，需要设计知识迁移门控来过滤噪声。

💬 文章金句

- 当前 LLM 范式的主要问题是它们不能持续学习，不能随着时间获得新的知识和新的技能。

• 真正的持续学习者，并不存在测试时间和训练时间的区分。
• 我们知道的一切，某种意义上都是 in-context learning 的一种形式。
• 我们有多个 MLP block，每个 block 用不同频率更新。快模块负责适应，慢模块负责抽象理解。
• 持续学习这个概念，如果从隐私、对齐这些方向去看，它既是机会，也是巨大的风险。

📊 文章信息

AI 初评：88

来源：跨国串门儿计划

作者：跨国串门儿计划

分类：人工智能

语言：中文

阅读时间：170 分钟

字数：42444

标签： Nested Learning, 持续学习 (Continual Learning), 记忆巩固 (Memory Consolidation), 灾难性遗忘, AI 架构 (AI Architecture)

收听完整播客