大语言模型为什么能像人一样说话和思考？

📌 一句话摘要

本文系统论述了大语言模型的语言理解与推理能力，从特征叠加、稀疏自编码器、功能词元假说和回路分析等角度，深入解析了 LLM 的工作机制及其能力形成原理。

📝 详细摘要

本文由字节跳动李航、张少华、林苑撰写，系统性地探讨了大语言模型（LLM）为何能像人一样说话和思考。文章首先提出三个核心观点：LLM 学习到的是语言使用和推理的高阶模式，而非仅低阶统计规律；其能力由策略、模型、算法和数据共同决定，不能简单归因于 Next Token Prediction；LLM 的内部机制已得到一定解析，不再是完全的黑盒。随后，文章从四个层面深入剖析了 LLM 的工作机制：特征叠加（Superposition）解释了神经元如何表示远超其数量的特征；稀疏自编码器（SAE）作为解压工具，可提取具有可解释性的特征；功能词元假说揭示了以功能词元为中心的记忆检索机制，是 LLM 理解上下文的关键；跨层转码器（CLT）和归因图则用于分析跨层特征回路。最后，文章对比了 LLM 与人类在语言、推理、幻觉、创造力等方面的能力差异，指出 LLM 虽在语言任务上表现卓越，但在具身认知、严谨推理和意识层面与人类存在本质区别。

💡 主要观点

- LLM 学习到的是语言使用和推理的高阶模式，而非仅低阶统计规律。 LLM 不仅掌握了词汇和语法，更习得了语义、语用和世界知识等高阶模式，这是其涌现出类人语言能力的关键，反驳了乔姆斯基关于 LLM 仅学到表层统计规律的批评。

LLM 的能力由策略、模型、算法和数据共同决定，不能简单归因于 Next Token Prediction。 NTP 只是表面形式，预训练中的极大似然估计、后训练的强化学习、Transformer 的强表示能力以及随机梯度下降的优化算法，这些技术的系统整合与规模化实现才是 LLM 成功的关键。

功能词元假说揭示了 LLM 以功能词元为中心的记忆检索机制。 高频功能词元（如冠词、标点）在训练中激活了大部分特征，并在推理时动态检索最具预测性的特征，这是 LLM 理解上下文和生成连贯文本的核心机制。

LLM 的内部机制已通过 SAE、CLT 等工具得到一定解析，不再是完全的黑盒。 特征叠加假说解释了神经元的多对多表示，SAE 可提取可解释特征，CLT 和归因图能追踪跨层特征回路，这些工具正逐步揭开 LLM 的工作机制。

💬 文章金句

- LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。

有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。
功能词元在推理过程中发挥着记忆检索的核心作用，它们能从上下文中动态地激活最具预测性的特征。
LLM 既不是基于形式逻辑规则进行推理，也不是按照计算规则进行算术运算。
LLM 并不存在对应人的意识机制，虽然我们会感到与 LLM 对话时有与真人交互的感觉。

📊 文章信息

AI 初评：88

来源：大模型智能

作者：大模型智能

分类：人工智能

语言：中文

阅读时间：33 分钟

字数：8026

标签：大语言模型, 工作机制, 可解释性, 特征叠加, 稀疏自编码器

阅读完整文章

大语言模型为什么能像人一样说话和思考？

🤖 問 AI