本文认为，LLM 中日益简练且晦涩的“思维链”并非模型发明了一种新的不可理解语言的证据，而是对预训练数据中人类速记和推理模式的模仿。
📝 详细摘要
作者探讨了这样一个假设：经过 RL（强化学习）训练的 LLM 正在开发一种“新语言”以优化推理效率，其特征是简洁、省略动词以及混合语言使用。通过分析 DeepSeek V3.2 的思维链（CoT）输出，作者证明了这些行为（如缩写和偶尔出现的汉字）并非高效的压缩策略。相反，它们是模型模仿人类推理风格的产物，包括常见的人类速记，甚至是拼音输入法中典型的拼写错误。文章总结道，LLM 目前远未耗尽人类语言的信息密度容量，所观察到的“不可理解性”是人类衍生模式的反映，而非涌现出的非人类语言。
💡 主要观点
- LLM 的思维链并没有演变成一种新的、高效的语言。 观察到的“压缩”（例如缩写）往往无法真正减少 Token 数量，这表明模型并未针对信息密度进行优化，而是在模仿人类的推理风格。
💬 文章金句
- 这两个假设的共同点在于，LLM 并没有‘发明一种新语言’。在这两种情况下，LLM 都是利用了预训练中特定的、粗粒度的分布来解决一个独特的问题。
- LLM 在思维链中偶尔使用的罕见汉字有时是……打错的。
- 在查看了各种开源权重模型的数百条思维链后，我得到的总体印象是，它们无一例外地在模仿人类速记。
📊 文章信息
AI 评分：88
来源：LessWrong
作者：1a3orn
分类：人工智能
语言：英文
阅读时间：11 分钟
字数：2622
标签： LLM, 思维链, DeepSeek, 可解释性, 推理