一项独立调查，旨在探究 Anthropic 在 Claude Sonnet 4.5 研究中发现的“恐惧方向”是否存在于 GPT-2 等较小的模型中。研究发现，虽然这种表征确实存在，但行为引导受到模型能力的限制。
📝 详细摘要
作者尝试使用 GPT-2 复现 Anthropic 关于可引导情感表征的研究结果。通过生成情境提示词对，并利用均值差异法提取“恐惧方向”，作者证实了该表征存在于 GPT-2 所有层的激活空间中。然而，行为实验表明，将该向量注入 GPT-2 并不能产生连贯的引导效果，反而经常导致模型胡言乱语或崩溃。作者得出结论：虽然内部表征是 Transformer 模型的一个通用特征，但有效的对抗性引导需要足够的模型能力来在扰动下保持连贯性，这表明激活引导的攻击面可能受到模型质量的自然限制。
💡 主要观点
- “恐惧方向”是 Transformer 模型的通用特征，而不仅仅存在于大型模型中。 作者在 GPT-2 的所有 12 层激活空间中成功识别出恐惧提示词与平静提示词之间的明显分离，且效应量很高，这表明这是 Transformer 架构的一个基本属性。
💬 文章金句
- “恐惧方向”很可能是 Transformer 语言模型的通用特征。
- 激活引导的攻击面可能受到模型质量的自然限制。
- 小型、廉价的模型可能更难被连贯地引导，这并不是因为它们没有相关的结构，而是因为它们在扰动下过于脆弱，无法产生有意义的输出。
📊 文章信息
AI 评分：86
来源：LessWrong
作者：seanmagee
分类：人工智能
语言：英文
阅读时间：5 分钟
字数：1043
标签： 机械可解释性, GPT-2, 激活引导, AI 安全, TransformerLens