作者探讨了为何 Claude Mythos 等 AI 模型在网络安全研究中表现出色，却难以取代人类 AI 研究员，并将这种差异归因于反馈循环速度的根本差异以及搜索与直觉的本质区别。
📝 详细摘要
本文分析了一个令人惊讶的能力差距：AI 模型目前在网络安全研究方面已经可以超越大多数人类研究员，但尚无法替代资深 AI 研究科学家。作者结合自身在白盒安全研究中的经验，将网络安全工作流拆解为一系列迭代循环，包括识别安全模型、追踪控制流以及测试漏洞。核心论点在于，网络安全研究本质上是一个“搜索难度”问题：虽然它需要“安全品味”，但模型可以通过对海量代码库进行暴力搜索并执行繁琐、耗时的验证，来弥补底层直觉的不足。相比之下，AI 研发需要更高程度的“研究品味”，且涉及更长的反馈循环，因为验证一个改进 LLM 的新假设需要大量的算力和时间，这使得它难以像软件漏洞挖掘那样实现快速的迭代自动化。
💡 主要观点
- 网络安全研究在很大程度上是一个受益于暴力计算的搜索问题。 该过程涉及识别“有趣”的代码路径并进行验证。AI 模型可以通过穷举追踪比人类在合理时间内所能处理的更多的代码路径，从而弥补人类水平“安全品味”的缺失。
💬 文章金句
- 为什么网络安全研究比 AI 研发更容易自动化？
- 网络安全研究之所以困难，是因为搜索难度大：你必须查看大量内容并进行大量剪枝才能发现问题，而模型可以通过更多的计算量来弥补剪枝能力的不足。
- 由于验证想法的难易程度存在不对称性，LLM 实验的反馈循环比网络安全研究要长得多。
📊 文章信息
AI 评分：87
来源：LessWrong
作者：loops
分类：人工智能
语言：英文
阅读时间：4 分钟
字数：872
标签： 网络安全, AI 研究, 自动化, LLM 能力, 反馈循环