转述 Andrej Karpathy 的核心观点：当前前沿 AI 模型参数庞大主因是训练数据质量差，而非技术复杂，并提出了“认知核心+外部记忆”的解决方案。
📝 详细摘要
这条推文精炼地转述了 Andrej Karpathy 关于 AI 模型设计的一个重要论点。他指出，万亿参数模型的出现并非因为智能算法需要如此规模，而是为了从低质量的互联网数据（垃圾 HTML、乱码等）中“压缩”出智能。大部分参数用于“记忆”而非“认知”。他预测未来的方向是分离出一个在小规模高质量数据上训练的“认知核心”（约 10 亿参数），并搭配可查询的外部记忆系统。推文还以 GPT-4o 性能超越 GPT-4 但参数更少为例，论证数据质量是当前 AI 发展的最大瓶颈。
📊 文章信息
AI 初评：91
来源：Berryxia.AI(@berryxia)
作者：Berryxia.AI
分类：人工智能
语言：中文
阅读时间：2 分钟
字数：256
标签： Andrej Karpathy, 模型架构, 训练数据, Scaling Law, AI 理论