谷歌首席科学家 Jeff Dean：数据搬运比计算贵 1000 倍，大模型推理该换芯片了

📌 一句话摘要

本文编译自 Jeff Dean 在 YC Startup School 2026 的对话，涵盖 AI 能力演进、推理硬件专用化、上下文工程、创业方向选择与「品味」等核心判断。

📝 详细摘要

文章完整编译了 Google 首席科学家 Jeff Dean 在 YC Startup School 2026 上的访谈。核心观点包括：AI 模型已真正达到初级工程师水平，agent 型系统将从运行数小时扩展到数周；AI 效率的本质是能耗问题，数据搬运能耗是计算的 1000 倍，推理硬件专用化是下一波效率提升的关键；模型只是系统的一部分，上下文工程（检索、memory、工具调用、skill）将越来越重要；创业者应寻找模型完全失败（0%-1% 成功率）的方向，而非部分胜任的方向；未来最稀缺的能力是「品味」——判断什么问题值得解决。文中还分享了 TPU 起源的「餐巾纸数学」故事、蒸馏论文被拒的经历，以及对硬件新路径、数据效率、多 agent 交互等方向的展望。

💡 主要观点

- AI 效率的本质是缩短数据到计算单元的距离，数据搬运能耗是计算的 1000 倍。 Jeff Dean 强调，底层硬件的能量约束深刻影响系统设计选择：必须把数据攒批处理以摊薄搬运成本，但低延迟场景又需要专用化推理硬件，极低精度运算与硬编码精度是下一步方向。

上下文工程比模型本身更重要，skill 和 harness 能显著释放模型能力。 模型只是系统的一部分，真正的能力来自检索、memory、工具调用与 skill 的组合。Jeff 以自己用 skill 教模型做性能优化为例，说明清晰的规格说明能让 agent 在长链路任务中更可靠。

创业者应寻找模型完全失败（0%-1% 成功率）的方向，而非部分胜任的方向。 如果模型已经能做一点但还不够好，通常意味着能力即将出现；只有模型完全失败、拥有独有数据、或需要专门模型的领域，才是「耐打」的创业方向。AlphaFold 是专用模型成功的典型案例。

未来最稀缺的能力是「品味」——判断什么问题值得解决。 当 agent 成为标配、计算力充裕时，高层次的判断力——选择什么问题投入时间——将成为决定性差异。品味的培养靠经验、写下未来 12 个月预测并定期回顾、以及疯狂的思想实验。

AI 正在自动化科学方法本身，可形式化验证的领域将被加速重塑。 只要能定义可衡量目标，AI 就能跑大量实验、评估、迭代。Jeff 提到量子化学中用学习型近似模拟器把验证速度提升 30 万倍的案例，预示「每单位算力得到多少新发现」将成为关键优化指标。

💬 文章金句

- 优化 AI 效率的本质是缩短数据到计算单元的距离。

• 你要找的是那种模型现在成功率只有 0% 或 1% 的事，而不是 20%。
• 未来最稀缺的能力是品味——知道该让你的 agent 去解决什么问题。
• 做一次计算大概只要 1 pico 级别的能量；但搬一次数据、做一次数据 IO，成本是它的 1000 倍。
• 这就是我从中蒸馏出来的教训——即使被拒了，也继续干下去。

📊 文章信息

AI 初评：88

来源：硅星人Pro

作者：硅星人Pro

分类：人工智能

语言：中文

阅读时间：56 分钟

字数：13960

标签： AI Agent, AI 硬件与芯片, 上下文工程, 推理优化, AI 创业

阅读完整文章