88
Based on Google's eight years and five generations of TPU supercomputing papers, this article provides an in-depth analysis of the system-level value of OCS (All-Optical Circuit Switching) in 10,000-card-scale systems, and clarifies its complementary division of labor with CPO on the port side and topology side. 
Yesterday 5355 words (about 22 min) View Source →
光电前瞻 2026-06-27 19:00 浙江
以下文章来源于:光电前瞻 光电前瞻
专注光电领域,为您带来最新的学术文章、技术动态和创新应用。深入探讨光电技术的未来发展,与行业专家一起前瞻科技趋势。
八年五代,坚持下来的设计都是哪些? 文章来源于:光电前瞻;海豚君此前分上下两篇完整拆解 CPO 技术、产业链与行业瓶颈,其中提及谷歌 OCS 是互补路线。本文结合谷歌 8 年 TPU 超算论文,详解 OCS 底层逻辑、落地价值及与 CPO 分层协同,正好可与海豚君此前的CPO文章结合来看,分享给大家。 但内文不代表海豚君观点,欢迎讨论。 近期光通信圈的注意力几乎都在 CPO 上。Computex 之后,市场对 NVIDIA 硅光交换机的量产预期升温,大家都在讨论同一件事:怎么把光引擎搬到芯片旁边,省掉那段长电通道带来的功耗。
就在同一周,6 月 14 日,Google 把一篇论文挂上了 arXiv。署名里有 Norman Jouppi 和 David Patterson,标题很朴素:《从 TPU v2 到 Ironwood:五代训练超算》,将刊于 IEEE Micro 今年 7、8 月号。这篇论文用八年、五代芯片、超算整体性能涨了约 3600 倍的纵向数据,把另一条被 CPO 热度盖过去的光路线讲得很透:OCS,全光电路交换。
值得说一句的是,论文讲 OCS 的方式跟市场完全不在一个频道。市场关心的是「怎么在芯片旁边把光的功耗省下来」,论文关心的是「几千上万颗芯片拼成的系统,能不能活下来、能不能调度」。
在它眼里,OCS 不是又一个省功耗的光器件,而是一种系统能力。也正因如此,它和满屏在讲的 CPO 根本不在一层:一个负责拓扑,一个负责端口。这套判断还不是一时之见,这篇论文把 OCS 从 TPU v4 一路留用到今天,并在结论里把它列进 TPU 仅有的两项「别家没跟进」的独有设计之一,等于用八年长期数据,替 OCS 这层价值盖了戳。
_!Image 3图|在 Google TPU 超算里,CPO 与 OCS 处在两个不同层级:CPO 在芯片端口侧降每比特互连功耗,OCS 在 cube 与 cube 之间重构拓扑。一个管端口,一个管拓扑。光电前瞻制图。_
八年五代,坚持下来的设计都是哪些?
!Image 4图|Google 6 月 14 日论文 Table 1:从 TPU v2 到 Ironwood 五代训练超算的节点与 pod 级指标对照,超算峰值性能八年涨约 3600 倍。来源:arXiv:2606.15870。
先感受一下这八年的体量。从 2017 年的 TPU v2 到 2025 年的 Ironwood,整台超算的峰值性能涨了约 3600 倍;最直观的一个落点,是共享内存池。一个 pod 里所有芯片能直接寻址的 HBM,从 TPU v2 的 4 TB 长到了 Ironwood 的 1.77 PB,约 400 倍。单芯片性能、HBM 容量与带宽这些也各自涨了一到两个量级,这里不一一铺开。
但论文的重点不在「数字变大」,而在「哪些设计扛住了八年」。八年里深度学习的主力负载换了好几轮,Transformer、Diffusion 接连上位,TPU 的基本架构却一直稳定,前几代的编译器和软件栈优化能直接复用到新一代,论文连标题都把「架构稳定性」摆在第一位。
这种「负载换得快、底下架构却没怎么动」的反差,论文第一张图给得很直白:
_图|论文 Figure 1:五代 TPU 上深度学习负载的此消彼长。Transformer 从 2016 年几乎为零、一路涨到 74%,MLP/DLRM、CNN、RNN 相继退潮。八年里主力负载换了好几轮,TPU 的基本架构却没大改。来源:arXiv:2606.15870 Figure 1。_
论文收尾写到,它把 TPU 当年定下的一串关键设计逐条拿出来对照今天,包括脉动阵列、窄位宽浮点(BF16/FP8)、用 HBM 做主存、自研芯片间高速互连、用软件直接管理片上存储等,这些后来都被别家的 AI 加速器陆续采纳,等于回头印证了当初这些选择是对的。作者甚至把话说到了 IBM 360 和 x86 那一档:希望这套为 AI 而生的架构,几十年后还有人用。
在这串「已被同行验证」的设计之外,论文留了一句更值得光通信圈注意的话:按作者所知,到今天仍有两项创新是 TPU 独有、别家没跟进的,那就是 OCS 全光电路交换和面向稀疏嵌入的 SparseCore。换句话说,OCS 不是某一代的临时方案,而是 Google 八年里反复留用、且至今几乎没有同行抄得动的少数几样东西之一。
这篇文章,我们只分析其中的 OCS。它恰好也是这周被 CPO 热度盖住、却被这篇论文用长期数据重新坐实的那条线。
OCS 负责的,是「拓扑那一层」的任务
_图|Google Apollo OCS 的 3D MEMS 微镜阵列:靠物理转动镜面,把任意输入光纤直连到任意输出光纤,单台 OCS 本体不做光电转换。来源:Google / SIGCOMM 2022 Mission Apollo 论文。_
先让我们把层级梳理清楚。芯片之上是挂 4 颗芯片的 CPU host,64 颗芯片组成一个 cube,许多 cube 拼成一个 pod,而 OCS 垫在 cube 与 cube 之间。换句话说,CPO 负责的是芯片端口那一侧,OCS 负责的是 cube 之间怎么连这一侧。
OCS 第一次进入 TPU 超算是 2021 年的 TPU v4,这也是历史上第一台用上全光电路交换的超算。它的位置要先说清楚。OCS 是 ICI 之下的一个物理层。ICI 是 TPU 自研的芯片间互连,靠每颗芯片里内置的路由器组成一张 3D 环面(3D Torus)网络;OCS 垫在它下面,作用是在硬件出故障时绕开坏的节点、把 3D Torus 拓扑重新接好。
6 月 14 日这篇五代综述,等于把这套从 v4 起沿用的设计,放回 TPU 的整体演进里又讨论了一遍。
物理介质是分距离用的。一个机柜内部,电连接(铜)的性价比最高;跨过机柜,才轮到光上场。Google 把电缆互连的基本单元定成 4×4×4 = 64 颗芯片的 cube,cube 内部走铜,cube 之间走光。
一个 cube 有六个面,每个面 16 条光链路,合计 96 条链路接到 OCS 上。
到 TPU v4 这一代,单台 OCS 是 136×136 端口(128 个端口加 8 个备用,用于链路测试和修复);整个 v4 pod 一共用 48 台 OCS,服务 64 个 cube,拼出 4096 颗芯片。(OCS 的微镜机理、以及可买到的商用整机 Lumentum R300 的端口和插损规格。)
这套「cube 六面引出光链路、分头接到 OCS」的接法,论文 Figure 4 画得很直观,左边是一个 4×4×4 的 cube,右边是它怎么按 X、Y、Z 三个方向接到一排排 OCS 上:
_图|论文 Figure 4:一个 4×4×4 = 64 芯片的 cube(左,3D Torus 结构),六个面共 96 条光链路,按 X / Y / Z 三个方向以 ×16 链路束接到对应的 OCS(右);每条链路的对侧接同一台 OCS、把环面闭合,因此每个 cube 合计接 6×16÷2 = 48 台 OCS。来源:arXiv:2606.15870 Figure 4。_
这套全光交换层换来三样具体的好处。
● 容错。一台 Ironwood 超算有 2304 个 CPU host;没有 OCS,host 的可用性得做到 99.9% 以上才能保证一个 slice 的算力不掉。有了 OCS,坏节点可以被绕过去,现场监测到的缺陷单元甚至能直接用 OCS 从生产里摘出来、择期再修。
● 调度。早期 TPU v2、v3 要排一个 128 芯片的任务,调度器得在物理上找到 128 颗连续空闲的芯片;有了 OCS,它可以从超算任意位置挑两个 cube 拼起来。Ironwood 故意把 pod 做成 9216 这种「不是 2 的幂」的数,就是为了留出 16 个备用 cube,哪怕部分节点宕了,仍能同时跑四个 2048 芯片的任务。
● 部署。TPU v3 那一代,整台机器要等全部 1024 颗芯片和线缆装好测好才能用,一个部件晚到就拖住全场;v4 起每个机柜独立,64 颗芯片装好就能先投产。
论文还给了一个反过来想的证据,说明 OCS 不是锦上添花。假如不用 OCS,就得换一整套不同的网络拓扑,整体拥有成本更高,还得在每个机柜里塞进备用芯片和独立的交叉交换机。
这些可能占掉接近半个机柜的空间,连带把散热问题一起放大。说到底,OCS 解决的是一个大系统在坏节点、排任务、分批上线这些事上还能重新组合,不是让单条链路更快。
CPO 负责的,是「端口那一层」的任务
_图|CPO 的代表形态:把光引擎和交换 ASIC 封装在一起(图为 Broadcom 共封装光学交换芯片)。它操心的是芯片端口那一层,与 OCS 的拓扑层不在一处。来源:Broadcom。_
再回头看被反复讲的 CPO。共封装光学要做的,是把光引擎搬到交换或计算芯片旁边、和它封装在一起,把原本要在板子上走几十厘米的高速电通道缩短到封装或基板附近的一小段,降低这段长电通道和可插拔光模块带来的每比特互连功耗,同时给高密度的交换 ASIC 腾出端口。
注意,CPO 并不是省掉了光电转换。光和电的转换照样要做,只是把这件事挪到了 ASIC 旁边。它负责的,是芯片端口那一层。
其实这篇论文讲的根本是另一层的事,它通篇关心的是系统怎么连、怎么活,几乎没去碰 CPO 那一层;这不代表 Google 否定 CPO,只是两件事压根不在同一个问题上。把它们放进一句话,错位就很清楚:CPO 让「一根光纤里的光更省电地进出芯片」,OCS 让「成千上万根光纤之间的连接可以被物理地重新接一遍」。
一个管端口,一个管拓扑。至少在 Google TPU 这套架构里,它们解决的是不同的瓶颈,不是替代关系。(Google 怎么按距离把网络分成芯片内、机柜内、园区内、跨数据中心几层、每层走不同方案。)
OCS 的边际成本结构也解释了 Google 为什么愿意自研八年。这种全光交换层有个特点,物理介质从一代升到下一代速率,它本身不用换。代价摊下来也低。Google 在 2023 年那篇 TPU v4 论文里给过一个口径:OCS 加上底层的光器件,占整个系统的成本不到 5%、功耗不到 3%,比论文里对照的 InfiniBand 方案更便宜、更省电、也更快。
还有一点常被算反。OCS 本体不做光电转换。它就是一组会转角度的微镜,把光路物理地直连过去;但链路两端仍然各自挂着收发器和光模块。在一条链路中间插一个全光中继节点,并不会减少链路端的收发器,反而要在节点两端再各挂一套。所以「Google 自研 OCS」不等于「光模块需求被砍掉」。
两条光路线,分工其实很清楚
把这周的两件事并到一张表里,谁管哪一层就一目了然。以后看到一条 CPO 或 OCS 的新闻、研报,先问它讲的是「芯片端口的功耗与密度」,还是「机柜之间的拓扑重构」。分清这一条,大半的混淆就没了。
| 维度 | CPO 共封装光学(端口侧) | OCS 全光电路交换(拓扑侧) | | --- | --- | --- | | 解决什么问题 | 缩短芯片旁高速电通道、降每比特互连功耗、给交换 ASIC 提端口密度 | 机柜与 cube 之间拓扑可重构、万卡级容错与调度 | | 在哪一层 | 芯片旁、封装内(端口侧) | ICI 之下的物理交换层(拓扑侧) | | 本体是否做光电转换 | 是,光电转换挪到了 ASIC 旁边 | 否,纯物理反射,链路两端仍有收发器和模块 | | 关键器件 | 典型包括硅光引擎、微透镜耦合、外置光源 | 典型包括 3D MEMS 微镜、环行器、波分器件 | | 成熟度 / 门槛 | 全行业在冲刺、趋向标准件,确定性强 | Google 自研多年、系统耦合深,门槛高、外部可复制性待验证 | | 谁在做 | NVIDIA、Broadcom 产品化;TSMC 提供封装平台与代工生态;这篇 TPU 论文未涉及 CPO | Google 自研 Apollo,v4 起沿用、五代综述再讨论;商用侧 Lumentum、光迅等在做 OCS 整机 | | 对光模块需求 | 长期可能减少可插拔模块 | 不减少链路端收发器,全光中继还会多挂一套 |
_图|商用侧的 OCS 整机示意(Lumentum)。Google 自研 Apollo 之外,Lumentum、光迅、新易盛等也在做 OCS 整机,主要面向 Google 体系外的云厂商。来源:Lumentum 官网。_
接下来这条线值得持续关注的,归纳起来是三类事。
最该关注的是产业有没有真往外溢。商用 OCS 厂能不能拿到 Google 体系之外云厂商的落地量产订单,比任何端口数字都更能说明这条路线走出了 Google 一家。光迅这边进度不慢,OFC 2024 已展出 MEMS 全光交换整机,OFC 2026 又把 OCS 方案往集群互联场景上推。
同一类信号还有 Apollo OCS 的端口规格会不会从 136×136 继续往上走,那是看这条自研线还在不在迭代,答案得等 Google 下一篇光交换论文。
第二类是两层关系会不会被进一步坐实。如果哪天 Google 在交换的接入侧(注意是接入侧,不是 OCS 那一层)也用上 NPO 或 CPO,那恰恰说明端口侧和拓扑侧是互补、各管各的,不是谁取代谁。
更长期的底层变量在负载形态:当混合专家(MoE)这类 all-to-all 通信密集的模型越来越成为主流,能动态重构拓扑的价值只会比现在更高,这是 OCS 这条线长期需求的支点。
第三类是供应链弹性,落到器件上,就是 MEMS 光开关、环行器、波分这些关键件的国产化进度,它决定这条路线在国内能复制到哪一步。
这周该看的,从来不只是「把光塞进封装」那一半。OCS 这条线没有 CPO 上镜,但 Google 用八年五代的数据,把它列进了那两项「至今没人抄得动」的独有设计里,放在「系统到底能不能跑起来」的位置上。一个管端口,一个管拓扑,看 AI 光互连,得两只眼睛一起看。
本文版权归属原作者/机构所有。当前内容仅代表作者观点,与海豚研究立场无关。内容仅供参考,亦不构成任何投资建议。
- END -
本報告僅作一般綜合數據之用,旨在海豚研究及其關聯機構之用戶作一般閱覽及數據參考,並未考慮接獲本報告之任何人士之特定投資目標、投資產品偏好、風險承受能力、財務狀況及特別需求投資者若基於此報告做出投資前,必須諮詢獨立專業顧問的意見。任何因使用或參考本報告提及內容或信息做出投資決策的人士,需自行承擔風險。海豚研究毋須承擔因使用本報告所載數據而可能直接或間接引致之任何責任或損失。本報告所載信息及數據基於已公開的資料,僅作參考用途,海豚研究力求但不保證相關信息及數據的可靠性、準確性和完整性。
本報告中所提及之信息或所表達之觀點,在任何司法管轄權下的地方均不可被作為或被視作證券出售邀約或證券買賣之邀請,也不構成對有關證券或相關金融工具的建議、詢價及推薦等。本報告所載資訊、工具及資料並非用作或擬作分派予在分派、刊發、提供或使用有關資訊、工具及資料抵觸適用法例或規例之司法權區或導致海豚研究及/或其附屬公司或聯屬公司須遵守該司法權區之任何註冊或申領牌照規定的有關司法權區的公民或居民。
本報告僅反映相關創作人員個人的觀點、見解及分析方法,並不代表海豚研究及/或其關聯機構的立場。
本報告由海豚研究製作,版權僅為海豚研究所有。任何機構或個人未經海豚研究事先書面同意的情況下,均不得(i)以任何方式製作、拷貝、複製、翻版、轉發等任何形式的複印件或複製品,及/或(ii)直接或間接再次分發或轉交予其他非授權人士,海豚研究將保留一切相關權利。
!Image 10 文章不易,点个“分享”,给我充点儿电吧~