本文由招商银行信息技术部撰写，详细介绍了基于 SGLang RBG 组件在国产 AI 芯片上落地 DeepSeek-V4 大 EP 推理服务的云原生方案，重点剖析了动态端口分配、服务发现、多级故障自愈与原地升级等核心机制的设计与实现。
📝 详细摘要
文章首先指出，大模型推理正从单机走向分布式集群，但 Kubernetes 原生工作负载原语无法满足多角色协作、拓扑敏感、快速升级等推理场景需求。作者以招商银行在国产 AI 芯片上部署 DeepSeek-V4 Flash 模型为例，系统性地分析了 PD 分离 + 大 EP 架构在 Kubernetes 上落地面临的五大挑战：多角色拓扑配置复杂度、hostNetwork 下的端口管理、服务发现的时序依赖、故障域的级联效应以及升级的高昂代价。随后，文章详细阐述了为何选择 SGLang RBG 作为解决方案，并深入介绍了其在生产实践中的具体应用，包括部署配置、高级特性（动态端口分配、三层服务发现机制、EngineRuntime 配置解耦、多级故障自愈、原地升级）以及实际效果与局限性。文章最后指出，LLM 推理基础设施正走向异构集群，RBG 提供了一个合理的抽象层，并展望了后续在弹性伸缩和社区建设方面的工作。
💡 主要观点
- Kubernetes 原生工作负载原语无法满足大模型分布式推理的复杂编排需求。 大 EP 部署具有多角色、拓扑敏感、故障级联等特征，Deployment 和 StatefulSet 无法自然表达这种结构，导致运维复杂度和故障恢复难度极高。
💬 文章金句
- 大模型推理正在从单机走向分布式集群和分离式架构，但 Kubernetes 原生的工作负载原语（Deployment、StatefulSet）并不是为'多角色协作、拓扑敏感、快速和可靠升级、故障联动'的推理场景设计的。
- 理想的升级方式是：只替换容器镜像，保持 Pod 的调度位置、IP 地址、挂载卷不变——这正是 RBG 原地升级的核心思路。
- RBG 提供了一个合理的抽象层——将'角色'作为基本编排单元，将'角色组'作为服务治理的原子粒度——这个抽象足够通用，可以适配 PD 分离、MoE 分布式、Pipeline 并行等多种推理架构。
📊 文章信息
AI 初评：89
来源：AI前线
作者：AI前线
分类：软件编程
语言：中文
阅读时间：55 分钟
字数：13741
标签： 云原生 / DevOps, AI 基础设施, 大模型推理, Kubernetes, SGLang