Title: UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践｜AICon 深圳 | BestBlogs.dev
URL Source: https://www.bestblogs.dev/article/7daaae7c9e?amp%3Butm_medium=feed&%3Butm_campaign=resources&%3Bentry=rss_article_item
Published Time: 2026-08-07 15:52:00
Markdown Content: 82
This article introduces the architecture design, FalconGEMM optimization, training-inference consistency, and asynchronous engine of Tencent's UniRL framework for multimodal reinforcement learning, achieving a 2.4X end-to-end performance improvement. 
Yesterday 3023 words (about 13 min) View Source →
Sign in to highlight text and take notes as you read. Sign in now
InfoQ 2026-08-07 15:52 北京
多模态生成模型（图像/视频/3D）的强化学习正在成为提升生成质量与对齐效果的关键路径
作者 ｜ AICon 全球人工智能开发与应用大会
Agent 时代，哪些方向正在成为行业关键变量？50 + 实战案例揭晓答案！
模型参数规模不断突破，推理成本持续下降，开源生态日益繁荣。当模型能力逐渐成为行业共识，一个新的问题开始浮现：当人人都能获得强大的模型能力之后，真正的竞争力还剩下什么？答案正在从模型能力本身，转向围绕模型构建可规模化的智能系统；从单点能力提升，转向系统工程与组织级落地能力。
在这一背景下，2026 年 AICon 人工智能开发与应用大会 · 深圳站正式启动。本次大会将于8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。
腾讯多模态 RL Infra 负责人朱文熙已确认出席 “AI Infra、推理工程与异构计算” 专题，并发表题为《UniRL：统一多模态 RL 框架的 2.4X 端到端性能优化实践》的主题分享。多模态生成模型（图像 / 视频 /3D）的强化学习正在成为提升生成质量与对齐效果的关键路径，但 Diffusion RL 与 LLM RL 在 Infra 层面有本质差异：Rollout 是 compute-bound 的密集矩阵运算（难以靠调度优化）、Agentic 场景下低密度计算（PE / Tool Call）与高密度计算（Diffusion Denoise）串行导致算力难以打满、Reward 负载异构且 bursty。这三点让 LLM RL 框架的经验无法直接迁移。本次分享将完整呈现 UniRL 从架构设计、自研算子、训推一致性到异步引擎的全链路工程实践，以及落地过程中真实的 tradeoff 与踩坑。
朱文熙，腾讯多模态 RL Infra 负责人，南京大学硕士毕业后就职于英特尔，从事安卓平台编译器研发；2016 年转向 AI Infra 方向，负责了英特尔的 Tensorflow/Pytorch 开源支持，优化在 x86 平台上的性能；2019 年加入腾讯后，带领团队从零开始支持“绝悟”和“绝艺”游戏 AI 的训练推理优化；目前作为腾讯混元多模态团队的 RL Infra 负责人，重新打造了图片生成 / 视频生成 / 世界模型 /3D 生成 / ASR / TTS / 语音对话 / 视频对话的 RL 框架。他在本次会议的详细演讲内容如下： 演讲提纲：
* 为什么 Diffusion RL 需要一个新框架
* 训练优化 vs 推理优化的本质差异：推理目标单一（速度 / 成本），RL 训练目标多元（正确性 扩展性 性能），且误差会累积放大
* Diffusion RL ≠ LLM RL 的三个 Infra 挑战：Rollout compute-bound、混合架构（PE/Tool Call + Denoise）调度困难、Reward 异构且 bursty
* 组织层面的隐性成本：算法与 Infra 的信息不对称如何拖慢迭代，以及我们「Infra 团队配置算法工程师做沟通桥梁」的实践
* 训得稳（一）：简洁的界面设计
* Role/Worker 分离架构：算法逻辑与物理资源管理解耦，资源拓扑由配置文件驱动
* 原子化插件架构：算法与模型独立插件式接入，降低跨模型、跨算法适配成本
* 类单机编程抽象：屏蔽分布式与并行策略复杂度
* 对比实证：同一个 FlowGRPO 算法，UniRL 配置一键接入 vs Verl 需手写 TaskRunner、手动编排 Role/Worker/ResourcePool、每个「模型 × 算法」实现一个 pipeline
* 训得稳（二）：Bitwise 训推一致性
* 痛点：低精度 Rollout 引入训推不一致 → 训练无法收敛
* Challenge 1：高性能 GEMM 依赖 split-k，浮点累加顺序不一致 → 多次计算无法 bitwise 对齐
* Solution：解耦「计算」与「规约」两阶段，以固定拓扑顺序串行累加
* Challenge 2：多维并行策略切换（TP1 ↔ TP2）→ 形状变化、跨卡分布式规约 → bitwise 对齐失效
* Solution：K 维等价分段迭代 + 定序序列化规约
* 训得快：自研 FalconGEMM，突破硬件峰值算力
* 代数级优化：O(N³) → O(N^2.807)
* Challenge：大量中间结果、冗余访存、算子碎片化、写冲突
* Solution：Group 并行融合消除冗余访存与写冲突、拆分组并行恢复负载均衡、缓存感知调度提升 L2 命中率
* 跨平台与多数据类型：基于 TVM + Triton 做硬件无关的声明式描述，自动完成常数折叠、寄存器复用、指令交错
* 实测数据：单算子 BF16 +15.3% / FP8 +17%；端到端 BF16 8–14% / FP8 最高 36%（H20 实测对标 cuBLAS / CUTLASS）
* 扩展性：异步训推引擎
* 趋势：新一代模型需多轮 tool use，Rollout 从「计算任务」变为「Agent 轨迹执行」，从 Single-turn 走向 Multi-turn Agentic Diffusion RL
* 痛点：GPU 利用率 <20%、轮数无法预计带来的长尾问题
* Green Context Sharing：基于 NV Green Context 做 SM / Mem 维度的动态资源分配，让 PE / Tool / Reward / Train / Diffusion 在同卡上算力 + 带宽同时拉满
* 统一 Reward 资源池：从 Classifier Reward → Generative Reward → Agentic Reward Hub 的演进；多 Reward × 跨任务交集天然适合资源复用，按需拉起、空闲释放，做弹性伸缩与 SLA 保障
* 总结与展望
* 四大支柱回顾：架构解耦、FalconGEMM 算子、Bitwise 一致性、资源精益管理 演讲痛点
* 正确性优先带来的工程约束远超推理优化。RL 训练中错误会沿训练步累积，一个看似无害的低精度近似就可能让收敛曲线崩掉。这意味着很多在推理场景「精度容限内」可接受的优化（如 split-k GEMM、低精度 Rollout），在训练场景必须做到 bitwise 可复现才能用——优化空间被一致性约束大幅压缩，做不到「自动化套用推理的那套加速」
* 模型与算法的组合爆炸。每支持一个「模型 × 算法」组合，传统方案就要实现一套 pipeline、手动编排 Role/Worker/ResourcePool。随着模态（图像 / 视频 /3D）和算法（FlowGRPO 及后续）增多，适配成本指数级膨胀。UniRL 用配置驱动 + 插件化压住了这条曲线，但代价是前期抽象设计的复杂度，且抽象边界一旦定错，后期返工成本很高。
* 算法与 Infra 的协作鸿沟。两个团队领域知识差异大、「行业黑话」不互通，模型训不好时容易互相归因（"Infra 太差" vs "算法菜"），本质是信息不对称。这不是纯技术问题，我们的解法是在 Infra 团队配置算法工程师（算法:Infra ≈ 1:3）充当产品经理与沟通桥梁——这部分组织层面的经验同样值得分享。 听众收益
* Diffusion RL 的 Infra 方法论：理解 Diffusion RL 与 LLM RL 在计算密度、调度、Reward 负载上的本质差异，以及 Role/Worker 分离 + 插件化 + 类单机抽象这套可复用的框架设计思路——当你要支持快速增长的「模型 × 算法」组合时，如何做扩展式适配而非推倒重来
* 训推一致性的工程决策框架：从浮点累加顺序、split-k、多维并行切换三个角度，理解低精度训练为什么会破坏收敛，以及如何用算子级 Bitwise 对齐。这套思路对任何做低精度训练 /RL 的团队都有直接参考价值
* 自研算子与异构资源调度的实战经验：FalconGEMM 的优化路径（代数优化 + Group 融合 + 缓存感知 + TVM/Triton 跨平台）、Green Context Sharing 的动态资源分配、Reward 服务化资源池的设计，为正在做算子优化或多任务混合调度的团队提供真实的性能数据与 tradeoff 参考，减少试错成本
除此之外，本次大会还策划了 AI Infra、推理工程与异构计算、超级个体与蜂群智能的共生进化、迈向机器人 AGI 的关键技术与产业实践、Agent 安全：从风险到可控、端侧智能与 AI 原生终端、AI Agent 高价值商业场景实战 等 10 个专题论坛，届时将有来自不同行业、不同领域、不同企业的 50+ 资深专家在现场带来前沿技术洞察和一线实践经验。 2026 年 AICon 人工智能开发与应用大会 · 深圳站将于8 月 21 日—22 日举办，聚焦 AI 基础设施、大模型系统、智能体工程、数据智能、多模态技术与行业落地等关键方向，邀请来自腾讯、阿里、华为、百度、蚂蚁集团等 50 + 头部科技企业技术负责人、科研机构一线专家，系统性分享前沿洞察与实战干货，共同探讨 AI 技术从能力到系统、从实验到生产的真实路径。限时 9 折专属优惠，现在报名立减 580，更多详情可扫码或联系票务经理 13269078023 进行咨询。