【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (12)--- GRPO

📌 一句话摘要

本文通过对 OpenClaw-RL 源码的深度解析，探讨了 GRPO 算法原理及其在在线对话场景下因无法批量采样而导致的算法退化问题，并提出了多种工程优化方案。

📝 详细摘要

本文是 OpenClaw-RL 源码阅读系列笔记的第 12 部分，核心聚焦于 GRPO (Group Relative Policy Optimization) 算法。作者首先对比了标准 PPO 与 GRPO 的差异，阐述了 GRPO 如何通过组内相对排名替代 Value Model 来估计 Advantage，从而降低计算成本。随后，文章深入剖析了 OpenClaw-RL 的具体实现，指出由于在线对话场景中用户只能接收单条回复（N=1），导致其 GRPO 实现实际上退化为了带 PPO clip 约束的 REINFORCE 算法。此外，文章还对比了 OPD (On-Policy Distillation) 技术，并针对如何在对话场景中还原 GRPO 语义提出了包括利用 Session 历史、Best-of-N 推理、OPD 隐式对比及投机采样在内的四种工程演进方案。最后，作者从算法本质出发，总结了强化学习优化的核心在于对策略分布的方向、幅度与稳定性的控制。

💡 主要观点

- GRPO 的核心优势在于无需训练额外的 Critic 网络。 通过同 Prompt 的多样本组内归一化来估计 Advantage，不仅降低了 GPU 显存占用，还提供了无偏的组内相对基准。

OpenClaw-RL 的 GRPO 实现存在因场景导致的算法退化。 由于在线对话无法像 DeepSeek R1 那样进行多样本并行采样，N=1 的限制使 OpenClaw 的 GRPO 退化为带 PPO clip 技巧的 REINFORCE 算法。

提出了在对话场景下实现组内对比的四种工程方案。 包括利用 Session 内历史均值作为 Baseline、Best-of-N 推理、利用 OPD 进行隐式 N=2 对比，以及前沿的投机采样方案。

强化学习优化的本质是分布控制而非算法选择。 算法（PPO/GRPO）只是表层，真正的核心在于如何控制梯度方向（Advantage）、步长（Step Control）以及通过约束设计维持训练稳定性。

💬 文章金句

- GRPO = "自己跟自己比，好的多学，差的少学"。

• PPO/GRPO 是表层选择，分布控制是本质。
• 稳定性不是"用哪个算法"决定的，而是三个条件的组合：Advantage 方差控制、步长约束匹配任务结构、分布偏移可控。

📊 文章信息

AI 初评：91

来源：罗西的思考

作者：罗西的思考

分类：人工智能

语言：中文

阅读时间：34 分钟

字数：8387

标签： AI 强化学习, GRPO, PPO, OpenClaw-RL, 大模型训练

阅读完整文章