● 用强化学习做知识蒸馏，方差太大怎么办？

📌 一句话摘要 本文介绍了 KETCHUP 方法，一种通过 K-step return 和 teacher 模型 Q-value 来构造 baseline，从而有效降低 RL-based 知识蒸馏中 REINFORCE 算法高方差问题的技术方案。 📝 详细摘要 文章聚焦于强化学习用于知识蒸馏时

● 从传统 RL 的视角看大模型 RLVR

📌 一句话摘要 本文从传统强化学习（RL）的 Bellman 方程视角出发，剖析了当前大模型 RLVR 训练（如 GRPO）的本质差异，并介绍了旨在解决 off-policy 训练稳定性与 bias-variance 权衡问题的优化算法 VESPO。 📝 详细摘要 文章深入探讨了传统 RL 与大

● Understanding 'Metagaming' in AI Models

📌 一句话摘要 The tweet explains the concept of 'metagaming' in AI， where models optimize for evaluation rules rather than task completion， referencing fin