● 【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (2)--- On-Policy Distillation

📌 一句话摘要 本文深入剖析了 OpenClaw-RL 框架中的 On-Policy Distillation (OPD) 机制，详细阐述了其原理、数学形式、与 PPO/DPO/KD 的区别，以及 Hindsight-Guided OPD 的具体实现。 📝 详细摘要 本文是 OpenClaw-R

● OPD 深度解析：从数学推导到 DeepSeekV4、SWIFT 与 verl 实践

📌 一句话摘要 本文从数学推导出发，系统性地解析了同策略蒸馏（OPD）的核心原理、关键维度（prefix 来源、teacher 信号粒度、KL 方向、优化方式），并详细对比了 MiniLLM、DeepSeek V4、SWIFT、verl 等主流框架的实现差异与实践选择。 📝 详细摘要 本文是一篇

● TPAMI 2026 | GNN 潜力真的释放了吗？BiKT 让 MLP 反向补课

📌 一句话摘要 本文介绍了一项被 TPAMI 2026 收录的研究 BiKT，该研究通过双向知识转移框架，让 GNN 与仅含特征变换操作的 MLP 互相学习，从而释放 GNN 中特征变换操作的潜力，并实现 20-100 倍的推理加速。 📝 详细摘要 本文解读了发表于 TPAMI 2026 的论文

● VLA 大模型部署的成本被同济 ActDistill 打下来了！

📌 一句话摘要 同济大学等机构提出的 ActDistill 方法，通过动作引导的知识蒸馏和动态路由，在不牺牲性能的前提下将 VLA 大模型的计算量压缩一半以上，实现最高 1.67 倍推理加速。 📝 详细摘要 本文介绍了同济大学等机构提出的 ActDistill 方法，旨在解决 VLA（Visio

● 张雪峰被蒸馏，打工人被「永生」

📌 一句话摘要 本文以「张雪峰.skill」和「同事.skill」等开源项目为引，深入探讨了 AI 技能包（Skill）技术对职场、法律和人文伦理的冲击，揭示了技术蒸馏背后关于人的工具性与主体性的深刻矛盾。 📝 详细摘要 文章从 GitHub 上爆火的「张雪峰.skill」和「同事.skill」

● 系统聊聊 On-Policy Distillation 的原理

📌 一句话摘要 本文系统梳理了 On-Policy Distillation 的原理、与离线蒸馏和强化学习的对比，并介绍了 OPSD、SDFT、SDPO、OPCD、OEL、G-OPD 等最新研究进展。 📝 详细摘要 文章从大模型预训练、SFT、RL 的基础知识出发，引出知识蒸馏的核心概念，并深入

● 影响 OPD work 的因素有哪些？聊聊 Rethinking OPD 这一路

📌 一句话摘要 本文深入分析了影响 On-Policy Distillation (OPD) 效果的关键因素，包括思维模式匹配、信息增益和跨尺寸蒸馏的挑战，并提出了冷启动和提示选择等实用干预策略。 📝 详细摘要 文章基于清华大学 THUNLP 团队的最新研究，系统探讨了 OPD 在 LLM 训练

● 苹果研究：通过线性化注意力中间体实现 Transformer 到 Mamba SSM 的跨架构蒸馏

📌 一句话摘要 苹果的研究展示了如何通过一个线性化注意力中间体，将 Transformer 模型蒸馏成 Mamba 状态空间模型，并取得更优的困惑度。 📝 详细摘要 这条推文详细解读了苹果公司的一项研究进展：实现从 Transformer 架构到 Mamba 状态空间模型（SSM）的跨架构知识蒸

● 开源「仓颉.Skill」，你现在可以蒸馏任何书！

📌 一句话摘要 本文介绍了作者开源的「仓颉.Skill」项目，这是一个利用多阶段 AI 流水线将书籍内容“蒸馏”成可被 Agent 自动调用的、具有明确触发条件和执行步骤的原子化技能的方法论与实践。 📝 详细摘要 文章详细阐述了作者为解决“读过的书用不上”这一痛点而开发的「仓颉.Skill」项目

● Rethinking On-Policy Distillation of Large Language Models: 现象、机制与配方

📌 一句话摘要 本文系统性地分析了 On-Policy Distillation 的成功条件与失败机制，指出师生模型的思维模式一致性与教师提供增量知识是关键，并揭示了高概率 Token 对齐的微观动态，最后提出了 SFT 冷启动和 Prompt 对齐等实用策略。 📝 详细摘要 文章对近期热门的

● 用强化学习做知识蒸馏，方差太大怎么办？

📌 一句话摘要 本文介绍了 KETCHUP 方法，一种通过 K-step return 和 teacher 模型 Q-value 来构造 baseline，从而有效降低 RL-based 知识蒸馏中 REINFORCE 算法高方差问题的技术方案。 📝 详细摘要 文章聚焦于强化学习用于知识蒸馏时

● NanoVDR：将 2B 视觉语言模型蒸馏为 70M 纯文本编码器

📌 一句话摘要 NanoVDR 引入了一种新方法，将 2B 参数的视觉语言检索模型蒸馏为高效的 70M 纯文本编码器，用于视觉文档检索。 📝 详细摘要 这条推文重点介绍了一篇名为“NanoVDR”的研究论文。其核心贡献在于一种知识蒸馏技术，能够将拥有 2B 参数的大型视觉语言模型（VLM）压缩为