Resource2Skill 可从 YouTube 教程视频、代码、文章等自动提取结构化多模态 skill,让 Agent 能直接调用执行网页、PPT 等创作任务。
📝 详细摘要
微软开源的 Resource2Skill 框架实现了从教程视频、代码、文章等多模态资料中自动蒸馏出可执行的 agent skill。其核心思想是把人类的教程内容转换为结构化的“分层多模态 Skill Wiki”,包括可浏览的 skills_wiki/ 和可运行的 skills_library/(域 MCP server),使得 agent 在获取 skill 后能够真实生成网页、PowerPoint、Excel、Blender 场景、REAPER 风格音频等输出。论文评测显示,加入蒸馏出的 skill 能使无技能 agent 的性能提升 11.9 个百分点,在 28 个模型×域格子中赢得 26 个,覆盖 7 个实操创作域。该项目目前已落地 web/ppt/excel/blender/reaper 五个创作/办公域,并提供批量处理和自动采集守护进程,极大降低了手写 skill 的成本。
📊 文章信息
AI 初评:82
来源:AIGCLINK(@aigclink)
作者:AIGCLINK
分类:人工智能
语言:中文
阅读时间:5 分钟
字数:1169
标签: Resource2Skill, Agent技能, 技能蒸馏, 多模态, MCP