OFA-MAS 提出一种基于 MoE 图生成模型的 one-for-all 多智能体拓扑设计范式,仅用一个通用模型即可为不同领域的自然语言任务自动生成合适的协作图。
📝 详细摘要
本文介绍了来自 Griffith University 和 Northwest A&F University 团队提出的 OFA-MAS 框架,旨在解决多智能体系统(MAS)中协作拓扑设计的跨领域泛化问题。现有方法遵循 one-for-one 范式,为每个任务域单独训练拓扑设计模型,导致维护成本高且无法复用跨域知识。OFA-MAS 将拓扑设计建模为条件图生成问题,采用自回归方式逐步生成协作图。其核心创新包括:任务感知图状态编码器(TAGSE),在编码部分图时持续注入任务语义;MoE 图生成模块,为不同任务动态激活不同的专家网络;以及三阶段训练策略(无条件预训练、LLM 驱动条件预训练、监督微调)。实验表明,OFA-MAS 在 MMLU、GSM8K、HumanEval 等六个基准上平均准确率达 93.02%,超越所有 one-for-one 方法,并在未见过的 GAIA 任务上展现出强大的 OOD 泛化能力。
💡 主要观点
- OFA-MAS 提出 one-for-all 范式,用一个通用模型为不同领域任务生成 MAS 拓扑。 不同于 one-for-one 方法为每个任务域单独训练模型,OFA-MAS 通过自回归图生成和 MoE 机制,从多领域任务中学习可复用的协作规律,实现跨域泛化。
💬 文章金句
- OFA-MAS 将多智能体拓扑设计从 one-for-one 推向 one-for-all:只训练一个通用拓扑设计模型,即可为不同领域的自然语言任务自动生成合适的多智能体协作图。
- 一个好的拓扑可以让正确的专家在正确的时刻参与推理,而一个差的拓扑则可能造成信息冗余、错误传播或协作低效。
- OFA-MAS 在六个 benchmark 上取得了最优平均表现,达到 93.02% 的平均成功率,超过所有对比方法。
- 在模拟恶意 agent 的鲁棒性测试中,OFA-MAS 的性能下降仅约 2.2%,明显优于其他方法。
📊 文章信息
AI 初评:82
来源:PaperAgent
作者:PaperAgent
分类:人工智能
语言:中文
阅读时间:15 分钟
字数:3532
标签: Multi-Agent Systems, 拓扑设计, MoE, 图生成, 跨域泛化