文章通过对 DeepSeek V4 Flash 在四种 agent harness 中的实测,比较了成功率、成本和延迟三个维度,发现没有全能赢家,建议根据自身优先级选择 harness。
📝 详细摘要
文章详细报道了 Composio 使用 DeepSeek V4 Flash(284B 参数、13B 激活)分别接入 Claude Code、Codex、OpenCode 和 Oh My Pi 四种 agent harness,在 30 个真实多步骤 agentic 任务(涉及 Gmail、Sheets、Airtable、GitHub、Slack、Calendar、Notion、PagerDuty 等在线工具)上进行对比测试。测试结果显示:Oh My Pi 成功率最高(17/30)但最慢;Claude Code 速度最快(122.7s/任务)但成本最高(约 $0.195/成功任务);OpenCode 最便宜($0.073/成功任务)但成功率最低(14/30);Codec 处于中间水平。没有任何 harness 在成功率、成本和速度三个指标上同时占优,作者因而结论:选择 harness 应根据个人最看重的指标(成功率、成本或速度)而非单一总分排名。
💡 主要观点
- Oh My Pi 在成功率上领先,但速度最慢。 在 30 个真实 agentic 任务中,Oh My Pi 达到 17/30 的成功率,最高;然而其每任务中位耗时达到 272.4s,是四种 harness 中最慢的。
💬 文章金句
- 没有全能赢家
- 最快的也是最贵的,成功率最高的反而最慢
- 按你最看重的那个指标去选 harness,而不是看某个单一总分排名
📊 文章信息
AI 初评:87
来源:PaperAgent
作者:PaperAgent
分类:人工智能
语言:中文
阅读时间:4 分钟
字数:947
标签: AI Agent, Agent Harness, DeepSeek V4 Flash, Claude Code, Codex