Title: 最近，看到最系统的 Harness 工程综述 | BestBlogs.dev
URL Source: https://www.bestblogs.dev/article/7e06d2d9c3?amp%3Butm_medium=feed&%3Butm_campaign=resources&%3Bentry=rss_article_item
Published Time: 2026-07-11 11:56:00
Markdown Content: 大家好，我是PaperAgent，不是Agent！
今天分享一篇最新的Harness Engineering技术系统综述，来自前OpenAI高管翁荔（Lilian Weng）：AI自我改进，从Harness开始。近期，微软连发了2篇AI自动化科研的论文
!Image 1 Claude Code、Codex 等 Coding Agent 产品的成功，已经证明了 Harness 的重要性。Blog系统梳理Harness Engineering的设计模式、优化层级，以及从 ACE 到 MCE 再到 Meta-Harness 的演进脉络。
全文概览
一、Harness：比早期 Agent 框架多了一层
早期的 Agent 框架公式很简单： Agent = LLM + Memory + Tools + Planning + Action
!Image 3: Harness Engineering技术全景图：https://arxiv.org/abs/2604.08224v1
Harness Engineering技术全景图：https://arxiv.org/abs/2604.08224v1
但 Harness Engineering 在此基础上额外纳入了：Workflow Design（Loop Engineering）、Evaluation、Permission Controls、Persistent State Management。它不再是简单的 prompt template，而是更接近运行时与软件系统设计——模型如何观察、行动、记忆、自检、改进。
!Image 4: Self-Harness技术：https://arxiv.org/abs/2606.09498
Self-Harness技术：https://arxiv.org/abs/2606.09498
Blog打了一个精妙的比方：Harness 与操作系统（OS）高度类比。OS 封装复杂逻辑、保持接口简洁；Harness 也应如此。随着行业发展，配置、工具接口、协议等将逐渐标准化。
Harness 三大设计模式
2.1 Pattern 1：工作流自动化
定义一个模型可以操作、测试、迭代的工作流，是自动化的关键设计。Karpathy 的 autoresearch repo 就是一个干净范例。
一个典型的目标驱动循环遵循：Plan → Execute → Observe/Test → Improve → Execute again，直到目标达成。
!Image 5: Simplified Codex Agent Loop
Simplified Codex Agent Loop
工作流图的核心在于：模型通过Agent Runtime分析自身轨迹和失败案例，迭代推进进度——而不是依赖静态 prompt template。
2.2 Pattern 2：文件系统即持久化记忆
长程 Agent 系统的一个 recurring pattern 是：用简单的方式控制丰富的状态与产物。Harness 不应把整个工作流和所有日志塞进 context；相反，它应该把持久状态保存在文件中。
!Image 6
在长程 agentic rollout 中，实验日志、代码 diff、论文摘要、错误追踪、历史轨迹等产物，往往会远超模型训练时的 context window。让 LLM 学会通过bash命令读写文件系统，是一项基础能力；因此，以文件形式管理持久化记忆，天然受益于核心模型能力的提升。
2.3 Pattern 3：子代理与后台任务
Harness 可以 spawn 多个子代理并行执行，并监控后台任务。这在以下场景非常有用：主代理需要同时搜索多个假设、并发运行实验、或将隔离的子任务委派出去而不污染主上下文。
!Image 7 父代理需要一个小型进程管理器：启动任务、检查日志、取消失败运行、将结果合并回主线程。
关键设计选择：让并行性显式且可检查。如果子代理的输出只存在于瞬态的聊天上下文中，它们会迅速过时、隐藏。如果存储为文件、日志和状态记录，模型可以在中断后恢复，并基于自身执行历史进行推理。
Coding Agent Harness：案例与工具全景
主流 Coding Agent（Claude Code、Codex、OpenCode、Cursor-style agents）的核心接口已经趋于稳定。它们通常使用如下循环：
!Image 8: Coding Agent Workflow
Coding Agent Workflow
借助一套工具，Coding Agent 能够在给定仓库中开发和调试，类似于人类开发者使用 IDE。 工具定义全景表：
Harness与核心智能的关系：近期 RSI 路径预测
1965年，I. J. Good 提出"超智能机器"的构想：一个能在所有智力活动中超越人类，并设计出更优机器来自我改进的系统。2008年，Yudkowsky 将这一反馈循环命名为递归自我改进（Recursive Self-Improvement, RSI）——AI 用当前智能去改进产生智能的认知机制本身。
但在 Lilian Weng 这篇最新长文中，她提出了一个更务实的判断：近期的 RSI 不会表现为模型直接重写自身权重，而是模型改进训练 pipeline 和部署系统（Harness），进而催生更强的后继模型。
Blog 对近期 RSI 路径给出了明确预测：
- Harness engineering 将走向 meta-methodology——优化的不是答案本身，而是获取更好答案的机制。Harness 系统本身成为优化目标，启发式规则减少，通用机制增加。
- 成熟的 Harness 赋能模型自改进循环，而更智能的模型反过来防止 Harness 过度工程化，保持系统可持续。
Context Engineering 的演进：ACE → MCE → Meta-Harness
6.1 Agentic Context Engineering
简单地将所有工具响应和模型生成内容追加到上下文中，会随着 agentic 任务 horizon 的延长而迅速失控。Context management 是构建更结构化、更简洁的 LLM 上下文并管理持久状态的层。
ACE 将 context 视为可演化的 Playbook，而非越来越长的 prompt。它包含三个组件：
- Generator：生成任务轨迹，参考 bullet points。
- Reflector：从成功和失败的轨迹中提炼 insight。
- Curator：以增量、条目化的方式更新结构化上下文。
ACE Framework：https://arxiv.org/abs/2510.04618
ACE 的关键设计：Curator不重写完整的 prompt blob，而是输出结构化、条目化的 bullets（identifier + description），通过确定性逻辑合并到结构化 context logbook 中。条目会定期精炼和去重。
但 ACE 的更新规则和工作流仍是 handcrafted。要走向更自改进的循环，需要更进一步。
6.2 Meta Context Engineering
MCE 将机制（如何管理 context）与产物内容（context 里有什么）分离：外层 meta-optimization 运行 skill evolution，内层 base level 运行 context optimization。
!Image 11: MCE Framework：https://arxiv.org/abs/2601.21557
MCE Framework：https://arxiv.org/abs/2601.21557
一个 MCE skill 定义了一个 context function，将输入 映射到 context：
* ：静态组件（prompts、知识库、代码库）
* ：动态算子（搜索、选择、过滤、格式化） 双层优化：
Skill database 追踪历史 skill、context function 和评估指标。Meta-level agent 对 prior skills 执行agentic crossover创建新 skill：。
Base-level context engineer 执行 skill，从 rollout feedback 中学习 context function：。
6.3 Meta-Harness
再深一层：Meta-Harness 优化的对象是代码本身——决定和优化"什么信息应该被存储、检索、呈现给模型"的代码。!Image 12: Meta-Harness ：https://arxiv.org/abs/2603.28052
名字中的Meta意味着它是一个优化 Harness 的 Harness。
最后：Harness 即基础设施
把 RSI（递归自我改进） 从模型改权重的科幻叙事，拉回到了工程系统优化的地面。Harness 不是模型的附属品，而是与核心智能同等重要的基础设施层。
对于正在构建 Agent 系统的工程师来说，这意味着：你的竞争力不仅在于模型选型，更在于你如何设计 Loop、如何管理持久状态、如何编排子代理、如何让上下文自我演化。
Harness 工程，才是当下 RSI 的务实入口。
https://lilianweng.github.io/posts/2026-07-04-harness/Harness Engineering for Self-Improvement