Harness Engineering

起源、八类可编辑文件的演进、Harness² 机制详解

TL;DR

  • Harness Engineering 这个术语源自 2026 年 2 月的 Mitchell Hashimoto 与 OpenAI 的 Ryan Lopopolo;Google 的贡献是提出 "Agent = Model + Harness" 的白皮书以及真正的论文 Harness²(arXiv:2610.14224)。
  • harness 层的八类文件是逐类长出来的,四条主线贯穿:确定性逻辑出 prompt、上下文按需加载、从人写到机器进化、从私有格式到跨 harness 标准。
  • Harness² 的核心不是「让 agent 自己改提示词」,而是两层递归:任务层用 Propose–Probe–Compose 做有行为证据的对比改进,跨任务层用反思器把经验蒸馏进可检索的经验库——改进 harness 的方法本身也在进化,所以叫「平方」。

一、为什么讨论 harness

Google 白皮书《The New SDLC With Vibe Coding》(Addy Osmani 等,2026-05)给出的公式是 Agent = Model + Harness,并有一个被反复引用的说法:约 10% 靠模型、90% 靠驾驭层。这里的 harness,指包裹模型的一切:提示词、工具、记忆、技能、护栏、子代理与编排逻辑。


二、Harness Engineering 起源

三样与文本相关的东西:

  1. 「harness engineering」这个术语:2026 年 2 月流行,Mitchell Hashimoto(2/5)与 OpenAI 的 Ryan Lopopolo《Harness engineering: Codex in an agent-first world》(2/11)是主要起点,不是 Google 造词。
  2. Google 的白皮书:《The New SDLC With Vibe Coding》(2026-05),贡献是 "Agent = Model + Harness" 公式与「90% 在驾驭层」的判断。白皮书,不是论文。
  3. Google 真正的论文:《Harness²: Recursive Agent Harnessing for an Open World》(arXiv:2610.14224,2026-10-09,Google Cloud AI Research + Northwestern University,作者含 Ruiyao Xu、Bhavana Dalvi Mishra、Tomas Pfister;代码 Apache-2.0 开源于 google-research/harness2)。

一个需要点名的坑:网上流传一份带 Google 标志的 9 页 PDF《Harness Engineering — The 6-Layer Production Playbook》,并非 Google 出品——封面自注「独立汇编,与 Google/OpenAI/Anthropic 无关联或背书」,其中 GAIA 提升数据被标注未经源头验证。别拿它当引用依据。


三、八类可编辑文件的优化趋势

Harness² 把 harness 层列为 8 类可编辑文件:system prompt、guardrails、memory、skills、tool guidance、scripts、subagents、middleware(部分来源把第 8 类写作 plugins,口径不一,引用前需核对原文)。它们不是同时诞生的——从 2023 年的概念雏形到 2026 年被统一当作「优化目标」,是逐类长出来的:

文件类 诞生形态 至今的优化趋势
System prompt 一段手写大提示词 → 模块化组装 → 按上下文预算动态装配。模型厂商把越来越多行为训进权重,提示词反而变薄;从「写得好」变成「装配得省」
Guardrails 提示词里的软约束("请不要…") → hooks 确定性拦截 → OS 级沙箱 → 模型外硬执行 + 多目标优化。Harmony Harness 把安全性变成与正确性并列的进化目标(SecRepoBench 50.0→86.7)
Memory 会话内聊天记录 → CLAUDE.md / AGENTS.md 持久项目事实(AGENTS.md 已进 6 万+ 仓库)→ 自动压缩/自动记忆 → 结构化经验库回写(Harness² 的 EXPERIENCE.md)。从被动留痕变成主动策展
Skills 提示词里的 few-shot 示例 → 斜杠命令 → SKILL.md 渐进披露(2025-10 起源、12 月开放规范,社区对具体月份口径不一)→ 跨工具共享标准 + 清单预算制。实测 Claude Code 技能清单上限为上下文 1%、Codex 2%;300+ 技能时仅清单就吃掉约 2.2 万 token
Tool guidance 每个工具一段 JSON schema 描述 → MCP 标准化发现(2026-04 已约 9400 个 server)→ 工具按需加载/检索 → PTC 程序化工具调用(模型写代码编排工具)。核心转变:从「写清楚」变成「库存管理」问题
Scripts 临时 shell 片段 → 技能内附带的可复用脚本 → 确定性工作移出模型(省 token、可复现)→ 被 Harness² 列为一等可进化资产。能用代码做的绝不让模型推理
Subagents 单循环 → 并行多智能体(Anthropic 研究系统,约 15× token 成本)→ 反弹(Cognition《Don't Build Multi-Agents》,2025-06)→ 重新定位为上下文隔离手段(2025-09)→ 跨 harness 子代理(dsh 把 Claude Code/Codex 收编为 Profile Bundle)
Middleware 几乎不存在这个概念 → hooks → 拦截器 + 可观测性(dsh 的 append-only 日志 + Trajectory 回放)→ 一等可编辑层。横切关注点(路由、重试、审计)从隐式变显式、可版本化

贯穿八类的四条主线

  1. 从散文到代码:确定性逻辑不断从 prompt 迁往 scripts / middleware,模型只保留真正需要判断的部分。
  2. 从常驻到按需:渐进披露成为所有层的统一原则,且出现了可量化的预算纪律(1% / 2% 技能清单上限)。上下文是最稀缺资源,这已是共识。
  3. 从人写到机器进化:2026 年研究前沿(Harness²、RRSI、OO-Harness)把同一组文件当作优化目标函数,并立刻发现过拟合需要专门正则化——「harness 会自己变好,也会自己变坏」成为新课题。
  4. 从私有到标准:SKILL.md、AGENTS.md、MCP 相继进入 Linux Foundation 的 Agentic AI Foundation,跨 harness 可移植性本身成了优化方向。范式话语也随之迭代:prompt engineering → context engineering → harness engineering(2026-02)→ loop engineering(2026-06)。

不同 harness 的侧重:同一组文件,不同的押注

Harness 定位 侧重层 标志性机制
Claude Code 打磨好的产品(绑定 Anthropic) 上下文管理 + 分层扩展点 CLAUDE.md 常驻 / Skills 按需 / MCP 连接 / hooks 自动化的清晰分层;1% 技能预算;子代理隔离;技能生态最大
Codex 闭源产品(绑定 OpenAI) 分发治理 + 仓库集成 插件市场 + 强制 manifest;插件 hooks 默认不可信、须审查后启用;AGENTS.md 层级合并;apps 一等公民
dsh(DeepSeek Harness) 开放框架/运行时(MIT,2026-08-13 开发者预览版,模型可换) 架构开放性 + 自进化底座 Cordis 微内核「一切皆插件」,连 agent 循环本身可换;四种模式(Standard / Code-PTC / Minimal / Creator);append-only 会话日志 + Trajectory 回放;Profile Bundle 收编其他 harness 作子代理
研究型 harness 论文产物 各挑一个目标函数 Harness² 押自我改进、Harmony 押安全多目标、OO-Harness 押按工作负载进化专用子类、RRSI 押防过拟合

一个有分量的佐证:有研究(arXiv 2610.32483,转引)测得同一模型在不同 harness 下 token 消耗可差一个数量级——「选 harness」与「调 harness」不是玄学,是实打实的成本与能力变量。


四、Harness²:让「改进 harness 的方法」也进化

4.1 为什么叫「平方」

普通 harness engineering 是一层:人(或模型)改进 harness → agent 变强。Harness² 加了第二层递归:harness 的改进过程本身也被外层循环改进——每次任务的经验被蒸馏进持久经验库,反过来指导下一轮怎么改 harness。「harness」和「改进 harness 的方法」一起进化,所以是平方。它属于 RSI(递归自我改进)研究线,但改的是外壳不是权重——这是它能立刻工程化的关键。

前提:模型权重完全冻结,不微调、不 RL;执行器(OpenCode / Codex,冻结 Gemini 3.5 Flash 与 GLM-5)不动;编辑器模型默认 Claude Opus 4.8。

4.2 内层(任务层):Propose–Probe–Compose 对比式改进

  1. 基准运行:用当前 harness 先跑一遍任务,留下参考轨迹;
  2. Propose:编辑器生成两个候选 harness——一个「通用不变量」版(修跨领域通病:规划混乱、工具调用死循环、上下文爆炸),一个「领域特定」版(针对当前任务类型);
  3. Probe:两个候选在相同设置下重跑同一任务,对轨迹做行为对比——不需要真值标注,靠「哪个候选行为更好」的对比证据裁决;
  4. Compose:合成器只合并有行为证据支撑的编辑,可以解冲突、只采纳一方、或维持原样。

预算参数 k 控制递归深度:k=1 是一步对比;k=K 并行模式生成 K 通用 + K 领域候选再合成,串行模式连续迭代 K 步。

4.3 外层(跨任务层):反思器 + 经验库

每个任务结束后,Experience Reflector 复盘完整改进记录(参考运行、候选、探测、合成决策),把教训写入 Harness Improvement Library。每条经验 = 一个可执行的 harness + 一份 EXPERIENCE.md(适用情境、为什么有效、生效条件、后果、支撑证据),建索引供后续任务按需检索。三条纪律:

  • 证据不足不入库——没有执行对比支撑的「感悟」直接丢弃;
  • 多个编辑纠缠、无法归因时,必须显式标注「不可归因」;
  • 旧任务里的事实性结论,在新任务中要重新验证。

一个容易误读的细节:每个新任务仍从基础 harness 出发,经验库是按需检索注入,不是把历史补丁无限叠加——这是它防漂移的设计。更新可记作 R(t+1) = Update(R(t), H*(t), D(t)):经验库由上一轮库、被选中的 harness 与本次改进记录共同更新。

4.4 数据与消融(3 次运行均值)

  • 单步 PPC:WorkBuddy-Bench 最高 +11.5(GLM-5/OpenCode 64.2→75.7)、JobBench +4.5(Gemini 31.5→36.0)、Harvey 法律基准 LAB +11.8pp;k=5 并行再叠加约 2.6–6.7 分;经验库可跨基准迁移(+0.6 / +0.5 / +2.9),说明学到的是可复用方法而非背题。
  • 机制消融(WorkBuddy / JobBench):去掉经验库 −3.1 / −1.8;去掉通用+领域双编辑器分工 −2.9 / −3.7;去掉合成 −1.6 / −1.9——三个部件都真实贡献,不是堆料。
  • 组件消融:skills −5.3、scripts −3.7、分组提示文件 −1.5(非线性可加)——技能和脚本是最值钱的编辑对象。
  • 对比基线含 ReasoningBank、Meta-Harness 等(LAB 上 Gemini/Codex 组合仍领先)。

4.5 代价与局限(论文与社区自曝)

  • 成本:k 并行时每任务约 4k 次执行 + 3k 次改进会话;
  • 对比是证据,不是正确性验证——行为更好 ≠ 结果正确,且执行随机性会污染对比;
  • 评测泄漏风险:执行器网络不受限、Codex 沙箱关闭,公开评分标准可能被在线访问;
  • 仓库声明「非 Google 官方支持产品」;社区发现 cost_usd 字段从未落账(PR #127),executor 花费被记成 $0,成本数据须自行补测;
  • 自我改进过拟合,由同团队后续 RRSI 专门处理。

五、回到工程

Harness² 给的三样东西:

  1. 方向佐证:90% 价值在驾驭层、八类全部是插件层资产——继续把工程投入押在 dsh 定制而非换模型,是有实验依据的。
  2. 组件优先级:消融数据指明先改 skills / tool guidance / scripts(对连接器的工具描述、参数指引、确定性辅助脚本),guardrails 永远人工把关。工具一多就上渐进披露/分组加载——1%/2% 的实测数据说明清单本身会吃垮上下文。
  3. 离线 PPC 回路:收集遗留模块适配器的失败轨迹 → 让编辑器提出 tool guidance / skill 的候选修订 → 在契约测试集上 probe → 只合并有证据的修订;reflector 写「每个遗留模块一份经验档案」(哪些字段有坑、状态机顺序不能乱)。已有社区移植可评估复用:Bear0117/dsh-plugin-recursive-harness(WIP,把 PPC + 跨任务经验库做成 dsh 插件)与厂商无关的 20genesis14-sys/perfect-harness。

开回路的三个前提,缺一不可:契约测试能充当 probe 的判据;probe 只跑只读调用与影子库(论文环境沙箱是关的,生产遗留系统必须反过来做);留一组不参与改进的保留任务防过拟合,并接受数倍 token 成本。

一句话:论文佐证方向、提供接入之后的调优方法论;接入、分发、版本治理仍是要自己做的工程。把它当接入方案会失望,当调优方法论正合适。


六、证据边界

  • 本轮 arXiv 原文页与官方仓库在所处环境被网络策略拦截、未能直读;机制与数字来自 arXiv HTML 检索摘录、官方 README 摘录及多家独立二手解读的交叉一致,对外引用前请对照原文复核。
  • 引用所用 URL 均为检索结果返回的真实来源,未做任何代理地址替换。
  • 已知口径冲突:SKILL.md 起源 2025-10 vs 开放规范 2025-12;八类组件清单第 8 项 middleware / plugins 说法不一;个别对比文章自相矛盾,具体版本号与 star 数随时间变化。
  • 「arXiv 2610.32483 token 差异一个数量级」为二手转引,未核原文。

Sources

Harness² 论文与方法

术语、演进与各 harness 侧重

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注