文献解读 · 独立复现

编码智能体的 Harness 工程:83 页论文解读与独立复现

2026-09-30王亚博(Abel Wang)编码智能体 · 可复现性 · 依赖审计

一句话结论:AI 把写代码的成本打到接近零之后,「验证」与「理解」成了新的稀缺品——这篇 83 页的论文和我们这次的独立复现,都是给"稀缺品"定价的尝试。

2026 年 7 月,Wavestone AI Lab 把 11 个生产级编码智能体(Claude Code、Codex CLI、Gemini CLI、OpenClaw、Aider 等,约 400 万行代码)做了一次源码级解剖,写成 83 页的论文。我们不满足于读后感——拿到了同样的证据(17 份依赖清单),写死了计数规则,加了正负对照,独立复现了它最可证伪的两个"零"主张,还顺手多测了一个时间点。本文是解读、复现过程,以及把镜头拉远之后的 2026 年 9 月全景。
TL;DR

一、论文在说什么:Agent = Model + Harness

2026 年 7 月,Wavestone AI Lab 的四位作者在 arXiv 挂出一篇 83 页的论文《Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents》(arXiv:2609.00006,CC BY 4.0)。它不做模型评测、不给排名,而是把 11 个生产级编码智能体的源代码"开膛解剖"——包括 Claude Code、Codex CLI、Gemini CLI、Mistral Vibe 四家厂商原生系统,加 OpenClaw、Aider 等开源阵营,覆盖约 400 万行代码。

论文开篇给出一个此后被反复引用的等式:

Agent = Model + Harness。模型负责提供智能;运行框架(harness)通过循环、工具、上下文管理、安全控制、编排与扩展面,把智能转化为工作。

作者的论点是:2026 年上半年,编码运行框架完成了从"工具"到"平台"的类别翻转——它有了自己的扩展生态、包经济学、治理层、迁移成本,以及自 2026 年 6 月起的元层。支撑这个论点的交付包括:七个子系统解剖学、13 条跨系统观察、29 个设计模式、18 条实践建议,以及两项实证"缺席"。

其中两项"缺席"是全文最可证伪的主张:

  1. 生产级智能体运行时不导入任何通用智能体框架(LangChain、CrewAI、AutoGen 一类);
  2. 系统不用向量嵌入做代码检索。

主张可证伪,就有复现的价值。这是这篇论文和我们后面所做工作的连接点。

值得注意的是,作者在致谢中主动披露:论文的源码分析与撰写均使用了 Claude Code。一篇关于编码智能体的论文本身由编码智能体深度参与完成——这既是方法论的诚实,也让它的所有结论天然带上一层"用 AI 研究 AI"的镜像趣味。

二、我们做了独立复现:17 份清单与 959 个依赖名

论文的两项"缺席"主张建立在一组依赖清单扫描上。复现它不需要跑模型,只需要拿到同样的证据:各系统的依赖清单文件(npm 的 package.json、Rust 的 Cargo.toml、Python 的 PEP 621 与 requirements.txt)。

我们获取并解析了 17 份清单文件,覆盖全部 11 个系统。解析之后引入清单角色分层:13 份互异的系统-清单对构成语料计数分母(canonical),另外 4 份保留为对照(2 份字节级重复抓取、1 个 monorepo 根、1 个依赖委派桩)。逐份计数之和为 1,450,去重后得到 959 个互异依赖名 / 955 个归一化键。

计数规则全部固化在一个开源审计脚本里:包含与排除规则(JSON 三键、TOML 键名与 section 判定、dev 依赖桶划分)、谓词集合、以及两组对照——

结果逐条对上论文:

主张

复现判定

细节

零通用框架依赖

成立(限 10 个可观测系统)

17 份清单、959 个依赖名,框架命中 0

零向量嵌入代码检索

成立,唯一例外即原文预言者

唯一命中 `sqlite-vec`,位于 OpenClaw 的 `optionalDependencies`——原文恰好指出 OpenClaw 是唯一启用向量记忆的系统

技能采用度领先 MCP

分层且对谓词敏感

官方 TS SDK 3/11 → 加官方 Python SDK 5/11 → 加 FastMCP 包装器 6/11;论文的 8/11 为能力并集

一个重要的诚实修正:Claude Code 对这种方法不可观测——它的 npm 清单 dependencies 为空,8 条依赖全是平台二进制。因此两项"缺席"主张的适用面从"11 个系统"修正为"10 个具备源码级清单的系统"。复现不是确认原文,而是给原文划清证据边界。

三、复现之外的新证据:增速放缓与文献窗口压缩

照搬论文只能算作业。复现流程跑完,我们又往前多走了两步。

其一,给 Codex 工作区的清单主张加了一个新时间点。 论文记录 2026 年 4 月 89 个 crates、7 月 126 个;我们的 9 月快照是 155 个。串起来:+14%/月(4→7 月)→ +9%/月(7→9 月)——清单性主张确实以周为单位衰减,但增速在放缓。"衰减"从单点变成了带斜率的曲线,这比原文的说法更有信息量。

其二,测了子领域文献窗口的压缩速度。 对论文 92 条参考文献中的 31 条 arXiv 记录做时间线分析:2026 年 4 月单月 6 篇、5 月 5 篇——这个领域的奠基文献压缩在约 9 个月内。一个学科的分析基础设施从无到有只用了两个季度,这本身就是"harness 成为一门工程学科"的旁证。

四、2026 年 9 月的全景:六条判断

论文之外,我们把 2026 年 9 月的编码智能体生态扫了一遍——四层分类(协议层 / harness 层 / 框架与 SDK 层 / 低代码平台层)加工程化配套,得到六条带进决策的判断:

  1. 协议层已经收敛,框架层没有收敛,而「框架」这个概念正在被「harness」替换。 2026 年真正在增长的是协议层(AAIF、AGENTS.md、Agent Skills 等)和 harness 层;框架层的价值收缩为"中小团队快速起步"与"团队间标准化"。
  2. 11 个生产级 harness 中,零个使用通用 agent 框架,零个用向量嵌入检索代码(我们的复现结论,同上)。框架的价值不在前沿性能。
  3. 低代码 agent 平台品类已被当事人自己判定天花板。 Flowise 于 2026-08-31 停止运营,官方把死因写进了告别信;ThoughtWorks Radar Vol.34 的 Agent 平台象限 Adopt 环为空。
  4. 多 agent 只适合"读多写少"。 Cognition 修正了自己 10 个月前的主张,核心结论是 "writes stay single-threaded";Anthropic 报告了大量协调失败的一手数据,官方多 agent 使用指引值得直接采用。
  5. 2026 年最大的选型风险不是工具能力,是供应商连续性。 18 个月内 7 家头部被收购,1 家已冻结,1 家平台即将关闭。
  6. 受监管行业的合规答案基本还不存在——但监管空窗期正是企业自己定规则的时间窗(见下一节)。

五、受监管行业(医疗器械):空窗期与一份尽调清单

这是本文与一般技术评论的差异所在:我们把同样的调研做了一遍医疗器械行业的监管映射,得到一个最重要的阴性结论——

查不到任何中国官方规定禁止或限制医疗器械、制药、金融企业在软件开发中使用 AI 编程工具。 检索覆盖 NMPA、CMDE、CDE、卫健委、网信办、国务院及律所行业媒体,中国监管文本里根本没出现过"AI 编程工具""AI 生成代码""vibe coding"这些表述;也查不到任何一家中国药企、械企、CRO 公开的禁用或白名单制度。对比制造业、金融、政务都有具名案例,医疗是唯一的全行业空白。

与开发工具相关的中国现行要求有三条,共同指向"工具本身被允许、要求落在过程记录与可追溯":《医疗器械软件注册审查指导原则(2022 年修订版)》把开发/测试工具归入外部软件环境,质量管理软件章节明确允许使用配置管理、缺陷管理、可追溯性分析工具;《医疗器械生产质量管理规范附录独立软件》要求持续提供充分的开发测试环境。更关键的一个空位:软件指导原则要求源代码追溯分析到软件单元即可,并未要求记录代码由人还是工具生成——AI 生成代码在形式上不额外触发任何记录义务;真正的风险点是"源代码与设计规范是否一致"能否举证,这与作者是人还是 AI 无关。

时效性最强的三条动态:FDA 的《Computer Software Assurance》(CSA,现行版 2026-02-03)已取代 GPSV 第 6 章,明确把 AI/ML 工具纳入管控范围;EU AI Act 高风险义务经 Regulation (EU) 2026/1744 推迟——医疗器械所属的 Annex I 类推迟到 2028-08-02(MDR 自身义务不推迟,第 12 条的"技术上允许记录"设计义务在开发阶段就要前置);NMPA 于 2026-09-17 就《人工智能医疗器械注册审查指导原则(修订版)》公开征求意见,据报道新增"医疗大模型""医疗智能体"章节。

两条务实提醒:数据出境才是真正的风险点——源代码/提示词发往境外模型 API 原则上属数据出境,但源代码通常不构成重要数据;一旦代码或测试数据夹带患者信息,性质改变。另有一条可直接用的采购尽调清单:map each agent(用途/负责人/模型/数据访问/工具/受影响人群,含未经中央采购进来的)→ limit what it can do(最小凭据 + 权利/金钱/就业相关动作需人工批准)→ 验证与监控 → 定期复审。

监管空窗不会永远开着。企业自己把规则写出来的时间窗,就是现在。

六、可复现与复用

本文的全部数字都可复算。审计脚本(含计数规则、归一化、谓词集、正负对照)已开源,配套交付:17 份原始清单归档、逐清单角色定义与源 URL、机器可读主张台账、证据表(含 SHA-256 前缀)、三张证据图。重跑入口:`python3 12_manifest_audit.py`(需 manifests/ 与 manifest_roles.json 同目录)——建议特别重跑"单一解析器统一处理全部 17 份文件"这一步,它正是暴露初稿缺陷的环节。

医疗器械部分的监管映射与采购尽调清单同样可复用:换一个受监管行业,检索面替换为对应主管部门,框架不变。

参考来源

  1. Barbaste, P., Darrigol, T., Vu, G., & Wiltberger, T. (2026). *Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents — A Source-Code Study of Eleven Systems*. arXiv:2609.00006v1 [cs.SE]. 83 页, CC BY 4.0. DOI: 10.48550/arXiv.2609.00006
  2. 本文独立审计脚本与 17 份清单归档(含正负对照与逐文件 SHA-256),随文开源
  3. 国家互联网信息办公室等四部门,《人工智能生成合成内容标识办法》,2025-09-01 施行
  4. 器审中心通告 2022 年第 9 号,《医疗器械软件注册审查指导原则(2022 年修订版)》
  5. FDA, *Computer Software Assurance (CSA)*, 现行版 2026-02-03
  6. Regulation (EU) 2026/1744(EU AI Act 高风险义务时间表修订)
  7. NMPA《人工智能医疗器械注册审查指导原则(2026 年修订版)》(征求意见稿),2026-09-17
  8. Cognition(修正多 agent 主张)与 Anthropic 多 agent 使用指引,2026
  9. ThoughtWorks Technology Radar Vol.34(Agent 平台 Adopt 环为空)
  10. Flowise 停止运营公告,2026-08-31
AI 辅助声明:本文翻译、整理由 AI 辅助完成,经王亚博人工核验与编辑。原文版权归原作者所有。
微信二维码 · 扫码联系作者
扫码加微信,直接聊 👋
我是 王亚博(Abel Wang),医疗行业 · AI 数字效能方向。
对本文有疑问、想交流技术方案或合作,扫码加我微信,备注来意通过更快。