医疗 AI · AGENT TRACEABILITY

医疗场景为什么必须要求 Agent 可溯源:从合规刚需到工程实现

2026-09-20王亚博系列第 2 篇 · 接续 MinerU 4.0 评测
这几天 Agent 安全事件密集爆发:编码工具被曝静默上传 Git 历史、美军 AI 生成的幻觉情报险些进入决策链、OpenAI 公开承认存在目标偏离案例。这些事故发生在通用领域尚且掀起波澜——而医疗行业的特殊性在于:Agent 的一条错误引用,可能直接进入临床决策参考。这篇文章回答一个问题:医疗场景采购和使用 AI Agent 时,「可溯源」为什么是硬性前提,以及工程上怎么实现。
边界声明:本文是技术与合规视角的行业分析,不构成任何诊断或治疗建议;涉及监管的表述均为公开可查的官方口径或方向性趋势,不猜测未公开条款。

一、医疗行业的特殊性:错误没有「下次注意」

通用场景里,Agent 引用了一篇不存在的文献,损失是尴尬。医疗场景里,错误引用的下游可能是器械选择、治疗路径参考、合规申报材料——一条看似合理的编造引文,经过层层转发,最终可能出现在给临床的资料包里。

医疗行业对信息可信度的要求有三层,逐层收紧:

层次要求Agent 当前常见短板
事实正确结论不能凭空编造大模型幻觉是已知问题,无法靠提示词根除
来源可查每个结论能指回具体出处RAG 检索常只给「相似片段」,不给精确定位
过程可审计事后能还原「Agent 当时基于什么得出的结论」多数 Agent 缺操作留痕,事后无法复盘

前两层业界谈得多,第三层常被忽略。但在医疗合规语境下,「可审计」恰恰是监管检查时最先要的东西:不是问「AI 说的对不对」,而是问「你说 AI 是基于这份指南第几页说的,证据在哪」。

二、为什么是现在:一周内的三起警示 + 监管窗口

2.1 本周热点说明问题不是 hypothetical

如本系列上一篇(《Agent 进入生产环境的信任成本》)所述,过去一周三起独立事件——编码 Agent 静默上传用户完整 Git 历史、OpenAI 内部仓库被攻破、美军 AI 情报幻觉险酿误判——共同指向同一个问题:Agent 进入生产环境后,"它对你的数据做了什么、它的结论能不能验证"成为比能力更迫切的议题。通用场景里这些是成本问题;在医疗场景,它们直接触碰监管红线。

2.2 监管视角:两个法域,同一个方向

监管在两个法域给出了同方向的明确信号:

欧盟《AI Act》:医疗 AI 几乎必然落入「高风险 AI 系统」范畴(Annex III),对应核心义务包括 Art. 9 风险管理系统、Art. 10 数据治理、Art. 12 记录与日志(自动记录事件以保障可追溯)、Art. 14 人类监督、Art. 15 准确性与稳健性。其中 Art. 12 的日志要求,本质上就是监管在强制要求「可溯源」。

中国 NMPA:AI 医疗软件按医疗器械软件(SaMD)监管,已有明确的审查框架文件:

三条法规线索(EU Art.12 日志义务 + NMPA 全程可追溯要求 + 网络安全可审计要求)指向同一个工程能力:每个结论都能带着原文出处被复查。这不是加分项,是准入门槛。

三、工程答案:Locator 模式——结论必须能 read 回原文验证

合规要求落到工程上,核心是一条架构原则:Agent 输出的每个关键结论,都必须携带可机读、可跳转的原文定位符;且定位符必须能反向读出原文来核验。我把这称为「定位器(Locator)模式」。

3.1 什么样的架构算合格

不合格的链路:
文档 → 切片向量化 → RAG 相似检索 → 「根据相关资料,建议……」

合格的链路(Locator 模式):
文档 → 解析入库(保留页码+内容块坐标)
     → Agent 检索时拿到定位符 doc:xxx/page:3/block:2
     → 结论必须附带定位符
     → 核验时:read 定位符 → 原文重现 → 人工可复核

3.2 实测案例:MinerU 4.0 的定位器

上一篇文章(MinerU 4.0 实测)里,我在本机验证了这套模式的可用性:

这意味着「结论回链原文」在今天已经不是概念,而是本机就能跑通的开源能力。对医疗场景,关键收益是把复核成本从「重读全文」降为「跳转定位」——审核者可以逐条核验 Agent 引用的每一处出处,而不是信任一段黑盒摘要。

定位器不是概念——本站评测 MinerU 4.0 时实测过完整链路,以下是真实的 mineru read 输出(解析 Transformer 论文后按定位符回读第 2 页):

$ mineru read "doc:bdfaa68/tier:flash/page:2" --limit 400
<!-- page 2 of 15 -->

## 1 Introduction

Recurrent neural networks, long short-term memory [13] ...

<!-- Next: mineru read doc:bdfaa68/tier:flash/page:2/block:1 -->

注意三个细节:输出自带页码标记(page 2 of 15,可作引用出处);末尾自动给出下一块的定位符(支持渐进式深读);整个过程本地完成,文档不出内网。医疗场景选型时,这类「结论可带原文坐标」的能力应作为硬性验收项。

3.3 医疗落地时的三条附加约束

通用的高风险行业约束(数据不出内网、操作留痕、人在环上)在医疗场景都适用,但医疗还有三个特有接口需要对接:

  1. SaMD 风险分级决定溯源深度:按 NMPA 分类规则,提供诊断结论或直接影响临床决策的 AI 软件按第三类医疗器械管理(最严级),流程优化类则按第二类。你的 Agent 在医疗流程里扮演什么角色,先做分类界定,溯源能力的建设等级跟着分级走——辅助写病历摘要与辅助判断肺结节性质,是两个完全不同的合规量级。
  2. 临床评价路径要求证据链:AI 医疗器械的注册需要临床评价(或真实世界数据支持)。Agent 引用文献/指南生成的结论,如果未来要作为申报材料的一部分,每条引用都必须能回溯到可查证的原始出处——定位器能力在这里从「工程好习惯」升级为「申报证据链的一部分」。
  3. 模型更新的可追溯义务:NMPA 要求软件更新(尤其算法更新)走变更注册或备案。对应到 Agent 系统:模型升级后,历史结论是否还能追溯到当时的原文版本?这要求引用时锚定文献的具体版本(如 arXiv 版本号、指南发布年份),而不是一个会变的 URL。

四、落地清单:企业该问 Agent 供应商的 5 个问题

采购或评估任何医疗场景 Agent 时,把这五个问题甩过去,答案质量基本决定了产品成熟度:

  1. 「你的结论能回链到原文的哪一级?」——只给「参考文档列表」不算;要求给到页码/内容块级定位符,且能演示 read 回原文。
  2. 「数据从我的环境出去吗?谁授权?」——要求明确列出所有网络出向数据流;任何上传默认关闭、显式授权。
  3. 「出了错,我能还原当时的完整过程吗?」——检索了什么、读了哪些块、基于什么生成,是否有完整留痕和导出能力。
  4. 「模型更新后,历史结论还能追溯吗?」——版本管理:当时的模型版本、索引版本、文档版本是否可复现。
  5. 「你如何防止引用编造?失败了怎么表现?」——好的答案是「找不到出处就明说找不到」,坏答案是「总能给出一个看起来合理的引用」。
一句话总结:医疗场景对 Agent 的要求可以浓缩成一个动作——任何结论都要能 read 回原文验证。本周三起安全事件证明了风险的现实性,EU AI Act 与 NMPA 的监管方向给出了合规必答题,而 Locator 模式证明这在工程上今天就做得到。窗口期已经打开:现在就把「可溯源」写进你的选型标准。

参考依据

  1. EU AI Act(Regulation (EU) 2024/1689)官方文本:高风险 AI 系统义务框架(风险管理、数据治理、日志记录、人类监督等);本文仅引方向性框架,具体条款适用以官方文本和法律意见为准
  2. NMPA 人工智能医疗器械审评相关公开指导原则与政策发布(以 NMPA 官网公开文件为准;本文表述为方向性趋势)
  3. 2026-09-18 至 09-20 期间公开报道的 Agent 安全事件:编码工具 Git 历史上传争议、美军 AI 情报幻觉报告、OpenAI 目标偏离案例公开
  4. MinerU 4.0 定位器实测:见作者前文《MinerU 4.0 实测:文档解析如何成为 Agent 的知识基础设施》(wangyabo.com,2026-09-20,含本机实测数据)

作者:王亚博(Abel Wang)· 转载请注明出处。本文为行业分析,不构成医疗建议或法律意见;监管相关表述请以官方公开文件为准。

微信二维码 · 扫码联系作者
扫码加微信,直接聊 👋
我是 王亚博(Abel Wang),医疗行业 · AI 数字效能方向。
对本文有疑问、想交流技术方案或合作,扫码加我微信,备注来意通过更快。