通用场景里,Agent 引用了一篇不存在的文献,损失是尴尬。医疗场景里,错误引用的下游可能是器械选择、治疗路径参考、合规申报材料——一条看似合理的编造引文,经过层层转发,最终可能出现在给临床的资料包里。
医疗行业对信息可信度的要求有三层,逐层收紧:
| 层次 | 要求 | Agent 当前常见短板 |
|---|---|---|
| 事实正确 | 结论不能凭空编造 | 大模型幻觉是已知问题,无法靠提示词根除 |
| 来源可查 | 每个结论能指回具体出处 | RAG 检索常只给「相似片段」,不给精确定位 |
| 过程可审计 | 事后能还原「Agent 当时基于什么得出的结论」 | 多数 Agent 缺操作留痕,事后无法复盘 |
前两层业界谈得多,第三层常被忽略。但在医疗合规语境下,「可审计」恰恰是监管检查时最先要的东西:不是问「AI 说的对不对」,而是问「你说 AI 是基于这份指南第几页说的,证据在哪」。
如本系列上一篇(《Agent 进入生产环境的信任成本》)所述,过去一周三起独立事件——编码 Agent 静默上传用户完整 Git 历史、OpenAI 内部仓库被攻破、美军 AI 情报幻觉险酿误判——共同指向同一个问题:Agent 进入生产环境后,"它对你的数据做了什么、它的结论能不能验证"成为比能力更迫切的议题。通用场景里这些是成本问题;在医疗场景,它们直接触碰监管红线。
监管在两个法域给出了同方向的明确信号:
欧盟《AI Act》:医疗 AI 几乎必然落入「高风险 AI 系统」范畴(Annex III),对应核心义务包括 Art. 9 风险管理系统、Art. 10 数据治理、Art. 12 记录与日志(自动记录事件以保障可追溯)、Art. 14 人类监督、Art. 15 准确性与稳健性。其中 Art. 12 的日志要求,本质上就是监管在强制要求「可溯源」。
中国 NMPA:AI 医疗软件按医疗器械软件(SaMD)监管,已有明确的审查框架文件:
三条法规线索(EU Art.12 日志义务 + NMPA 全程可追溯要求 + 网络安全可审计要求)指向同一个工程能力:每个结论都能带着原文出处被复查。这不是加分项,是准入门槛。
read 回原文验证合规要求落到工程上,核心是一条架构原则:Agent 输出的每个关键结论,都必须携带可机读、可跳转的原文定位符;且定位符必须能反向读出原文来核验。我把这称为「定位器(Locator)模式」。
不合格的链路:
文档 → 切片向量化 → RAG 相似检索 → 「根据相关资料,建议……」
合格的链路(Locator 模式):
文档 → 解析入库(保留页码+内容块坐标)
→ Agent 检索时拿到定位符 doc:xxx/page:3/block:2
→ 结论必须附带定位符
→ 核验时:read 定位符 → 原文重现 → 人工可复核
上一篇文章(MinerU 4.0 实测)里,我在本机验证了这套模式的可用性:
mineru read "doc:xxx/page:2" 可以精确读回该页原文,内容与解析结果一致这意味着「结论回链原文」在今天已经不是概念,而是本机就能跑通的开源能力。对医疗场景,关键收益是把复核成本从「重读全文」降为「跳转定位」——审核者可以逐条核验 Agent 引用的每一处出处,而不是信任一段黑盒摘要。
定位器不是概念——本站评测 MinerU 4.0 时实测过完整链路,以下是真实的 mineru read 输出(解析 Transformer 论文后按定位符回读第 2 页):
$ mineru read "doc:bdfaa68/tier:flash/page:2" --limit 400
<!-- page 2 of 15 -->
## 1 Introduction
Recurrent neural networks, long short-term memory [13] ...
<!-- Next: mineru read doc:bdfaa68/tier:flash/page:2/block:1 -->
注意三个细节:输出自带页码标记(page 2 of 15,可作引用出处);末尾自动给出下一块的定位符(支持渐进式深读);整个过程本地完成,文档不出内网。医疗场景选型时,这类「结论可带原文坐标」的能力应作为硬性验收项。
通用的高风险行业约束(数据不出内网、操作留痕、人在环上)在医疗场景都适用,但医疗还有三个特有接口需要对接:
采购或评估任何医疗场景 Agent 时,把这五个问题甩过去,答案质量基本决定了产品成熟度:
read 回原文。read 回原文验证。本周三起安全事件证明了风险的现实性,EU AI Act 与 NMPA 的监管方向给出了合规必答题,而 Locator 模式证明这在工程上今天就做得到。窗口期已经打开:现在就把「可溯源」写进你的选型标准。作者:王亚博(Abel Wang)· 转载请注明出处。本文为行业分析,不构成医疗建议或法律意见;监管相关表述请以官方公开文件为准。