要点两周内两件事划定了 Agent 时代的信任边界:韩国 7 家金融机构遭疑似 AI 入侵、总统要求彻查——AI 参与的系统性安全事件第一次走到国家层面;同期最高人民法院明确 AI 责任认定规则——司法开始回答「出了事谁负责」。前者是 Agent 信任的攻防面,后者是信任的司法面。
要点Agent 从工具变成同事,本质是把「执行」外包了出去,但「责任」没法外包——这个缺口就是信任成本:能力信任(它做得对吗)、安全信任(它会被利用吗)、责任信任(出了事谁背)。三层成本都高昂,且目前三层都没成熟的供给。
要点监管正沿三条线收敛:辛顿提议建立 FDA 式 AI 审批(事前准入)、网安法修订增设 AI 条款(法律义务)、最高法责任认定规则(事后归责)——事前、事中、事后的治理闭环正在形成,路线与美国监管殊途同归。
要点对个人与企业,信任不是等监管给答案,而是自己建三层清单:能力层做基准验证、安全层做权限分级与审计日志、责任层做人在环确认点——把信任成本从「出事后的代价」转化为「设计时的预算」。
10 月的两条新闻,表面上不相关,实际上划出了同一条线。
第一条来自首尔:韩国 7 家金融机构遭疑似 AI 入侵,总统要求彻查。细节尚在调查中,但「疑似 AI 入侵」这五个字已经足够重——如果确认,这将是 AI 被用于对金融基础设施发起系统性攻击的标志性事件。AI 不再只是「被钓鱼的受害者」(员工被 AI 生成的钓鱼邮件骗了),而是攻击的执行主体。
第二条来自北京:最高人民法院明确 AI 责任认定规则——AI 生成内容侵权、AI 产品致害的责任归属有了司法口径。同在 10 月,图灵奖得主辛顿公开提议建立「FDA 式」的 AI 审批机制——像药物上市一样,AI 系统上市前应经过独立的安全审评;《网络安全法》修订也增设了 AI 相关条款。
把三条线放在一张图上:攻击面在扩大(韩国),司法在收敛(最高法),监管在成型(辛顿/网安法)。它们共同指向同一个问题——当 Agent 获得执行能力,社会用什么机制信任它?
传统软件也有信任问题,但成本结构完全不同。传统软件是「确定性工具」:你输入 A,它输出 B,错了是 bug,修了就完。信任的载体是测试与验收——一次性投资,长期有效。
Agent 不同。它是「概率性同事」:同样的输入可能产生不同的行为路径,且行为路径会随模型版本、工具环境、上下文变化而漂移。这决定了它的信任成本是持续性的、结构性的,可以拆成三层:
| 信任层 | 问题 | 传统软件的答案 | Agent 时代的缺口 |
|---|---|---|---|
| 能力信任 | 它做得对吗 | 测试用例覆盖率 | 概率输出无「覆盖率」可言,基准测试与真实场景存在分布差距 |
| 安全信任 | 它会被利用吗 | 渗透测试、漏洞响应 | 提示注入、工具链劫持、多 Agent 联动的攻击面仍在快速演化 |
| 责任信任 | 出了事谁背 | 软件许可免责条款 | 「Agent 自主决定」的行为,开发者/部署者/使用者责任如何切分——司法刚刚开始回答 |
第三层是 Agent 独有的。传统软件的「行为」都是人预先写死的,责任链清晰;Agent 的行为是模型在运行时决定的——当决策来自一个概率系统,责任的锚点就悬空了。最高法规则的意义,就是给这个悬空的锚点一个落点:AI 生成内容侵权按现行侵权框架归责,AI 产品缺陷致害适用产品责任——锚点落回「部署与收益方」。谁部署、谁受益、谁担责,这跟公司治理里「谁签字谁负责」是同一套逻辑。
把 10 月的监管动作排开,会发现一个完整的治理闭环正在成形:
| 环节 | 动作 | 状态 |
|---|---|---|
| 事前准入 | 辛顿提议 FDA 式 AI 审批——前沿 AI 系统上市前经独立安全审评 | 倡议阶段(诺贝尔奖得主的公共号召,尚非立法) |
| 事中义务 | 《网络安全法》修订增设 AI 条款——AI 应用与安全的法律义务显性化 | 立法推进中 |
| 事后归责 | 最高法明确 AI 责任认定规则——生成内容侵权与产品致害的司法口径 | 已出司法口径 |
值得注意的不只是某一条规则,而是方向的一致性:无论中美,治理框架都在沿「准入—义务—归责」的完整生命周期展开。对企业的含义很直接:Agent 系统的合规成本,会像数据合规一样,从「可选项」变成「必选项」——审计日志、权限分级、行为可追溯,这些今天还是最佳实践,明天就是准入门槛。
另一个信号是企业自发收紧:Meta 与 Microsoft 相继收紧员工对 Claude 等 AI 工具的使用,AI 编码开支管控升级——大厂已经在用「管理手段」而非等待「监管手段」来控制 Agent 风险。当攻防事件(韩国)与开支管控(Meta/Microsoft)同时出现,说明企业侧的风险感知已经从「讨论」进入「行动」。
对正在部署 Agent 的团队,三层信任各自有一条最短路径:
能力层——先建基准,再谈能力。针对你的真实场景建 20-50 个测试用例(覆盖常规路径与边界输入),每次模型或提示词变更后回归。基准不追求完备,追求可比——让你能回答「这次改动变好了还是变坏了」。
安全层——权限分级 + 审计日志,缺一不可。Agent 的工具权限按最小必要授予:只读的先只读,能写的加确认;每一次工具调用、每一次外部请求留全量日志。日志不是为了合规摆设——它同时是调试、追责、和安全复盘的共用基础设施。审计日志是 Agent 时代的第一等公民,这句话怎么强调都不过分。
责任层——人在环确认点,放在不可逆动作前。把 Agent 的动作按「可逆性」分级:可逆的(读、查、生成草稿)放行;不可逆的(付款、发送、删除、对外承诺)必须人工确认。这不是效率损失,而是信任的定价——每一处人工确认点,就是你对信任成本的主动定价。最高法规则落地后,这些确认点也是你自证「已尽合理注意」的证据链。
一个可执行的最小起步:给你正在用的每个 Agent 列一张表——它能触达什么数据、能执行什么动作、哪些动作不可逆、日志在哪查。半小时填完,你对信任成本的暴露面就有了第一张底图。
这是 Agent 安全系列的第一篇。后续两篇:
篇二「攻击面」:从韩国金融机构事件拆解 Agent 时代的攻击模式——提示注入、工具链劫持、多 Agent 联动风险,以及企业 Agent 的安全边界设计。
篇三「治理实践」:个人与企业的 Agent 使用守则——从权限清单到审计模板的可落地版本,对齐网安法 AI 条款与责任框架。
Q:最高法规则出来后,企业用 Agent 出事的兜底逻辑是什么?
A:按公开报道的口径,AI 生成内容侵权回归现行侵权框架、AI 产品致害适用产品责任——即「谁部署、谁受益、谁担责」。对企业部署的 Agent,部署方是第一责任人,这也是为什么审计日志与人工确认点必须在部署时就设计好:它们是你自证尽到合理注意义务的证据。
Q:辛顿的 FDA 式审批现实吗?
A:短期落地为正式立法的概率不高——AI 迭代速度与审批周期存在根本张力。但它的价值在于确立一个方向预期:前沿 AI 的「上市前安全审评」会以某种形式到来(可能以模型评测、备案、分级分类等柔性形态)。企业现在建的安全基础设施,大概率就是未来的合规基础设施。
本文事件信息(韩国金融机构事件、最高法规则、辛顿提议、Meta/Microsoft 政策)基于公开媒体报道整理,部分事件细节仍在调查或政策演进中,以官方最终发布为准;文中实践建议为作者基于公开信息与工程经验的分析,不构成法律意见——具体合规问题请咨询专业法律人士。
事件与政策:韩国金融机构疑似 AI 入侵事件相关报道(2026-10,细节以韩方官方调查为准);最高人民法院 AI 责任认定规则相关公开报道(2026-10);辛顿「FDA 式 AI 审批」提议相关报道;《网络安全法》修订 AI 条款相关公开报道;Meta/Microsoft 员工 AI 使用政策相关报道
关联阅读(本站):用 AI 会让人「降智」吗?6 条说法 × 21 篇文献逐一核验;「问题不是 AI 写的代码,而是没人懂系统了」观点核验与解读;HN 社区十年 AI 挑战清单