网站对 AI Agent 关门:封锁率季度翻倍

学术与技术日报 ·
📚 4 话题 · 12 论文🔍 深度解读 2🌐 来源 13+💬 社区 3 · 行业 4

📌 今日简报

Q3 已有 13.47% 的 AI 爬虫请求被网站封锁,较 Q2 的 5.98% 接近翻倍

The Verge/Cloudflare

The Verge 报道「网站正对 AI Agent 关门」;对顶级 1000 站点的独立复测显示:robots.txt 声明允许、CDN 实际拒绝的错位普遍存在,真实可用的 llms.txt 仅约七分之一(软 404 使此前引用的数字普遍虚高)——Agent 抓取生态正从默认开放转向默认封锁

Anthropic AI 安全法案细节确认:50 人死亡或 10 亿美元损失才触发政府干预

CGTN/Politico

官方确认草案源自 6 月起游说的 Advanced AI Framework:仅在生物武器、AI 失控、网络攻击三类「紧迫灾难风险」下、经法官批准由商务部叫停模型。时间线:昨日已报道草案提交动向,今日新变化是官方确认+触发条件全貌+HN 148 赞 160 评激辩「红线是否定得太高」

JAMIA 纵向研究:ambient AI 记录助手的文档负担与财务生产力长期证据

PubMed/JAMIA

准实验设计追踪基层医疗 ambient AI scribe 常态化使用后的真实影响,补足多数研究只看「采纳初期」的证据缺口;同期 ARISE 发布 2026 临床 AI 大模型现状报告,称行业正处「从技术突破到临床实践的转折点」(本周专题:医学AI临床应用,连续 7 天)

DeepSeek V4.1 Flash 1017 生态跟进:阿里云百炼上架,HN 讨论累计 934 赞

DeepSeek 官方

模型卡基准 DeepSWE v1.1 77.0(GPT-5.6 Sol 73.0、Opus 5 74.0)但 Terminal-Bench 42.3 仍逊 Opus 5 的 51.8——「多 Agent 基准超旗舰、长终端任务仍有差距」的画像渐清晰。时间线:昨日已报道发布,今日新变化是云推理上架+官媒以 OpenRouter 调用量数据跟进

本周一级市场 160 起融资超 152 亿元:无问芯穹 23 亿 C 轮居首

财联社创投通

AI 基础设施与算力仍是最热赛道:无问芯穹完成 23 亿元 C 轮,RISC-V+AI CPU 厂商蓝芯算力获近 20 亿元 B 轮;具身智能、AI4S、传感器融资活跃,广东/上海/浙江三地领跑

📈 时间线

网站封锁 AI Agent 潮:从数据到现实

时间线:Q2 封锁率 5.98% → Q3 升至 13.47%(Cloudflare 数据,接近翻倍)→ 本周 top-1000 站点复测揭示「声明开放、实际封锁」的结构性错位(llms.txt 有 2xx 响应的 34.3% 中真实文件仅 15.1%,约 1/7)——封锁正从个别平台策略变成默认网络行为

Anthropic 监管路线:从框架游说到草案落地

时间线:6 月起向联邦与州议员推介 Advanced AI Framework → 10/17 Politico 首次披露草案文本 → 10/18 官方确认并补齐细节(50 人死亡/$1B 双门槛、生物武器/失控/网络攻击三类情形、法官批准+商务部唯一执法),同日 HN 148 赞讨论登上热榜

Anthropic 算力融资成本曲线

时间线:6 月 Big Sky 计划发行约 44 亿美元次级债务(利率 8.5%)→ 10/18 北极星计划总额抬升至 600 亿美元、黑石票息 10%+(昨日已报道融资推进),今日新变化是结构细节:420 亿美元高级债由博通担保、Kroll 给予 BB+ 评级、公司 Q3 营收 168 亿美元且连续两季度调整后盈利——信用市场对 AI 算力债的重新定价正在显性化

DeepSeek V4.1 Flash:从发布刷屏到生态铺开

时间线:10/14 B 轮融资(投前估值 5000 亿元,此前已报道)→ 10/17 V4.1-Flash-1017 开源发布 → 昨日首报(HN 640 赞)→ 今日 HN 讨论累计 934 赞 704 评、阿里云百炼上架推理服务、中新社以 OpenRouter「中国模型周调用量居全球前列」定调集群式崛起

MCP-FSD:从论文到 Agent 治理锚点

时间线:10/17 本报告首报并深读(21,097 个 MCP 服务器、16.4% 分诊样本藏未申报文件系统能力、150 个实测漏洞、2 个 CVE 落在 Anthropic Git MCP Server)→ 本周持续发酵,与封锁率翻倍、红线法案构成「Agent 信任三面」:入口被封、权限被滥用、监管划红线

中国具身智能:从展示走向出清前夜

时间线:10/13《具身智能伦理治理研究报告》发布 → 10/16 上半年产业融资同比增约 5 倍 → 10/17 中国信通院《具身智能发展报告(2026年)》警示「仿真与真机评测落差明显、未来两三年完成首轮行业出清」,同日广交会观察称产业正从技术展示迈向场景落地

🔬 深度解读

深度解读:「网站对 AI Agent 关门」——Q3 封锁数据与 llms.txt 的现实

摘要:The Verge 本周报道「网站正在对 AI Agent 关上大门」,这不再是修辞:据 DEV 汇总的 Cloudflare 数据,Q3 有 13.47% 的 AI 爬虫请求被网站封锁,较 Q2 的 5.98% 接近翻倍。同期一项对 top-1000 站点的独立复测(crawlreadiness)给出更扎心的细节:llms.txt 在 34.3% 站点上返回 2xx,但剔除「任何路径都答 200」的软 404 后,真实文件仅 15.1%——约七分之一;llms-full.txt 21.9%(未复验)、agents.json 0.3%、按需提供 Markdown 副本的 3.5%(被链接的仅 1.5%)、254 个含表单站点中仅 1 家有 WebMCP 表单标注。方法亮点:复测脚本开源为单文件 Node 工具,任何人都可对自备域名清单复跑;「软 404 剔除」这一步纠正了业界长期虚高的 llms.txt 采用率叙事。另一关键错位:robots.txt 说允许、CDN/WAF 实际拒绝——Cloudflare 的机器人功能可能默认就挡掉 OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot,站点运营者自己都不知道。局限性:封锁率统计口径依赖 CDN 日志与爬虫 UA 识别,「AI 爬虫」边界(是否含搜索/用户代理)会影响数字;复测样本为 top-1000,长尾站点行为可能不同。对从业者意味着什么:内容方——「封训练爬虫、放搜索与用户代理」已成主流默认策略,可作为起点但必须核对 CDN 实际行为;Agent 开发方——别把 llms.txt 当真实许可信号,第一件事是查服务器/CDN 日志里自家 Agent 是否吃到 403,再谈内容优化与引用曝光;生态层面——若封锁率续升,Agent 获取网页数据的成本曲线将陡峭化,利好有官方 API 与授权协议的玩家,也倒逼「按行为分级准入」(如 Cloudflare 对爬虫行为的打分机制)成为新基础设施。

深度解读:Anthropic 的「红线法案」——门槛、机制与争议

摘要:Anthropic 确认正向美国国会 circulated 一份自己的 AI 安全法案草案(Politico 首发披露):政府可在模型构成「紧迫灾难风险」时阻止其发布或使用,但触发门槛极高——造成 50 人以上死亡/重伤,或 10 亿美元以上损失,且必须经法官批准。适用情形限定三类:模型制造或释放生物武器、AI 超出人类控制、网络攻击。执法结构上,该提案将让商务部成为唯一有能力叫停 AI 模型的联邦机构。方法与谱系:草案对应 Anthropic 自 6 月起向联邦与州级议员推介的 Advanced AI Framework,是其「自愿承诺→成文法」路线的落地尝试,发生在联邦层面长期立法缺位、各州各自为政的背景下。争议点:Tom's Hardware 与 HN 社区(148 赞 160 评)的批评集中在三处——50 人/$1B 的门槛高到「几乎永远不会触发」,形同为前沿模型洗白;由企业自己起草法案的「自我立法」存在结构性利益冲突;把执法权集中到商务部可能架空已有专业监管机构。支持方则认为这是首个可操作、有明确司法审查机制的前沿监管文本,比模糊的「风险导向」立法更诚实。局限性:草案仍是初稿,文本细节(举证标准、临时措施时限、域外效力)尚未完整公开;通过前景未知。对从业者意味着什么:医疗行业尤须留意「灾难阈值」监管范式的扩散——若「量化灾难门槛+司法批准+单一执法机构」成为模板,SaMD(软件医疗器械)的风险分级叙事可能被借鉴改写;对全球化团队,该草案与欧盟对 OpenAI/Anthropic 启动的 AI 法案调查(10/16 已报道)叠加,意味着美欧监管都在从「指南」转向「硬法」,合规窗口在收窄。

🛡️ Agent 治理与信任

本周专题线索(AI治理与监管,连续 7 天)。今日三份新证据把 Agent 安全从「能力对齐」推进到「全链路可验证」:语言本身成为守卫的安全面(小模型守卫跨语言判决漂移、专用守卫最敏感);安全评测存在捷径敏感(改写提示标记即可让拦截率波动 8-11 个百分点);LNDP 子图计数达到理论最优误差。与主线(封锁率翻倍、红线法案)合看:入口、权限、评测、监管四层同时收紧(调研补充:工人日报 10/19 刊文「专家热议智能体发展和治理」)。

arxivLanguage Is a Security Surface for Agent Guards

语言是 Agent 守卫的安全面(LinguaGuardBench)

Hasan Demirkiran, Jens Ernstberger

仅翻译用户指令语言、保持工具调用与标签逐字节不变:19 个守卫中,多数小型/开源/专用守卫的判决随语言漂移超出自身噪声地板(法语 +1.5pp → 阿姆ara语 +4.4pp),12-30B 守卫误杀增多、<10B 守卫漏报增多;Gemini 3.8 Flash 前后判决完全一致(NeurIPS 2026 AIWILD Workshop)。

arxivShortcut Sensitivity in Agent-Safety Evaluations

Agent 安全评测中的捷径敏感性

Hasan Demirkiran, Jens Ernstberger

三级捷径审计框架:改写 <INFORMATION> 标记使拦截率降 8.33pp、不透明工具别名使其升 11.46pp(全部危险调用仍被拦截,变化都在误杀侧)——基准的数据表示本身就能实质改变守卫决策与评测成绩。建议域组留出、评测单元指标与安慰剂对照配对干预。

arxivSubgraph Counting with Local Node Differential Privacy

局部节点差分隐私下的子图计数

Sofya Raskhodnikova, Adam Smith, Connor Wagaman, Anatoly Zavyalov

在 LNDP 模型下给出近似最优误差的 k 节点模板子图计数算法并匹配下界,首次给出中心化与局部节点差分隐私之间的 poly(n) 精度差距——分布式社交网络分析的强隐私保障从度分布扩展到结构统计(SODA 2027)。

🧠 神经科学 × AI

「计算系统的物理极限」成为共同主题:LLM 在 N-back 任务上复现人类工作记忆签名,且瓶颈同样在「干扰下读出」而非「定位」;睡眠被重构为神经计算的热力学再校准(对抗熵漂移);大规模神经群体的互信息呈现随群体规模指数衰减的标度律。三条线互证:无论硅基还是碳基,信息处理的约束正在被统一语言描述。

arxivLanguage Models Share a Readout Bottleneck in Working Memory

语言模型与人类共享工作记忆的读出瓶颈

Dongyu Gong, et al.

15 个预训练 LLM(70M-14B)复现人类 N-back 任务的负载衰减与诱饵错误;线性探针显示注意力多数时候定位正确、瓶颈在读出受干扰——抑制非目标项内容几乎在所有模型×负载条件下提升敏感性 d',与人类工作记忆的干扰账户一致。

arxivNeural Computation Runs on Dissipative Structures Under Cyclic Calibration: A Systems Perspective on Sleep

神经计算运行于耗散结构之上:睡眠的系统观

Javier Diaz

把睡眠重构为热力学必然:清醒时神经活动消耗自身赖以运行的低熵结构、导致增益/阈值/整合时间等参数漂移,睡眠作为系统性再校准相位对抗熵漂移以维持计算精度——并提供可检验的经验预言。

arxivMutual Information in High-Dimensional Neural Coding

高维神经编码中的互信息

Zimo Li, Yuchang Tian, Matthew P. Leighton, Christopher W. Lynn

蒙特卡洛框架让万级神经元群体的互信息估计变得可行:100-10,000 神经元的视皮层/海马/视网膜 recordings 上,刺激不确定性随群体规模指数衰减——高维神经编码的简洁标度律。

🏥 医学 AI 临床应用

本周专题线索(连续 7 天)。JAMIA 准实验研究补上 ambient AI scribe「常态化使用后」的纵向证据缺口;精神健康 AI 编辑评论点出「单条回复安全、整段对话致害」的新风险面;JAK3 抑制剂筛选展示 ML 药物发现标准工作流。产业侧:ARISE 发布 2026 临床 AI 大模型现状报告(「从技术突破到临床实践的转折点」)、南方医院多模态模型预测结肠癌 LNM 推动病理 AI 转化、《人工智能赋能全球传统医学发展报告》在北京发布(调研补充)。

pubmedLongitudinal effects of ambient artificial intelligence scribe use on documentation burden and financial productivity in primary care: a quasi-experimental study

基层医疗环境式 AI 记录助手对文档负担与财务生产力的纵向影响:准实验研究

(J Am Med Inform Assoc)

以准实验设计纵向追踪 ambient AI scribe 常态化使用后的文档负担与财务生产力变化,补足多数研究只看采纳初期的证据缺口(JAMIA,10/18 上线)。

pubmedWhen Safe Responses Lead to Unsafe Conversations: Patient Safety and Accountability in Mental Health AI

当安全回复引向不安全对话:精神健康 AI 的患者安全与问责

Abdou BA

编辑评论指出精神健康 AI 应用中「单条回复合规、整体对话致害」的新型风险面,呼吁建立超越单轮安全的患者安全与问责框架。

pubmedIntegrated machine learning, pharmacophore screening, and structure-based computational approaches for the identification of novel JAK3 inhibitors

机器学习+药效团筛选+结构计算集成策略发现新型 JAK3 抑制剂

(Future Med Chem)

多计算管线集成筛选新型 JAK3 抑制剂,展示 ML 加速靶向药物发现的标准化工作流(10/18 上线)。

🖼️ 医学影像与逆问题

影像重建的「学习化」进入精修期:纹理去噪研究揭示 SOTA 去噪器在纹理数据上微调会发生灾难性遗忘,主张专用纹理感知去噪器;可学习变度量框架让近端分裂算法的收敛保证与逐实例自适应兼得;MRI 谱正则化平滑-硬收缩映射给出逆问题的稳定更新(时间线:谱正则化 10-18 已报道)。对介入器械行业:术中影像与 IVUS/OCT 的去噪与重建管线正需要这类「细节保真+收敛可证」的方法。

arxivDenoising Textures is a Different Ballgame Altogether!

纹理去噪完全是另一回事

Saptarshi Mandal, Oindrila Haldar, et al.

SOTA 去噪器在纹理数据集上仅微调可得提升,但会灾难性遗忘原数据集能力;精细图案与重复结构在深度去噪中仍被过度平滑——论证需要专用的纹理感知去噪器服务于下游生成与重建。

arxivLearning Variable Metrics for Convergent Proximal Splitting Algorithms

为收敛近端分裂算法学习变度量

Yodai Suzuki, Shunsuke Ono

每个问题实例只生成少数代表性度量、按归一化迭代指标插值,兼顾「每步调网络太贵」与「无穷序列度量需满足收敛条件」两难;去模糊/补洞实验中多数设置下减少迭代次数并收敛有保证。

arxivData-driven Smooth-to-hard Spectral Regularization for General Linear Inverse Problems

一般线性逆问题的数据驱动平滑-硬谱正则化

Guanzhong Yang, Zi Wang, Guang Yang

logistic 平滑-硬收缩子作为显式饱和谱惩罚的近端映射,精确弱凸性给出唯一缩放更新与近端梯度稳定性保证,以 MRI 为示例(时间线:10-18 已报道,今日作为本话题方法谱系收录)。

✍️ 博客精选

Retiring GPT-5.5 from ChatGPT

OpenAI

GPT-5.5 从 ChatGPT/Work/Codex 退役(API 不受影响),产品线向 GPT-5.6 Sol 收敛;模型更替节奏进一步加快。

Advancing voice intelligence with new models in the API

OpenAI

Whisper 流式语音转文本(边说边转写)与 GPT-Realtime-2 实时语音模型进入 API,语音 Agent 的延迟-成本曲线再下移。

The Situation Report:Claude 参与刚果(金)埃博拉疫情应对

Anthropic

罕见无疫苗毒株在刚果(金)东部传播,国际卫生组织用 Claude 加速疫情响应——前沿模型进入全球公卫实战场景。

💬 社区热议

[HN 131赞/124评] Websites are closing their doors to AI agents

Hacker News

「不欢迎 Agent 的网页」正从个别案例变成平台默认策略,评论区焦点:Agent 经济的繁荣是否必须以被封锁为代价

[HN 238赞/80评] Show HN: Sphinx – A hook that quizzes you on your AI's code before shipping

Hacker News

合并 AI 代码前先「答题」验证人类理解度——把人类复核自动化,与今日封锁主线互补:一边挡机器,一边考人

[HN 86赞/142评] British Airways: Filming Crew W Meta Glasses Could Get Your Tickets Cancelled

Hacker News

航司明令机组成员佩戴 Meta 智能眼镜拍摄或致航班取消——可穿戴 AI 设备的社会接受度争议从「技术」转向「场合规则」

🏭 行业动态

Anthropic 600 亿美元「北极星」芯片融资:420 亿高级债由博通担保

华盛通

1.5GW 谷歌定制 TPU 采购融资,180 亿次级债黑石以 10%+ 票息认购一半;Kroll 给予 BB+(距投资级一档),公司 Q3 营收 168 亿美元环比增近五成、连续两季度调整后盈利。(时间线:昨日已报道融资推进,今日新增结构细节)

本周一级市场 160 起融资超 152 亿元:无问芯穹 23 亿 C 轮居首

财联社创投通

AI 基础设施与算力仍是最热赛道:无问芯穹完成 23 亿元 C 轮,RISC-V+AI CPU 厂商蓝芯算力获近 20 亿元 B 轮;具身智能、AI4S 融资活跃。

中国民企 AI 大模型在全球「圈粉」

中国网/中新社

OpenRouter 统计 2026 年以来中国大模型周调用量稳居全球前列、多头部模型长期霸榜 Token 调用榜单——DeepSeek、通义、Kimi K3、GLM、Step5、豆包集群式出海。

阿里云百炼上线 deepseek-v4.1-flash 推理服务

阿里云

552B MoE、输入激活仅 8B,KV Cache 压至上一代 HBM 的 1/4,支持 1M 上下文与 384K 输出——开源模型发布 48 小时内即入云,国产算力生态卡位加速。

🔥 本周专题线索: 医学AI临床应用(连续7天)· AI治理与监管(连续7天)