OpenAI、Google、微软、Anthropic 支持网站以统一信号退出 AI 抓取
摘要
四家头部 AI 公司表示将采纳一项统一标准,让网站发布方可以通过 robots.txt 中的共享 "policy token" 一次性向多家 AI 公司声明是否允许其内容被用于 AI 训练与抓取。
核心要点
- 表态方为 OpenAI、Google、Microsoft、Anthropic 四家,均称将采纳该新标准。
- 核心变化是"一次声明、多家生效":发布方无需再逐家向不同 AI 公司单独设置退出。
- 技术载体是共享的 "policy token" 信号,落在网站根目录既有的 robots.txt 文件里,不引入全新协议入口。
- 提案人 Kevin Kelley 是 Anthropic 的标准技术负责人,提案提交至互联网工程任务组(IETF)这一标准组织渠道。
- 消息最早由 Search Engine Roundtable 报道,The Verge 随后转述。
原文佐证
- OpenAI, Google, Microsoft, and Anthropic say they will adopt a new standard that publishers can use to opt out of being scraped by AI
- With this control, publishers can apply their AI training preferences across multiple AI companies, instead of setting them individually.
- The shared "policy token" signal is proposed by Kevin Kelley, a technical lead for standards at Anthropic, as part of the Internet Engineering Task Force (IETF).
AI 洞察
把退出机制收敛到 robots.txt 这类既有、可机读的位置,实质上是在给"AI 训练数据授权"建立低成本的公共表达层——发布方不必再和每家模型厂商单独博弈,交易成本大幅下降。但 opt-out 的默认逻辑仍是"未声明即允许抓取",标准化很可能先固化既成的抓取事实,再谈补偿,弱方议价空间未必改善。往后看,policy token 有条件扩展成带许可条款、计费维度的机器可读协议,它可能成为 AI 数据授权与合规市场的基础设施,也会成为监管追问"训练数据是否合法"时的技术抓手。