四家AI公司采用统一爬虫退出标准

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一种新的共享标准：发布方在网站 robots.txt 中写入“policy token”信号，一次向多家 AI 公司声明内容是否可用于 AI 训练，无须逐家设置。各家的落地节奏不同：Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在“未来几个月”内实施。 Microsoft 另称，Microsoft 将提供更细的控制，让发布方可分别选择退出 AI 训练或 AI grounding（把模型指向经核实的来源以减少幻觉）。该信号只在网站与参与这一机制的 AI 提供方之间生效，未参与的提供方不在此列。

AI 根据报道生成 · 6 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。