The Verge当地时间10月31日报道称，OpenAI、Google、Microsoft和Anthropic正计划推出一项统一标准，让网站能够明确拒绝其内容被抓取用于AI训练。
在此之前，网站运营者若希望限制内容被用于AI训练，通常需要逐一通知不同的AI公司。新标准落地后，网站只需完成一次设置，即可同时对多家公司生效。
据报道，这一标准由Anthropic标准事务技术负责人Kevin Kelly提交至互联网工程任务组（IETF）。其本质上是一种通用信号，网站可借此一次性向多家AI公司表明“不允许用于AI训练抓取”的意愿。
OpenAI、Google、Microsoft和Anthropic表示，在识别到这一信号后，将停止抓取相关网站内容用于AI训练。具体推进节奏并不一致：Anthropic已经开始执行；Google和Microsoft计划从明年起跟进；OpenAI则计划在未来数月内上线相关支持。
Meta传播负责人Andy Stone也公开表示支持这一标准，但并未说明Meta是否会正式采纳。
此外，Microsoft还将提供更细化的设置选项，允许网站分别选择拒绝用于AI训练的抓取，或拒绝用于AI grounding（落地校验）的抓取。所谓AI grounding，是指让AI模型引用经验证的信息源，以降低“幻觉”问题的流程。
随着面向AI训练的爬虫抓取持续增加，出版机构也在采取不同方式应对。目前，市场上已出现RSL等可向爬虫收费的方案，Cloudflare则已默认拦截AI爬虫。
记者信息
Chi-gyu Hwang (황치규)
delight@d-today.co.kr