Cloudflare于18日宣布，推出针对AI爬虫的“可追责爬虫运营方”机制，并同步上线“Disallow AI Training”功能。借助这一功能，网站可在保留搜索引擎收录的同时，禁止内容被用于AI训练。
Cloudflare表示，公司此前一直主张，网站所有者应当能够直接决定其内容被AI如何使用，并可为爬虫运营方持续访问网站设定条件。随着这项机制正式推出，Apple、Google、Microsoft已被纳入“可追责爬虫运营方”名单。Cloudflare称，上述企业已经满足相关标准，或已明确给出达标时间表。
除Apple、Google、Microsoft之外，其他爬虫在网站所有者启用“Block Training”设置后将被拦截。
根据Cloudflare披露的数据，同时用于搜索和AI训练的“混合用途”爬虫，在其网络中的爬虫流量占比为36.6%。目前，屏蔽搜索爬虫的网站占比不足1%，而限制AI训练的网站占比已达到17%。
Cloudflare联合创始人兼CEO Matthew Prince表示，让个人和企业真正掌握其网页内容的使用方式，将有助于改善互联网生态，Cloudflare也将继续与相关企业展开合作。
按照Cloudflare的要求，被认定为“可追责爬虫运营方”的机构，需要向网站所有者提供拒绝用于AI训练的选项。目前，网站所有者仍需针对不同运营方分别进行设置。Cloudflare计划在明年初前推出集中管理能力，使相关设置能够通过统一入口完成管理。
记者信息
Chi-gyu Hwang
delight@d-today.co.kr