Cloudflareは9月18日、検索結果での表示は維持したまま、AI学習用途のクロールだけを拒否できる新機能「Disallow AI Training」の提供を開始したと発表した。あわせて、AIクローラー運営者を対象とする「責任ある運営者」の指定制度も導入した。
同社はこれまで、Webサイトの運営者や権利者が、自らのコンテンツがAIにどう利用されるかを直接管理できるべきだとの立場を示し、クローラー運営者が継続的にアクセスするための要件を提示してきた。
今回、「責任ある運営者」に指定されたのはApple、Google、Microsoftの3社。Cloudflareによると、3社はいずれも同社の基準を満たしたか、基準を満たすための具体的な実施日程を示したという。
この3社以外が運営するクローラーについては、サイト運営者が「Block Training」を設定した場合、AI学習目的のアクセスが遮断される。
Cloudflareの説明では、検索とAI学習の両方に利用されるクローラーは、同社ネットワーク上のクローラートラフィック全体の36.6％を占める。一方で、検索クローラーを遮断しているサイトは1％未満にとどまるのに対し、AI学習を制限しているサイトは17％に達するという。
共同創業者兼CEOのマシュー・プリンス氏は、「Webを作る人々や企業が、自ら生み出したコンテンツの使われ方を実質的にコントロールできるようにすることが、インターネットをより良い場所にする」とコメントした。そのうえで、「こうした企業との協力を今後も続けていく」と述べた。
また、Cloudflareが「責任ある運営者」に指定する事業者には、サイト運営者がAI要約を拒否できる設定を用意することも求める。現時점では、サイト運営者が事業者ごとに個別設定する必要があるが、Cloudflareは来年初めまでに、こうした設定を一元管理できるようにする方針だ。
Chi-gyu Hwang
delight@d-today.co.kr