OpenAI、Google、Microsoft、Anthropicが、AI学習用データの収集を拒否するための共通標準を導入する。The Vergeが10月31日(現地時間)に報じた。
これまでWebサイト運営者は、自社コンテンツのAI学習利用を認めるかどうかについて、AI企業ごとに個別に対応する必要があった。新たな標準では、1回の設定で複数の企業に同時に適用できるようになる。
この標準は、Anthropicの標準化担当テクニカルリード、ケビン・ケリー氏がIETFに提案したもの。AI学習への利用を拒否する意思を、複数のAI企業に一括で示す共通シグナルとして機能するという。
OpenAI、Google、Microsoft、Anthropicは、このトークンを検出した場合、自社のAIクローラーによる収集を停止するとしている。対応時期は各社で異なり、Anthropicはすでに準拠済み。GoogleとMicrosoftは来年から、OpenAIは数か月以内の適用を予定している。
Metaの広報責任者であるアンディ・ストーン氏も支持を表明した。ただ、Metaがこの標準に準拠するかどうかは明らかにしていない。
Microsoftはこれとは別に、AI学習用途に加え、ハルシネーションの抑制を目的としてAIモデルが検証済みの情報源を参照する「グラウンディング(grounding)」についても、個別に拒否できる設定を提供する。
パブリッシャー各社は、増え続けるAIクローラーへの対応を進めてきた。クローラーによる収集に課金するRSL標準が登場したほか、CloudflareはAIクローラーをデフォルトで遮断している。