Googleが「robots.txt」で共有AIトレーニングコントロールをサポートする計画を発表

米国Googleは、検索エンジンのクローラー(自動巡回プログラム)やAIサービスにウェブサイトのどのページにアクセスしていいか、いけないか伝えるテキストファイル「robots.txt」で、共有AIトレーニングコントロールをサポートする計画を10月30日発表した。ウェブサイトは複数のAIプロバイダに対して、1つのステップでAIトレーニングの設定が表現できるようになる。

サイト運営者はrobots.txtファイルで情報収集を許すか拒否するか決められるものの、AIはrobots.txtを無視する場合もあり、問題になっている。そのためサイト運営者はAIの開発元ごとに個別に管理する必要がある。共有AIトレーニングコントローだと、robots.txt内で共有の「ポリシートークン」の使用で複数のAIプロバイダに幅広い設定が可能になり、負担が軽減する。

ポリシートークンは、AIによるウェブコンテンツの学習や検索、エージェント機能への利用をサイト運営者が制御・指定する仕組み。Googleは、サイト運営者がコンテンツを同社の生成AIの学習などへの使用を拒否するAIトレーニングコントロール「Google-Extended」を提供していて、共有AIトレーニングコントロールはこの設定を基に整備する。2027年のサポートを目指す。