CloudflareがAIクローラーによるコンテンツの無断スクレイピングをデフォルトで遮断

クラウドサービス事業の米国Cloudflare(クラウドフレア)は7月1日(米国時間)、AI(人工知能)の時代を乗り切るため、AIクローラー(自動巡回プログラム)がインターネット上のコンテンツを無断取得するのをデフォルト(初期設定)でブロックする新方針を発表した。Cloudflareはインターネットのインフラ事業のプロバイダーとして初めて、許可や対価なくコンテンツにアクセスするAIクローラーのデフォルト遮断を打ち出した。

Cloudflareのサービスに新規登録する全ドメインは、AIクローラーのアクセス許可を初期設定時に明示的な選択を求める。サイト所有者は手動でオプトアウト(利用拒否)しなくてもデフォルトでAIクローラーのアクセスを制御でき、許可する場合はいつでも設定を変更可能。サイト運営者はスクレイピング(自動データ取得)の可否を明示的に選択でき、AI企業もクローラーの利用目的(トレーニング・推論・検索など)を明示する必要がある。

CloudflareはAIボット(情報収集プログラム)の識別・認証技術も強化し、制御する新たな識別メカニズムを開発する。こうした取り組みをCondé Nast(コンデナスト)、AP通信、Reddit、Pinterest、BuzzFeed、TIME等メディア・テクノロジー企業が賛同。出版業界やクリエイターから「公正な価値交換の回復」「質の高いジャーナリズムや創造性の保護」など持続可能なデジタルエコシステムへの期待の声が上がっている。

従来、インターネットは検索エンジンがコンテンツをインデックス化し、ユーザーを元サイトに誘導してクリエイターにトラフィックや広告収入をもたらす循環モデルが成立していた。だがAIクローラーは記事や画像を大量収集し、参照元への誘導なしにAI回答生成に利用するため、コンテンツ制作者の収益やモチベーションが失われつつある。Cloudflareはこの現状を「インターネットの未来を危険にさらすもの」と警鐘を鳴らしている。