Googleが警告：​​偽のGooglebotトラフィックに注意 | SEO Japan

この記事は、2024年12月16日に Search Engine Journal で公開された  Matt G. Southern氏の「Google Warns: Beware Of Fake Googlebot Traffic」を翻訳したものです。

1. 多くのウェブクローラーがGooglebotを装っています。これにより、ウェブサイトの分析結果が歪められたり、サーバーリソースが無駄に消費されたりする可能性があります。
2. 実際のGooglebotトラフィックは、Search Consoleやリッチリザルト テストなどのGoogleツールを使用して確認できます。
3. サーバーの応答やエラーパターンを監視することで、問題のあるクローラーを特定することも可能です。

GoogleのデベロッパーアドボケートであるMartin Splitt氏は、Googlebotを装ったリクエストの多くが実際にはサードパーティのスクレイパーによるものであることを指摘しています。彼は、「Googlebotであると主張するすべてのものが、実際にGooglebotであるとは限らない」と述べ、ウェブサイト所有者に注意を促しました。

偽のクローラーは分析を歪め、リソースを消費し、サイトのパフォーマンスを正確に評価することを困難にする可能性があります。

正当な Googlebot トラフィックと偽のクローラー アクティビティを区別する方法は次のとおりです。

異常なリクエストではなく、全体的なトラフィックパターンを確認することで、正規のGooglebotトラフィックと偽のクローラーを区別できます。
正規のGooglebotトラフィックは、リクエストの頻度、タイミング、動作が一貫しているという特徴があります。

偽の Googlebot アクティビティが疑われる場合、Splitt 氏は次の Google ツールを使用して検証することを推奨しています。

• ページにレンダリングされた特定のコンテンツが確認できれば、Googlebotが正常にアクセスしていることがわかります。
• ライブテスト機能を使って、現在のアクセス状況をリアルタイムでチェック可能です。

• Googlebot アクセスの代替検証方法として機能します。
• Googlebotがページをどのようにレンダリングしているかを確認できる。
• Search Consoleにログインせずに使用可能。

• 検証済みのGooglebotリクエストに基づいた詳細なサーバー応答データを表示します。
• 正当なGooglebotの動作パターンを特定するのに役立ちます。

これらのツールは、Googlebotが何を見て何を実行しているかを検証するためのものです。ただし、サーバーログ内で偽装しているクローラーを直接特定することはできません。

1. サーバーログをGoogleの公式IP範囲と照合する。
2. 逆DNSルックアップを使用して検証を行う。
3. 上記のGoogleツールを活用して、Googlebotの正当な動作基準を確立する。

これらの対策を実施することで、偽のGooglebotによる影響を最小限に抑えることができます。

Martin Splitt氏は、Googlebotによるクロール要求に対するサーバー応答の監視が重要であると強調しています。
特に注意すべき点は以下の通りです：

• 500番台のエラー
• フェッチエラー
• タイムアウト
• DNSの問題

これらの問題は、大規模なウェブサイト（数百万ページをホストするサイトなど）のクローリング効率や検索の可視性に重大な影響を及ぼす可能性があります。

Splitt氏は次のように述べています：

「サーバーがGooglebotに返した応答、特に500エラーの数、フェッチエラー、タイムアウト、DNS問題には注意してください。」

一部のエラーは一時的である場合もありますが、永続的な問題が確認された場合は、さらなる調査が必要です。

また、Splitt氏は高度な診断を行うためのサーバーログ分析の重要性を指摘しました。サーバーログ分析は簡単な作業ではありませんが、価値のある手段です。彼は以下のように述べています：
「Webサーバーのログを見ることは、サーバー上で何が起こっているかを理解するための強力な手段です。」
参照: Chrome、Edge、Safari、Firefox でユーザーエージェントを変更する方法

偽のGooglebotトラフィックはセキュリティ問題だけでなく、以下のようにウェブサイトのパフォーマンスやSEO施策にも影響を与える可能性があります。

Splitt氏は、ブラウザでウェブサイトにアクセス可能であっても、それがGooglebotのアクセスを保証するものではないと強調しています。また、次のような潜在的な障壁も挙げています。

• Robots.txtの制限
• ファイアウォールの設定
• ボット保護システム
• ネットワークルーティングの問題

偽のGooglebotトラフィックは厄介な問題ですが、通常は稀なケースであり、過度に心配する必要はないとSplitt氏は述べています。ただし、以下のような問題が発生した場合には適切な対策が求められます。

偽のクローラーのアクティビティが問題になったり、サーバーのパワーを過剰に消費したりしたとします。その場合、リクエストのレートを制限したり、特定の IP アドレスをブロックしたり、より優れたボット検出方法を使用したりといった対策を講じることができます。

このトピックの詳細については、以下の動画を参照ください。：

Google SEO Made Easy: Fake Googlebot Traffic