海外&国内SEO情報ウォッチ

クロール問題の根本原因分析と対策

この記事の目次：

グーグル検索SEO情報②

クロール問題の根本原因分析と対策
テクニカルSEOにおける主要な課題（Search Off the Record）海外情報

グーグル検索チームのゲイリー・イリース氏とマーティン・スプリット氏が、「クロールの問題を報告する」フォームを通じて2025年に送信された問題を元にディスカッションした。

クロールの非効率性およびクロール空間の爆発的増大の根本原因を分類している。調査結果によると、クロールの問題の大部分は、特に「ECサイトにおけるURLパターン設計とパラメータの取り扱い」に起因しているという。

分類されたクロールの問題の概要をまとめる。

ファセットナビゲーション（報告の約50%）

クロール問題の最大の発生源。
フィルタリングと並び替えの組み合わせにより、膨大なURLの順列が生成される問題。
クローラーはその価値を判断する前に、これらのURL空間の大部分を探索しなければならない。
クロールレートが調整される前にサーバーに過負荷をかける可能性がある。

ベストプラクティス

robots.txtを使用して問題のあるパラメータパターンをdisallowする。
クロール可能なフィルタの組み合わせを慎重に制御する。
サーバーのアクセスログを監視して、異常なクロール挙動を検出する。

アクションパラメータ（約25%）

状態ではなく行動を示すパラメータ（URL query）をURLに含む場合に発生する問題。たとえば次のような行動がある：
- カートに追加
- ウィッシュリストに追加
- プロフィールの更新
GETリクエストで実装された場合、クローラーがこれを辿ることができるため、アクションパラメータが追加されるたびにURL空間が乗算的に増加する（例：「カートに追加」と「ウィッシュリストに追加」を両方追加するとクロールすべきURLが3倍になる）。
CMSプラグイン（たとえばWooCommerceや類似のECプラグイン）によって発生することが多い。
WooCommerceは報告された問題に迅速に対応したが、少なくとも1つの別のプラグインの問題は報告時点で未解決のままだった。

ベストプラクティス

クロール可能なURL（GETメソッド）による状態変更アクションを避ける。
適切な場合は、クロールされない方法（たとえばPOSTリクエスト）を使用する。
必要に応じてrobots.txtでブロックする。

無関係なパラメータ（約10%）

セッションIDやトラッキングパラメータ（例：UTMパラメータ）をURLに含む場合に発生する問題。
グーグルは既知のパラメータを適切に処理する。
パラメータの命名が曖昧または略称（例：s=）の場合に問題が生じる。そのパラメータがコンテンツに影響するかどうかをクローラーが判断できないためである。

ベストプラクティス

セッションIDをURLから完全に排除する（昨今ではセッションベースのトラッキングは時代遅れとみなされている）。
明確でわかりやすいパラメータ名を使用する。
不要なパラメータはrobots.txtでブロックする。

カレンダーやイベントの無限空間（約5%）

カレンダーページが無制限の日付の組み合わせに対してURLを生成する問題。
一部のプラグインは、サイト上のすべてのパスにわたってクロール可能な無限空間を生成する。
ソフト404の検出が見えにくくなっており、クローラーが無効な空間を認識できない場合に特に問題となる。
商用（オープンソースでない）プラグインは、バグ報告ができずコードを直接修正できないため、さらに課題をもたらす。

ベストプラクティス

robots.txtでカレンダーのパターンをdisallowする。
可能な場合はプラグインの動作を修正し、プラグイン開発者に連絡する。
境界のない日付ベースのURLの生成を避ける。

その他の技術的な問題（約2%）

その他の問題には、たとえば「URLの二重パーセントエンコーディング」などが挙げられる：

システムやプラグイン間のエンコーディングの不整合が原因で発生することが多い（例：すでにエンコードされたURLを再エンコードするプラグイン）。
無効または意図しないURLのクロールにつながる場合があり、不整合なエンコーディングでコンテンツがデータベースに保存された後は、検出と修正が困難になることがある。
コンテンツパイプライン全体を通じて、慎重なURLの取り扱いと検証が必要。

◇◇◇

クロール空間の管理は、テクニカルSEOにおける主要な課題であり続けており、特にECプラットフォームは他と比べて不釣り合いなほど大きな影響を受けているとのことだ。問題の多くはサードパーティのプラグインに起因しているため、サイトごとの回避策よりも、プラグイン開発者へのバグ報告といった上流での修正のほうがスケーラブルな対応策となる。

robots.txtは依然として実用的な最初の防衛手段だ。そのうまい活用法を知りたければ、Googleのサイトで使っているrobots.txtがパラメータ処理パターンのリファレンスとして活用できる。

また、サーバー負荷が深刻になる前に異常なクロール挙動を診断するうえで、サーバーアクセスログファイルの分析は欠かせない。

個々のサイトごとの回避策に頼るよりも、プラットフォームレベルでの修正を優先することが、より広範な問題解決につながる。

★★★★☆

SEOがんばってる人用（ふつうの人は気にしなくていい）

SCの新機能はどこ行った？まだ使えていないんだが
発表したもののいまだ限定公開（John Mueller on LinkedIn）海外情報

Search Consoleに4つの新機能が公開されたのが、2025年終盤。今年最初のこのコーナーの記事で紹介したとおりだ。新機能は次のようなものだった：

ブランドクエリフィルタ
AI分析
ソーシャルチャンネル
週・月単位のビュー

このうち、4つ目の「週・月単位のビュー」だけしか利用できていなかった人が大半ではないだろうか？発表されたものの、他の3つの機能は全ユーザーにリリースされたわけではなかったようだ。

AI分析（正式名称は「AIを活用した構成」）は、ようやく全ユーザーが使えるようになった。Google Search Centralの公式アカウントがリンクトインでアナウンスしている。

Search Consoleの新しいAI搭載設定が、すべてのユーザーに利用いただけるようになりました！もうお試しになりましたか？まだの場合は、こちらの例を参考にぜひ始めてみてください。詳しくは https://lnkd.in/djm6_awF をご覧ください。

「ブランドクエリフィルタ」と「ソーシャルチャンネル」に関しては、まだ少数グループへの限定的な試験公開にとどまっているらしい。ジョン・ミューラー氏が次のようにコメントしている：

この2つはどちらも、もう少し時間がかかる予定だ。すべてのユーザーにとってきちんと機能するよう、現在取り組んでいる。フィードバックを収集し、より広くリリースする前に機能やデータを改善・反復できるよう、段階的にゆっくりと機能をリリースすることがある。

期待させておいて肩透かしを食らったように感じてしまうが、より良い機能として完成度が高まるのならば、待つ甲斐がありそうだ。

★★★☆☆

SEOがんばってる人用（ふつうの人は気にしなくていい）

検索トラフィックが減っても読者は増やせる。Atlanticoが証明した「直接訪問」の力
UX改善の投資が読者を呼ぶ（Duncan Hooper on LinkedIn）海外情報

ニュースサイトを中心に、検索トラフィックが減少しているサイトは少なくない。そうした状況で、サイト管理者はどうすればいいのだろうか？

フランスのデジタルニュースパブリッシャーAtlantico（アトランティコ）の役員であるダンカン・フーパー氏が、リンクトインで次のような投稿をしていた：

ニュースサイトへの検索トラフィックは減少している。しかし、それは「ニュースへの関心が薄れている」ことを意味するわけではない。
過去12か月間、私はアトランティコのオーディエンス拡大に取り組んできた（ジャン＝セバスチャン・フェルジュ氏、エヴォノミクス、ジラファ・インク、インパクトゥムとともに）。
と言っても、有料による獲得施策に頼ったわけではない。アルゴリズムを推測しながら動いたわけでもない。
では、何をしたのか？サイトを改善し、読者を最優先にする施策を進めたのだ。たとえば、次のようなことだ：
✅サブスクリプションへの導線に集中するため、質の低い広告を排除した。
✅読み込み速度を改善した。
✅優れた読書体験を軸にUXを刷新した。
✅パーソナライズされた体験を念頭に、レコメンドのロジックと表示位置を再構築した。
✅登録・ログインのプロセスを改善した。
✅ジャーナリズムとジャーナリストに投資した。
✅すばらしい専門家寄稿者のネットワークを活用した。
✅長文の書き物コンテンツに忠実であり続けた。
もちろん、検索やソーシャル、そして好評のニュースレターを通じて、より多くのオーディエンスにリーチしたいとも思っている。それが私たちの次のステップだ。しかしまず、すでに訪れてくれている人たちに集中することを選んだ。
そして結果は明らかだ。読者たちはAIチャットボットにも、ソーシャルネットワークにも、グーグルにさえも頼っていない。彼らは直接アトランティコを訪れるのだ。

グラフは、青ラインが直接トラフィック、緑ラインが検索トラフィック。当初はほぼ同じだったが、現在は直接トラフィックが3倍近く多い。数値も4倍以上に伸びている（検索トラフィックは微増）

アトランティコの事例から次のようなことが学べる：

トラフィックより体験を優先する ―― 流入を増やす前に、すでにいる読者を満足させることが先決。
アルゴリズムに依存しない ―― SEOやSNSのアルゴリズムに振り回されるより、自分たちでコントロールできる要素に投資する方が持続的。
「直接訪問」こそ最強の指標 ―― ダイレクトアクセスが増えることは、ブランドへの信頼と習慣的な利用の証明。
質への投資が結果につながる ―― 広告費や有料獲得ではなく、UX・速度・コンテンツの質といった地道な改善が長期的に効く。
読者を「数字」ではなく「人」として扱う ―― パーソナライズや読書体験へのこだわりは、読者を大切にする姿勢の表れ。

AIチャットやゼロクリックなどの影響で検索トラフィック減少を憂いているパブリッシャーには参考になるはずだ

★★★★☆

すべてのパブリッシャー担当者必見！

サイト移行で発生するありがちなトラブル×8
移転時には要注意（Mark Williams-Cook on LinkedIn）海外情報

SEOエキスパートのマーク・ウィリアムズ＝クック氏による、「#おせっかいなSEOアドバイス」というハッシュタグが付いたリンクトインの投稿を紹介する。サイト移行で発生するありがちなトラブルを列挙したものだ。

100件以上のウェブサイト移行を経験して見てきて、よくあるミスをまとめてみた。
📉バックリンクのある非正規URL（マーケティングパラメータ付きなど）のリダイレクトを設定しない
📉URLが大文字・小文字を区別することに気づかず、リダイレクトが壊れる
📉グローバルサイトをgTLDではなくccTLDに移行する
📉画像を移行しない
📉リンクのあるアセット（PDFなど）を移行またはリダイレクトしない
📉新サイトのリンク構造で、トラフィックの多いページを「下層」に移動する
📉良質なリンクを持つ「非商業的」URLを削除して404になるまま放置する
📉最大のミスは、「noindex」を付けたまま公開することだ！
このリストにほかに追加するとしたら？

たしかに、たびたび耳にするものが多い。サイト移転時にはくれぐれも気をつけよう。

★★★★☆

SEOがんばってる人用（ふつうの人は気にしなくていい）
技術がわかる人に伝えましょう

AIにコンテンツを書かせて問題ないかのシンプルな判断基準
自分だったら読みたいか、読みたくないか（Mark Williams-Cook on LinkedIn）海外情報

マーク・ウィリアムズ＝クック氏による、「#おせっかいなSEOアドバイス」をもう1つ紹介する。こちらは、

AI（LLM）に頼って書くべきでないケース
AIに頼って記事を書いて問題ないケース

の見極め方を解説するものだ；

AIを使ってコンテンツを最初から最後まで書いてもいいか、どうやって判断すればいいのか？私はそのためのシンプルな判断基準を1つ持っている。次の問いかけだ：
読者は、自分が読んでいるものがAIによって書かれたと知ったら、がっかりするだろうか？
もし答えが「イエス」なら、それはAIをそのような形で使うべきではない、という最も強いシグナルの1つだ。
2つの例を挙げる：
😒「専門家が書いた」とアピールしているSEOガイド ―― NG
AIが書いたと知ったら、私は読むのをやめるだろう（自分でAIに聞けばいいだけ！）。これはAIを使うべきでないケースの一例だ。
😁ある製品に寄せられた2,600件のレビューの要約 ―― OK
これは最高だ！ AIが作成したことは気にならないし、すばらしい活用事例だ。製品について平均的に何が好まれ、何が不満とされているかを確認できるのは、私にとって役立つ。人間が書いていなくても、まったく問題ない。

良い判断基準だと感じる。筆者もLLMに記事を丸ごと書かせることは絶対にしない。しかし、要約には便利に利用している（このコラムの執筆にもお世話になっている！ただし自身によるレビューももちろん実行している）。

★★★★★