本気でSEOをするためのテクニカルSEOツールDeepCrawlの使い方:パート2（クロールの問題を診断する）

”テクニカルSEOツール「DeepCrawl」の使い方”シリーズパート2、
「クロールエラーまたはクレジットの問題が起きた場合の対処法」についてご紹介いたします。
クロールエラーの発生やクロールで必要な階層に到達するプロセスの問題など、
クロール失敗時のトラブルシューティングへの対処法を覚えておきましょう！
まだパート1（クロールの設定方法）をご覧いただいていない方は是非下記もご一緒にご覧ください。

【過去の記事はこちらから】

＜パート1＞

本気でSEOをするためのテクニカルSEOツール DeepCrawlの使い方パート１ (クロールの設定方法)

失敗したウェブサイトのクロールを修正する方法

サイトのクロールを実行したものの、クロールが進行していない場合があります。この問題には、いくつかの原因とそれに対する解決方法があります。下記の表をご参照ください。

表の項目はrobots.txtファイルに問題がある場合がほとんどです。ファイルの内容によっては、サイト自体がクローラーのアクセスをブロックすることもあります。
DeepCrawlのクローラーは、検索エンジンボットのスパイダーと同じルールに準拠するよう開発されているためrobots.txtファイルによる指示も考慮されます。
そのため、サイトが次のように設定されている場合、最初のページ以降はクロールされません。

これは、ステージング環境でクロールする場合によく発生します。
クロールが許可されていないということがレポートに表示されます。

DeepCrawlで問題を修正する場合

クロール設定のステップ4の下部にある詳細設定をおこなうことにより、robots.txtファイルを上書きし、ブロックされたURLへのDeepCrawlアクセスを許可することができます。
下記の設定を追加することにより、DeepCrawlは実際のファイルではなく設定されたルールに従うようになります。

続きは以下よりお読みいただけます。

失敗したウェブサイトのクロールを修正する方法

記事内では下記の内容についても記載しております。

・JavaScriptまたはiframeリンク

・最初のURLにリンクが存在しない

・ユーザーエージェントまたはIPアドレスがブロックされる

・クロール設定

・不正なベースドメイン