本気でSEOをするためのテクニカルSEOツールDeepCrawlの使い方:パート2（クロールの問題を診断する）

テクニカルSEOの分析時間を大幅削減＆クオリティアップするSEOツール「DeepCrawl」の使い方ガイドです。クロール失敗のトラブルシューティングはこの記事で解決しましょう！

2020年7月7日 11:03

※この記事は読者によって投稿されたユーザー投稿のため、編集部の見解や意向と異なる場合があります。
また、編集部はこの内容について正確性を保証できません。

”テクニカルSEOツール「DeepCrawl」の使い方”シリーズパート2、

「クロールエラーまたはクレジットの問題が起きた場合の対処法」についてご紹介いたします。

クロールエラーの発生やクロールで必要な階層に到達するプロセスの問題など、

クロール失敗時のトラブルシューティングへの対処法を覚えておきましょう！

まだパート1（クロールの設定方法）をご覧いただいていない方は是非下記もご一緒にご覧ください。

【過去の記事はこちらから】

＜パート1＞

本気でSEOをするためのテクニカルSEOツール DeepCrawlの使い方パート１ (クロールの設定方法)

失敗したウェブサイトのクロールを修正する方法

サイトのクロールを実行したものの、クロールが進行していない場合があります。この問題には、いくつかの原因とそれに対する解決方法があります。下記の表をご参照ください。

内容	解決法
許可されていないURL	robots.txtファイルを確認する
接続エラーのあるURL	JavaScriptまたはiframeリンクの問題を確認 ※最初のURLにはリンクがありません
接続エラーのあるURL	ブロックされたユーザーエージェントまたはIPアドレス
URLs Returned	不正なベースドメインのプロジェクト設定を確認する
ステータスコード200を返すインデックス可能なURL	詳細設定を確認：含まれているURLの制限robots.txt ファイル

表の項目はrobots.txtファイルに問題がある場合がほとんどです。ファイルの内容によっては、サイト自体がクローラーのアクセスをブロックすることもあります。

DeepCrawlのクローラーは、検索エンジンボットのスパイダーと同じルールに準拠するよう開発されているためrobots.txtファイルによる指示も考慮されます。

そのため、サイトが次のように設定されている場合、最初のページ以降はクロールされません。