本気でSEOをするためのテクニカルSEOツールDeepCrawlの使い方:パート2(クロールの問題を診断する)

テクニカルSEOの分析時間を大幅削減&クオリティアップするSEOツール「DeepCrawl」の使い方ガイドです。 クロール失敗のトラブルシューティングはこの記事で解決しましょう!
よろしければこちらもご覧ください

”テクニカルSEOツール「DeepCrawl」の使い方”シリーズパート2、
「クロールエラーまたはクレジットの問題が起きた場合の対処法」についてご紹介いたします。
クロールエラーの発生やクロールで必要な階層に到達するプロセスの問題など、
クロール失敗時のトラブルシューティングへの対処法を覚えておきましょう!
まだパート1(クロールの設定方法)をご覧いただいていない方は是非下記もご一緒にご覧ください。

【過去の記事はこちらから】

<パート1>

本気でSEOをするためのテクニカルSEOツール DeepCrawlの使い方パート1 (クロールの設定方法)

失敗したウェブサイトのクロールを修正する方法

 

サイトのクロールを実行したものの、クロールが進行していない場合があります。この問題には、いくつかの原因とそれに対する解決方法があります。下記の表をご参照ください。

内容

解決法

許可されていないURL

robots.txtファイルを確認する

接続エラーのあるURL

JavaScriptまたはiframeリンクの問題を確認

※最初のURLにはリンクがありません

接続エラーのあるURL

ブロックされたユーザーエージェントまたはIPアドレス

URLs Returned

不正なベースドメインのプロジェクト設定を確認する

ステータスコード200を返すインデックス可能なURL

詳細設定を確認:含まれているURLの制限robots.txt ファイル

表の項目はrobots.txtファイルに問題がある場合がほとんどです。ファイルの内容によっては、サイト自体がクローラーのアクセスをブロックすることもあります。
DeepCrawlのクローラーは、検索エンジンボットのスパイダーと同じルールに準拠するよう開発されているためrobots.txtファイルによる指示も考慮されます。
そのため、サイトが次のように設定されている場合、最初のページ以降はクロールされません。

        

これは、ステージング環境でクロールする場合によく発生します。
クロールが許可されていないということがレポートに表示されます。

DeepCrawlで問題を修正する場合

クロール設定のステップ4の下部にある詳細設定をおこなうことにより、robots.txtファイルを上書きし、ブロックされたURLへのDeepCrawlアクセスを許可することができます。
下記の設定を追加することにより、DeepCrawlは実際のファイルではなく設定されたルールに従うようになります。

 

         

         

続きは以下よりお読みいただけます。

失敗したウェブサイトのクロールを修正する方法

記事内では下記の内容についても記載しております。

・JavaScriptまたはiframeリンク

・最初のURLにリンクが存在しない

・ユーザーエージェントまたはIPアドレスがブロックされる

・クロール設定

・不正なベースドメイン

よろしければこちらもご覧ください
この記事が役に立ったらシェア!
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやデジタルマーケの最新情報をゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く

Web業界の転職情報

もっと見る
Sponsored by

人気記事トップ10(過去7日間)

今日の用語

パーミッション
もとは「許諾」を意味する言葉。Webの世界では、サーバー上でのアクセス権を表す場 ...→用語集へ

連載/特集コーナーから探す

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]