本気でSEOをするためのテクニカルSEOツール DeepCrawlの使い方:パート１ (クロールの設定方法)

GMOTECH（株）はテクニカルSEOツール「DeepCrawl」の使い方ガイドを公開しました。

DeepCrawlでWebサイトを情報収集する方法

ウェブサイトの頻繁かつターゲットを絞ったクロールを実行することは、ウェブサイトの技術的な健全性を改善し、オーガニック検索順位を改善する重要な役割です。このガイドでは、DeepCrawlを使用してWebサイトを効率的かつ効果的にクロールする方法を学ぶことできます。Webサイトをクロールするための6つの手順は次の通りです。

ステップ１：URLソースの構成

DeepCrawlプロジェクトに含めることができるURLソースには6つのタイプがあります。各ソースを戦略的に含むことで効率的かつ包括的なクロールを行うことができます。

1. Webクロール：リンクをより深いレベルに移動して、サイトのみをクロールします。
2. サイトマップ：サイトマップのセット、およびそれらのサイトマップ内のURLをクロールします。これらのページのリンクは追跡もクロールもされません。
3. 分析：分析ソースデータをアップロードし、URLをクロールして、リンクされていない可能性のあるサイト上の追加のランディングページを見つけます。分析データはさまざまなレポートでご利用頂けます。
4. バックリンク：バックリンクのソースデータをアップロードし、URLをクロールして、サイト上のバックリンクを持つ追加のURLを見つけます。バックリンクデータはさまざまなレポートでご利用頂けます。
5. URLリスト：URLの固定リストをクロールします。これらのページのリンクは追跡もクロールもされません。
6. ログファイル：SplunkやLogz.ioのログファイルアナライザーツールからログファイルの概要データをアップロードする

理想としては、Webサイトは完全にクロールする必要があります（サイト上の全てのリンクされたURLを含む）。ただし、非常に大きなWebサイト、または多くのアーキテクチャ上の問題があるサイトは、すぐに完全にクロールできない場合があります。サイトの特定のセクションへのクロールを制限するか、特定のURLパターンを制限する必要のある場合があります

続きは下記からお読みいただけます。

https://www.deepcrawl.jp/knowledge/guides/how-crawl-website-with-deepcrawl/