【SEOクイズ】Googlebotがrobots.txtを無視してクロールすることはあるか？

グーグル検索SEO情報②

【SEOクイズ】Googlebotがrobots.txtを無視してクロールすることはあるか？
robots.txtとRSS/Atom （John Mueller on Twitter） 海外情報

ひさしぶりのSEOクイズだ。

Googlebotがrobots.txtを無視してクロールすることはあるか？

あるとしたら、どんな状況でどんなコンテンツが対象か？

Googlebotはrobots.txtに忠実に従う。robots.txtでクロールを拒否されているURLにはアクセスしない ―― 原則として。

クイズの正解は次のとおりだ：

robots.txtを無視してクロールすることはある。

その対象は次のとおり：

• robots.txt
• （サイトが送信した）RSSフィードやAtomフィード

検索エンジンのクローラはクロールする際には、まずrobots.txtを参照しクロールがブロックされているURLがあるかどうかを確認する。そのため、/robots.txt自体へのアクセスは暗黙的に許可されていると仕様で定めている。

この挙動はグーグルのrobots.txtテスターでも確認できる。

robots.txt自体のクロールを拒否する内容でも、robots.txtへのクローラアクセスはブロックされない

RSSフィードとAtomフィードに関しては、ユーザーが明示的に送信したということはクロールしてほしいという意思表示なのでrobots.txtのブロックに従わないのだろうと推測する。

いずれにしてもちょっとしたうんちくだ。

noindexページの再インデックス促進には内部リンクが役立つ
重要なページからリンクする （Google SEO office-hours） 海外情報

しばらくの間noindexを設定していたページは、noindexを解除してもインデックスに戻るまでに時間がかかることがある。クロール頻度が落ちているためだ（加えて、noindexがなくなったことの確証を得るために数回のクロールが必要なのかもしれない）。

再インデックスを早めるためにできることとして、重要なページからの内部リンクをグーグルのジョン・ミューラー氏が提案している。

インデックスを早めたいページへ、グーグルが重要視していると思われるページから内部リンクを張るのだ。こうしたリンク元としてわかりやすいのは、たとえばトップページだろう。

こうすることで次のような効果を期待できる：

• クロール対象のURLをグーグルがすぐに発見できる
• 重要なページからリンクされているので、リンク先ページも重要だとみなしてもらえる

noindexページを再インデックスさせる状況になったときに試してみるといい。

11月のポリシーオフィスアワー: URL変更でアクセス減、YMYLに属するカテゴリ、公的サイトの中古ドメインほか
今回もボリューム満点の質問数 （グーグル ポリシー オフィスアワー on YouTube） 国内情報

11月のポリシー オフィスアワーを、グーグルの金谷氏とあんな氏が開催した。

検索関連の質問は次のとおりだ：

• インデックス登録されない（3:17）
• 適切なレポートタイプ（20:02）
• URL 変更で掲載順位・アクセス数の激減（23:07）
• robots.txt でのクロールをブロックする（24:45）
• ブラウザ情報からのクロール・インデックス（27:01）
• タイトル書き換えと検索結果除外の関係（28:27）
• MFI でモバイル版のみディスプレイ非表示（31:48）
• URL 内の「&」と「&」表記の区別（34:36）
• ローカル検索 Search Console の掲載順位（35:46）
• 多言語サイトのインデックスと評価（38:05）
• YMYL に属するカテゴリは何か（39:36）
• Google は動的 URL を推奨しているのか（41:58）
• ユーザーとGooglebot で異なるステータスコード（43:13）
• Discover レポートに Chrome データを表示（44:03）
• 透過 PNG 画像の背景が黒くなる（45:04）
• レビュー リッチリザルト投稿者の文字数制限（45:58）
• リダイレクト廃止後の処置（46:31）
• AMP を導入するメリット （50:33）
• ハングルの検索文字列を指定した大量クロール（52:20）
• 検索パフォーマンスにて数字の乖離（54:50）
• 公的サイトの中古ドメイン活用への対策（56:05）
• rel="nofollow" を付けた方がよい場合は（56:47）
• 著作情報の記載方法（57:10）
• しごと検索で求人が表示されない（57:57）
• URL 正規化の仕様確認（58:33）
• Discover に表示される記事広告の影響（59:16）
• 大規模サイトに関連のない記事が上位表示（1:00:21）

パブリッシャーポリシー関連の質問も1つあった：

• 他からコピーされたコンテンツ（1:02:25）

10月に続いて今回もボリュームたっぷりの質問数だ。なかには興味深い質問もある。

気になる質問の回答をすぐにチェックできるように再生場所に直接リンクしている。全体を通して視聴したい人向けに録画を埋め込んでおく。

WPのウェブストーリー プラグインが日本語で使えるようになった
ウェブストーリーに挑戦してみよう （きらきら☆あんなたん on ツイッター） 国内情報

ウェブストーリーを作成できる、WordPressのグーグル公式プラグインが日本語化されたそうだ（まだ100%ではないようだが）。

管理画面を覗くと、たしかにメニューが日本語になっていた。

ウェブストーリー プラグインの管理画面

ウェブストーリー公式プラグインは、WYSIWYG形式で実際の表示に近いものを見ながら作成できるのが特徴だ。ウェブストーリーを構成するためのAMP HTMLをコーディングしなくていい。

今どきのスマホユーザーはストーリーフォーマットのコンテンツを好むというデータもある。WordPressでサイトを運用しているなら、日本語化されたウェブストーリー プラグインでオリジナルストーリーを作ってみてはどうだろうか？

優れたウェブストーリーを作成するためのベストプラクティスもグーグルは公開しているので、作成の際には参考にするといいだろう。

白の背景に白のロゴはNG、グーグルが注意喚起
同化して見づらくなる （グーグル 検索セントラル） 国内情報

真っ白な背景で、ロゴ画像が意図したように確実に表示されるようにします。たとえば、ロゴがほとんど白か灰色だと、白の背景では想定していたようには表示されないかもしれません。

こんな注意書きが、ロゴの構造化データのドキュメント（の英語版）に追加された。

ロゴのデザインにおいては、

• あなたのサイト上で表示されるとき

だけでなく、

• グーグルの各種サービスで表示されるとき

のことも考慮するべきだということを表している。

構造化データで指定したロゴがグーグルのサービス上で表示される場合、ページの背景は白であることが多い。ロゴの大部分が白や白に近い色だと、ロゴと背景が同化してしまい認識しにくくなる。白とのコントラストが効いたカラーのロゴが好ましい。

ロゴ構造化データでマークアップしているサイトは、指定した自社のロゴが白背景でどのように表示されるかを確認しておこう。

同じことが、モバイル検索で表示されるファビコンにも言える。白背景の検索結果でも視認性を保てるようにしたい（ダークモードの検索結果が提供されているので、黒系のファビコンも避けたほうが無難かもしれない）

モバイル検索に表示されるファビコンも、グーグルのサービス上で表示されたときの背景色とのバランスを考えてデザインしたい

海外SEO情報ブログの
掲載記事からピックアップ

グーグルのインデックス状況とアルゴリズム更新に関するトピックをピックアップ。

• Googleにインデックスされないのは品質の水準が以前よりも厳しくなったためか？

  インデックスするに値するコンテンツだけをインデックスする

  ★★★★★

  • すべてのWeb担当者 必見！
• 【December 2021 Product Reviews Update】商品レビューに関するアップデートの2021年12月版をGoogleが実施

  英語コンテンツのみ

  ★★★☆☆

  • SEOがんばってる人用（ふつうの人は気にしなくていい）