国内&海外SEO情報ウォッチ 「海外SEO情報ブログ」の鈴木 謙一氏が、日本と海外の検索マーケティング情報をさらっとまとめて毎週金曜日にお届け。
海外&国内SEO情報ウォッチ

モバイル用Googlebotはrobots.txtを変えても認識するのが遅い

ページ

海外のSEO/SEM情報を日本語でピックアップ

モバイル用Googlebotはrobots.txtを変えても認識するのが遅い
MFI後はどうなる? (John Mueller on Twitter)

「robots.txtを修正しても、モバイルのGooglebotが認識してくれない」というトラブルが起きているようだ。

英語版のグーグル公式ヘルプフォーラムで次のような質問の投稿があった。

モバイル検索結果で、「この結果の説明は、このサイトの robots.txt により表示されません」と表示されてしまいます。PCからの検索結果には表示されません。

今はrobots.txtでは何もブロックしていません。

サイトはレスポンシブ ウェブ デザインで構成しています。PC検索では正常に表示されるのに、モバイル検索では依然としてブロックされたままなのはどうしてでしょうか?

どうやら、質問者は最近までrobots.txtでURLをブロックしていたようで、ブロックを解除してもそれが反映されないということのようだ。

ジョン・ミューラー氏はツイッターで回答した。

Fetch as Googleのインデックスに送信が役立つはずだ。モバイルページはそれほど頻繁にクロールしないので、robots.txtを変更した場合は反映までにしばらく時間がかかることがある。

ミューラー氏によれば、スマートフォン用GooglebotのクロールはPCクローラほど頻繁ではないので、最新状態の検索結果への反映が、モバイル検索ではPC検索よりも遅れることがあるらしい。

ちなみに、Fetch as Google以外にも、Search Consoleの[robots.txtテスター]でrobots.txtの修正を認識させるやり方もある。こちらなら、修正内容に問題がないかを確認したうえで変更を反映させられる。

それにしても、MFIが導入されたあとは、クローラの活動にも変化があるのだろうか? スマートフォン用Googlebotのクロールが今までよりも活発化し、PC向けGooglebotのクロール頻度は今よりも低くなってしまうのだろうか?

★★★☆☆
  • SEOがんばってる人用(ふつうの人は気にしなくていい)

Googlebotのクロールとレンダリングは別プロセス
イベント処理で後から発生するコンテンツは認識しない (John Mueller on Twitter)

Googlebotは、レンダリングしたページにある a タグで指定された href 属性のURLを読み取る。そしてそのページのクロールは、レンダリングとは異なる流れで実行する。

したがって、(ページ内のリンクをクリックした場合に)onclickイベントでコンテンツが変わるとしても、それはGooglebotには見えない。

これは、あるタイプのJavaScriptによって動的に生成されたリンクをGooglebotが認識できるかどうかというツイッターでの質問に対する、Googleのジョン・ミューラー氏からの回答だ。

数年前からGooglebotはJavaScriptを実行し、CSSを読み取り、人間のユーザーがブラウザで実際に見ているようにウェブページをレンダリング(表示)できるようになっている。

ただし、クロールとレンダリングは別プロセスだ。案外知られていないように思う。

GooglebotはクロールしてHTMLやCSS、JavaScriptを取得する。その後に別処理として、CSSを適用し、JavaScriptを実行し、ページをレンダリングするのだ。

そのページで発見したリンクをクロールすることはあるが、それはまた別の流れとして行われる。決して、人間のように「ページ表示→リンクをクリック→次のページを表示」という行動をしているわけではないのだ。

そもそもGooglebotはクリックやスクロールといった動作をしないため、そうしたイベントによってページの内容が変わるようにしていても、Googlebotには関係ない。

Search ConsoleのFetch as Googleはクロールと同時にレンダリング結果も見せてくれるが、クロールとレンダリングの実際のプロセスとは必ずしも一致していないことも認識しておきたい(レンダリングの結果は実際と同じものだが)。

★★★☆☆
  • SEOがんばってる人用(ふつうの人は気にしなくていい)
  • 技術がわかる人に伝えましょう

広告の新しいKPIはスピード! AMPで達成可能
大多数のパブリッシャーはAMPで広告成果が伸びているらしい (Jason Washing on Twitter)

広告の新しいKPIはスピードである

広告マーケティング業界を対象にしたIAB Annual Leadership Meetingというカンファレンスで、グーグルニュースの責任者であるリチャード・ギングラス副社長はスピーチのなかでこのように語ったそうだ。

そして、AMPでサイトを高速化したパブリッシャーの広告の成果を紹介した。

  • 80%以上のパブリッシャーがより高いビューアビリティを得た(筆者補足: 「ビューアビリティ」とは、訪問者に実際に広告を見てもらえること)

  • 85%のパブリッシャーでCTRが上がった

  • 大多数のパブリッシャーがより高いeCPMを獲得した(eCPMは、ここでは「実質1000ページ表示あたりの売上」を意味する)

AMPを導入したことによって、広告収入が減少してしまったパブリッシャーが少なからず存在することが明らかになっている。そうはいえど、大多数のパブリッシャーはAMPによって広告成果が伸びているようだ。

★★★☆☆
  • 広告がビジネスモデルのパブリッシャー向け

グーグル社員も同意・二度とそのサイトを訪問したくなくなる、ろくでもないUXワースト6
やっぱりインタースティシャルが含まれている (John Mueller on Twitter)

グーグルのジョン・ミューラー氏がリツイートしたツイッターの投稿を紹介する。ユーザーが二度と訪問したくなくなる、ユーザー体験を大きく損ねる要素を列挙している(筆者による補足を入れている)。

  • 「サイトに入る」のポップアップ/ボタン

  • PCでのプッシュ通知を許可するか拒否するかを選択させる

  • 閉じなければならない、ニュースレター購読のインタースティシャルやポップアップ

  • 「Cookieを受け入れる」のポップアップ

  • 自動再生する動画

  • ページを離れるときに出現するインタースティシャル

どれも確かにウザい。グーグルが標的にしたインタースティシャルやポップアップがいくつも含まれているのには、あなたも納得だろう。

★★★☆☆
  • すべてのWeb担当者 必見!

SEO JapanSEO Japanの
掲載記事からピックアップ

再び更新停滞か?

ページ

この記事が役に立ったらシェア!
メルマガの登録はこちら Web担当者に役立つ情報をサクッとゲット!

人気記事トップ10(過去7日間)

今日の用語

Python
「Python」(パイソン)は、プログラミング言語の1つ。プログラマのグイド・ヴ ...→用語集へ

インフォメーション

RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]