海外&国内SEO情報ウォッチ

モバイル用Googlebotはrobots.txtを変えても認識するのが遅い

この記事の目次：

海外のSEO/SEM情報を日本語でピックアップ

モバイル用Googlebotはrobots.txtを変えても認識するのが遅い
MFI後はどうなる？（John Mueller on Twitter）

「robots.txtを修正しても、モバイルのGooglebotが認識してくれない」というトラブルが起きているようだ。

英語版のグーグル公式ヘルプフォーラムで次のような質問の投稿があった。

モバイル検索結果で、「この結果の説明は、このサイトの robots.txt により表示されません」と表示されてしまいます。PCからの検索結果には表示されません。
今はrobots.txtでは何もブロックしていません。
サイトはレスポンシブウェブデザインで構成しています。PC検索では正常に表示されるのに、モバイル検索では依然としてブロックされたままなのはどうしてでしょうか？

どうやら、質問者は最近までrobots.txtでURLをブロックしていたようで、ブロックを解除してもそれが反映されないということのようだ。

ジョン・ミューラー氏はツイッターで回答した。

Fetch as Googleのインデックスに送信が役立つはずだ。モバイルページはそれほど頻繁にクロールしないので、robots.txtを変更した場合は反映までにしばらく時間がかかることがある。

@Martin_HarrisPR Fetch & submit helps; since we don't crawl mobile that often, it can take quite some time after a robots.txt change.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 2017年1月30日

ミューラー氏によれば、スマートフォン用GooglebotのクロールはPCクローラほど頻繁ではないので、最新状態の検索結果への反映が、モバイル検索ではPC検索よりも遅れることがあるらしい。

ちなみに、Fetch as Google以外にも、Search Consoleの［robots.txtテスター］でrobots.txtの修正を認識させるやり方もある。こちらなら、修正内容に問題がないかを確認したうえで変更を反映させられる。

それにしても、MFIが導入されたあとは、クローラの活動にも変化があるのだろうか？スマートフォン用Googlebotのクロールが今までよりも活発化し、PC向けGooglebotのクロール頻度は今よりも低くなってしまうのだろうか？

★★★☆☆

SEOがんばってる人用（ふつうの人は気にしなくていい）

Googlebotのクロールとレンダリングは別プロセス
イベント処理で後から発生するコンテンツは認識しない（John Mueller on Twitter）

Googlebotは、レンダリングしたページにある a タグで指定された href 属性のURLを読み取る。そしてそのページのクロールは、レンダリングとは異なる流れで実行する。
したがって、（ページ内のリンクをクリックした場合に）onclickイベントでコンテンツが変わるとしても、それはGooglebotには見えない。

これは、あるタイプのJavaScriptによって動的に生成されたリンクをGooglebotが認識できるかどうかというツイッターでの質問に対する、Googleのジョン・ミューラー氏からの回答だ。

@TheUnknownDAU we extract the "href" URLs from "a" tags on the rendered page and crawl/render those URLs separately.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 2017年1月30日

@JohnMu @TheUnknownDAU ... so things like onclick events wouldn't be seen by Googlebot.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 2017年1月30日

数年前からGooglebotはJavaScriptを実行し、CSSを読み取り、人間のユーザーがブラウザで実際に見ているようにウェブページをレンダリング（表示）できるようになっている。

ただし、クロールとレンダリングは別プロセスだ。案外知られていないように思う。

GooglebotはクロールしてHTMLやCSS、JavaScriptを取得する。その後に別処理として、CSSを適用し、JavaScriptを実行し、ページをレンダリングするのだ。

そのページで発見したリンクをクロールすることはあるが、それはまた別の流れとして行われる。決して、人間のように「ページ表示→リンクをクリック→次のページを表示」という行動をしているわけではないのだ。

そもそもGooglebotはクリックやスクロールといった動作をしないため、そうしたイベントによってページの内容が変わるようにしていても、Googlebotには関係ない。

Search ConsoleのFetch as Googleはクロールと同時にレンダリング結果も見せてくれるが、クロールとレンダリングの実際のプロセスとは必ずしも一致していないことも認識しておきたい（レンダリングの結果は実際と同じものだが）。

★★★☆☆

SEOがんばってる人用（ふつうの人は気にしなくていい）
技術がわかる人に伝えましょう

広告の新しいKPIはスピード！ AMPで達成可能
大多数のパブリッシャーはAMPで広告成果が伸びているらしい（Jason Washing on Twitter）

広告の新しいKPIはスピードである

広告マーケティング業界を対象にしたIAB Annual Leadership Meetingというカンファレンスで、グーグルニュースの責任者であるリチャード・ギングラス副社長はスピーチのなかでこのように語ったそうだ。

そして、AMPでサイトを高速化したパブリッシャーの広告の成果を紹介した。

80%以上のパブリッシャーがより高いビューアビリティを得た（筆者補足: 「ビューアビリティ」とは、訪問者に実際に広告を見てもらえること）
85%のパブリッシャーでCTRが上がった
大多数のパブリッシャーがより高いeCPMを獲得した（eCPMは、ここでは「実質1000ページ表示あたりの売上」を意味する）

From @richardgingras at #IABALM pic.twitter.com/KAP7ChiAAM
— Jason Washing (@jdubbtib) 2017年1月30日

Faster @AMPhtml pages are leading to better performing ads. #IABALM pic.twitter.com/cQ3lBMRovS
— AMP Project (@AMPhtml) 2017年1月30日

AMPを導入したことによって、広告収入が減少してしまったパブリッシャーが少なからず存在することが明らかになっている。そうはいえど、大多数のパブリッシャーはAMPによって広告成果が伸びているようだ。

★★★☆☆

広告がビジネスモデルのパブリッシャー向け

グーグル社員も同意・二度とそのサイトを訪問したくなくなる、ろくでもないUXワースト6
やっぱりインタースティシャルが含まれている（John Mueller on Twitter）

グーグルのジョン・ミューラー氏がリツイートしたツイッターの投稿を紹介する。ユーザーが二度と訪問したくなくなる、ユーザー体験を大きく損ねる要素を列挙している（筆者による補足を入れている）。

「サイトに入る」のポップアップ/ボタン
PCでのプッシュ通知を許可するか拒否するかを選択させる
閉じなければならない、ニュースレター購読のインタースティシャルやポップアップ
「Cookieを受け入れる」のポップアップ
自動再生する動画
ページを離れるときに出現するインタースティシャル

*enter website*
*decline desktop notifications*
*close subscription modal*
*accept cookies policy*
*pause autoplaying video*
*leave website*
— 🐨 (@darylginn) 2017年1月25日

どれも確かにウザい。グーグルが標的にしたインタースティシャルやポップアップがいくつも含まれているのには、あなたも納得だろう。

★★★☆☆