
レンタルサーバー事業者が無断でAIクローラーをブロック!? AI検索に出てこなくなるかも
グーグル検索SEO情報②
レンタルサーバー事業者が無断でAIクローラーをブロック!? AI検索に出てこなくなるかも
AIブロックするプラグインも (Aleyda Solís on LinkedIn) 海外情報
レンタルサーバー(ホスティングサービス)の事業者が勝手にAIクローラーをブロックしてしまう動きがあるようだ。そうなると、生成AIがサイトの情報を参照できなくなってしまう(サイト管理者は何もしていないのに)。SEOコンサルタントのアレイダ・ソリス氏が注意喚起している
SEO担当者・マーケターの皆さんへ:
一部のホスティングプラットフォームが、サイト所有者に通知することなくデフォルトでAIクローラーをブロックしているので注意してください。
昨日、私のいくつかのサイトでサーバーがAIボットからの接続を拒否しているエラーを確認し、その結果として発覚しました。サポートに問い合わせたところ、次のように説明されました。
AIツールの成長に伴い、モデルの学習や予測のためのコンテンツ需要が高まっています。なかにはウェブスクレイピングボットについて明示しているAI企業もありますが、そうでない企業もあり、AIボットやクローラーからのリクエスト量は無視できないほど膨大です。
これに対応するため、我々はAIボットをリスト化し、そのトラフィックを完全にブロックすることでサイトへの不要な負荷を軽減しています。
こうした理由は理解できます。特にサイトのビジネスモデルが「人がコンテンツを見に来ること」に依存している場合はなおさらです。しかし、ホスティングプロバイダーは、通知もなくデフォルトでブロックするのではなく、顧客に明示し、簡単にオプトアウトや許可するAIクローラーの設定ができるようにするべきです。
幸いにも、今回の件はすぐに解決しました。依頼後はClaudeBot(これについては今後さらに確認が必要ですが)を除き、すべてのAIクローラーがこれらのサイトをクロールできるようになっています。
もし最近、自分のサイトページをAIクローラーがクロールできているか確認していない場合は、すぐにチェックしてください! また、サーバーログファイルを綿密に監視し始めることも不可欠です。
また、CMSのプラグインでも同様にAIクローラーをデフォルトでブロックしているケースがあるようだ。ダン・ペトロヴィッチ氏がトラブル事例を共有している。
注意喚起:
WordPressとアンチスパム系プラグインを使っている場合、AIアシスタントやAI検索までブロックしていないか確認してください。
私はコメントスパム対策のためにWP Armourを導入しましたが、ChatGPTとその全参照トラフィックをブロックしてしまい、リード獲得に影響が出ました。
前出のソリス氏は、AIクローラーのアクセスを許可しているか拒否しているかを簡易的に調査するツールを紹介している。
ただしこのツールがチェックするのは、次の3種類のクローラーだけだ:
- OpenAI(ChatGPT)
- Anthropic(Claude)
- Perplexity
GoogleのAIクローラーであるGoogle-Extended
など他社のAIクローラー対象になっていない。またrobots.txtでの制御だけを調べているため、サーバー側で特殊な挙動をしている場合は判断できない。
AIクローラーのアクセス状況を詳細に調査するならサーバーログをチェックした方がいいだろう。日経新聞のように意図してAIクローラーをブロックしているなら問題ないが、覚えがないのにブロックしていたら原因を特定して対処しよう。
- SEOがんばってる人用(ふつうの人は気にしなくていい)
- 技術がわかる人に伝えましょう
月間20万PVのオウンドメディアが失速→アナグラムが実行した3つの改善策とは?
執筆のノルマ化を打破 (junya koyama on note) 国内情報
アナグラムが運営するオウンドメディアの成功の秘訣を以前にこのコラムで紹介した。月間20万PVを達成するまでに成長しているそうだ。
しかしながら、月日が経つにつれて運用にいくつかの問題が生じてきた。最も深刻な問題は「ノルマ化」だった。いつしか記事を書くことが「ノルマ」のようになり、熱量が失われてしまったという。その結果、コンテンツの質の低下という課題に直面した。
そこで、会社の強みである「専門性と熱意」を最大限に活かすため運営体制を刷新した。具体的な3つの改革内容の概要は次のとおりだ:
改革① 編集部の役割変更: 編集部が現場に入り込み、記事を添削する「編集担当」から、メンバーの強みを引き出す「プロデューサー」へと役割を変えた。
改革② マネージャーの関与: これまで関わっていなかった現場のマネージャーにも企画・編集の裁量を振り分け、「事業戦略として打ち出したい強み」を企画に反映できるようにした。
改革③ 評価制度の変更: 「外部公開」を必須とせず、まず「社内向けの記事」として発信し、その中で反応が良かったものを外部公開する仕組みに変更。これにより、ボツになることを恐れず尖った企画が生まれやすくなった。
新体制は「数を増やすから、質が上がる」状態を目指すもので、数ある社内記事の中から選び抜かれたコンテンツを発信することで、質を担保している。
体制変更後、執筆者へのフィードバックが丁寧になり、これまで避けられがちだった具体的な業務内容に感情を交えて触れる記事が生まれやすくなったそうだ。最終的な目標は、「一次情報と書き手の熱量が伝わるコンテンツで読者の共感を呼び、採用・営業・事業運営に好循環を生み出すこと」だという。体制変更から約2か月で問い合わせ数は過去2年で最多となり、これは長期的に見るべき施策だと記事執筆者の小山氏は考えている。
「有益な情報発信」により認知度を高めファンを作るというオウンドメディアの当初の目的が時とともに薄れてきて、「(品質を意識せずに)記事を書くこと」自体がいつのまにか目的にすり替わってしまう事例はありがちだ。アナグラムの改善策は良い参考になる。
- オウンドメディアを運用するすべてのWeb担当者 必見!
GoogleトレンドAPIがスタート、独自のシステムにトレンドデータを統合可能
アルファ版テスター募集中 (グーグル 検索セントラル ブログ) 国内情報
GoogleトレンドAPIをグーグルが公開した。APIを介してGoogleトレンドのデータを入手し、自前のシステムに組み込んだり独自ツールを開発したりできる。
グーグルは次のように述べている:
Google トレンド API を使うと、一貫してスケーリングされた検索インタレスト データを取得できます。日ごと、週ごと、月ごと、年ごとの集計など、1,800 日分(5 年分)のデータを遡ることができ、地域や区域による絞り込みも可能です。
現在はアルファ版だ。機能改善のためにデベロッパーのフィードバックを得るためにテスターを募集している。
検索チームのダニエル・ウェイズバーグ氏はテスターの選抜について次のようにコメントしている:
現在、応募内容を確認し、最初の参加者グループを選定しているところです。オンボーディングは9月中旬頃に開始しますが、まずはごく少人数で始めるため、こちらからメールが届かない場合は、さらに数か月お待ちいただくことになるかもしれません。
7月下旬に募集開始したので、今から申し込んでもすぐには利用できない可能性が高い。それでも、興味があるならどんな機能を利用できるかを確認したうえで、申し込むといいだろう。
ただし、申し込みフォームには、開発者向けの情報を入力する欄がある(Google CloudのプロジェクトIDなど)。興味本位ではなく、システム構築や既存ツールへの組み込みなどの意図がある人向けである点には注意してほしい。
- SEOがんばってる人用(ふつうの人は気にしなくていい)
- 技術がわかる人に伝えましょう
コサイン類似度(Cosine Similarity)はAI検索SEOにとってどのくらい重要なのか?
まったく不要 (John Mueller on Reddit) 海外情報
次の質問がReddit(レディット)のSEO掲示板に投稿された。
コサイン類似度を使っている人はいますか?
最近SEO界隈でコサイン類似度という言葉をよく目にするのですが、実際に使っている人はいるのでしょうか?
「コサイン類似度(Cosine Similarity)」は、ごく簡単に説明すると、こんな感じだ:
2つのベクトルがなす角度のコサイン値を使って、それらの「方向の近さ」、言い換えると「類似度(どのくらい似ているか)」を測る指標。
LLMの言語理解にも応用される技術。LLMで生成される単語や文のベクトル表現(埋め込み/embeddings)同士の意味的な近さを測るために広く使われている。AI文脈でのSEOで最近よく言及されるようになってきた
この件に関してジョン・ミューラー氏が次のようにコメントした:
正直に言えば、そうした話がどこから来ているのか、そして推奨している人たちがそれを使って何をしようとしているのかを理解する価値はない:
大量のコンテンツをばらまいているだけなら、類似度の最適化をどれだけやっても役には立たない(問題は好かれていない大量コンテンツであって、内容が似すぎていることではない)。
大量にコンテンツを配信していないのであれば、完全に無視して構わない。
ミューラー氏のアドバイスを一言で言えば「コサイン類似度などを意識する必要はまったくない」である。
勘違いしてほしくないが、コサイン類似度とAI検索の関係を探求するのは決して悪いことではない。SEOの専門家として調査するのも、純粋な知的好奇心からの取り組みでも。実際、筆者も興味津々のトピックだ。
ミューラー氏は、コメントする前に「我慢できなかった」としてこの画像を見せている。
つまり、コサイン類似度の知識を得たとしても、一般の大多数のウェブ担当者が実務に役立てる機会はないということである。
GEO/LLMO/AIOなどAI検索の最適化を売り込んでくるSEO業者が、したり顔でコサイン類似度を説明したとしても、話半分で聞いて構わないだろう ―― 大半は、知識をひけらかしてマウントを取りたいだけだろうから。
- SEOがんばってる人用(ふつうの人は気にしなくていい)
グーグルマイビジネスで定期的に実行すべきタスクリスト
時間を確保できれば難易度は高くない (Darren Shaw on LinkedIn) 海外情報
グーグルビジネスプロフィール(GBP)の開設後に定期的に実行すべきタスクを、ローカルSEOのエキスパートであるダレン・ショー氏が指南した:
毎週GBPから投稿する ―― プロフィールをアクティブで魅力的に保つために投稿する。ソーシャル投稿ではなく広告のように作成するのがポイント。
毎週新しい写真を追加する ―― 新しい写真を定期的にアップロードすることで、検索順位とコンバージョン率の両方を高めることができる。
毎週新しいQ&Aを追加する ―― 私たちは常にクライアントのために新しいQ&Aを作成し、週1回GBPにアップロードしている。
定期的に動画をアップロードする ―― 可能な限り動画を共有し、エンゲージメントと認知度を高める。
定期的にレビューを管理する ―― レビューが届いたらすぐに返信し、顧客との関わりを示し、信頼を向上させる。
サービス欄を月1回更新する ―― 毎月サービスを見直し、変更があれば反映させて検索結果で常に関連性を保つ。
月次プロフィールチェック ―― 毎月プロフィールを確認し、新しいカテゴリや属性をグーグルが追加していないかチェックする。新しい関連カテゴリや属性を追加することで、検索順位の改善につながる。
重要なポイント:
プロフィールを「作って放置」してはいけない。定期的にコンテンツを更新して新鮮さを保つことで、Googleにあなたのビジネスがアクティブで関連性が高いことを示せる。
一貫性を保つ。定期的な更新とエンゲージメントが極めて重要。競合も同じことをしている可能性が高いのだから。
時間さえ確保すればどれも難易度の高い作業ではない。ローカル検索からのアクセスを増やすために実践してみよう。
- ローカルSEOに取り組むすべてのWeb担当者 必見!
海外SEO情報ブログの
掲載記事からピックアップ
AI台頭にもかかわらずSEOの健在ぶりを示す記事を2本ピックアップ
- OpenAIの最新LLMモデル、GPT-5によりSEOは必要不可欠な存在になる!?
AI時代でSEOは終わるどころかますます重要に
- SEOがんばってる人用(ふつうの人は気にしなくていい)
- ユーザーの検索行動に生成AIが与える影響——変化させるが置き換えにはならない
検索エンジンでの情報収集は習慣化している
- すべてのWeb担当者 必見!
ソーシャルもやってます!