BERTとは？Googleが開発した自然言語処理技術の特徴と仕組み | SEO Japan

2018年10月、Googleは最新の自然言語処理モデル「BERT」を発表し、翌年10月に自社の検索エンジンへ採用しました。自然言語処理はAmazon EchoやLINE ClovaといったスマートスピーカーやDeepLなどの高精度翻訳ツールの登場により広く一般家庭でも活用されてきました。そのなかでもBERTは革新的な技術として注目を集めているモデルです。本記事では、BERTの特徴と仕組み、生成AIとの関係について解説します。

参考：【ChatGPTとSEO】記事自動生成は有効か？AIライティングでCVはするのか？実験結果とChatGPT（プロンプト）によるSEO活用術8つ

BERTとは、2018年10月にGoogleのJacob Devlinらが論文で発表した自然言語処理モデルです。「Bidirectional Encoder Representations from Transformers」の頭文字から命名されており、日本語では「Transformerによる双方向のエンコード表現」と訳します。

BERTの最大の特徴は「文章を読めるようになった」点にあります。以前の自然言語処理では前後一方から学習するモデルが主流であり、文章における前後のつながりを理解することは困難でした。しかし、BERTは文章を前後双方向から学習するモデルであるため、言語の文脈を読めるようになりました。

自然言語処理（Natural Language Processing）は、人が使う言語（自然言語）をコンピューターに学習させ、理解させる技術です。人と人の会話に生まれるあいまいな表現をAIが学習し、意味を適切に理解することを目的としています。

たとえば「大きなネコが好きな人」という言葉だけを見ると「大きいサイズのネコを好む人」と「ネコを好む身長の高い人」という解釈ができます。人同士の会話においてこのフレーズが出てきたとしても、それまでの会話の流れから意味を推察できますが、コンピューターに同じ判断をさせるのは現在でも困難です。こうしたあいまいな表現を分析して理解するための技術が自然言語処理であり、今も多くの技術者が研究を進めています。

AI技術の自然言語処理（NLP）とは？できることと活用事例

BERTがGoogleの検索エンジンに採用された背景には、音声検索の普及と検索クエリの多様化が背景にあるといわれています。

ユーザーがGoogleを使ってテキスト検索をする際には「PC　使い方」「投資信託　おすすめ」のような単語の組み合わせが用いられています。Googleは検索アルゴリズム「Rankbrain」が単語を解析し、検索意図に合った検索結果を出力してきました。しかし近年は検索のやり方に変化の兆しが現れてきています。

モバイル端末やスマートスピーカーなどに搭載されたAIアシスタントへの指示は、従来の検索でおこなわれていたような単語の組み合わせではなく「今日の天気を教えて」「台所の電気をつけて」といった自然言語で命令されるようになりました。また、人々の興味の向く先が増え、スマートフォンで即座に検索する文化が広まったことで、検索クエリの多様化が急速に進んでいます。

こうした検索そのものの在り方が変わっていくなかで、より柔軟かつ的確に対応するための方策として、BERTが検索アルゴリズムに採用されたと考えられます。

近年さまざまな自然言語処理モデルが研究・開発されているなかで、BERTは大きな注目を集める存在となりました。なぜBERTは優れた自然言語処理モデルであると評価されているのでしょうか。BERTがもつ他の自然言語処理モデルにはない特徴を紹介します。

BERTで特徴的なのは、深い双方向モデルが採用されている点です。従来の自然言語処理は一方向（未来）の単語のみを予測する単一方向モデル、または双方向性はあるものの予測が浅いモデルが中心でした。そのため文脈を十分に読むことが困難でしたが、BERTは単語の解析に注意度を考慮することで深い双方向処理を実現できるようになり、高精度の文脈理解が可能となりました。

Googleは自社記事において、以下の例文を用いてBERTがGoogle検索に与えた影響を例示しています。

『2019 brazil traveler to usa need a visa（2019年 アメリカに向かうブラジル人旅行者はビザが必要）』

BERT導入前のGoogleはtoの処理ができなかったため「ブラジルに向かうアメリカ人旅行者」という検索結果を出力していました。しかしBERT以降はtoの処理が可能になったため、文章の意味を正しく解釈した検索結果を返せるようになりました。

従来のタスク処理モデルは特定のタスクに特化していたため、他のタスクに応用させるためにはモデル構造を修正する必要がありました。

BERTは既存の処理モデルの前に接続し転移学習させることで、特定のタスクに縛られないさまざまなタスクに対応できるようになりました。

従来のモデルでは、自然言語処理のためにラベルが付与されたデータセットを用意する必要がありました。しかし近年はラベル付与済みのデータセットが少ないうえ、ラベルを付与するにもコストがかかるため、入手が困難となっています。

BERTはラベルが付与されていないデータセットの処理が可能です。ラベルが付与されていないデータはインターネット上で大量に入手できるため、BERTはデータ不足に悩まされることはありません。

BERTはシーケンス（単語の並び）から別のシーケンスを予測する事前学習モデルです。ラベルが付与されていない分散表現をTransformerが処理して学習します。Transformerは学習に「Masked Language Model」と「Next Sentence Prediction」という2つの手法を同時進行させることで、高速かつ精度が高い学習を実現します。

Transformerとは？文章生成と要約の革新的な進化

Masked Language Modelは、確率的に置き換えた単語の予測を通じて文脈を学習する手法です。入力した文章のうち、15%に相当する単語を選択し、確率的に別の単語に置き換えることで文脈から単語を予測します。

選択された15%のうち80%は[MASK]に、10%をランダムな別の単語に変換します。残りの10%はそのままです。そうして置き換えられた単語を前後の文脈から仮定するタスクを繰り返しながら学習を続けます。

Masked Language Modelは単語の学習には適している手法ですが、文章を単位とした学習には向いていないため、Next Sentence Predictionを用いて補完します。

Next Sentence Predictionが学習するのは、文章同士の関係性です。2つの入力された文章のうち、片方の文章を50%の確率で他の文章に置き換えたうえで、2つの文章が隣り合う存在であるか否かを判別します。これを繰り返すことで、文章同士の関係性を学び、より高精度に文脈を読むことが可能となります。

BERTは優れた自然言語処理が可能であるため、生成AIへの流用も今後増えていくと考えられています。すでにFAQやチャットボットといったWebサービスへの応用は始まっており、ユーザーがUI入力した文章、音声の理解だけでなく、回答を自動生成するようなサービスも誕生しました。また「金融版BERT」が代表するような特定分野に特化したBERTの開発も進んでおり、今後あらゆる分野でBERTの活用が加速度的に進んでいくと考えられるでしょう。

一方、BERT以外の自然言語処理モデルを活用した生成AIも近年注目を集めています。2022年12月に登場したChatGPTはLLM（Large Language Models、大規模言語モデル）をベースにチャットUIを組み合わせたものです。生成AI＝ChatGPTと認識されるほど急速に認知が広がっており、ビジネスシーンへ導入する企業も増加中です。

BERTとは違う自然言語処理モデルではあるものの、異なるアプローチで高度な言語解析が可能になった点は共通しており、今後もそれぞれ独自の方向での進化が期待できるでしょう。

LLM（大規模言語モデル）とは？仕組み・できること・SEOの活用例

ChatGPTとは？利用時の注意点とSEOに有効な使い方を紹介

BERTの学習済みモデルはGoogleが無償で公開しており、企業はBERTを用いた新たなサービスの開発に力を注いでいます。自然言語処理のなかにはBERTやChatGPTだけでなく、多くの選択肢があり、それぞれの研究開発は今も激化の一途をたどっています。さらに自然言語処理がこれからどんどん発達することで、よりユーザーと企業の距離を縮めるような画期的なサービスが登場することでしょう。身近な製品にどのような形で自然言語処理モデルが活用されるのか、期待が膨らみます。

BERTを筆頭にAI技術の発展に注目しながら、検索エンジンの新たなアルゴリズムの導入など今後の動向を確認しておくことも大切です。なかでもSEOに関するご相談であれば、この道のプロである弊社へお任せください。これまで長年あらゆる企業様のサイトの集客、マーケティング支援などをおこなってまいりました。お客様の課題に沿った施策のご提案から伴走型で支援いたします。お気軽にお問合せください。