この文章はウケる？ウケない？文章を評価するAIをDisney Researchが発表

Disney Researchがまたもややってくれました。直近ではARなどの映像関係でのニュースも多いですが、「音声から口の動きを自動生成する技術」などといったAI関連の技術も発表したりとグイグイきてますね。

そんなDisney Researchですが、「この文章がウケるかどうか」を判別するAIを開発したとか。いわゆる文章力や表現力などといった「質」はさておき、「ウケそう」「ウケなさそう」を見分けられるものらしいです。

AIが文章を解析。Disney ResearchとUMBが共同で研究開発

この開発にはDisney Researchとボストン・マサチューセッツ大学が共同で関わったそう。

プロジェクト自体はAIによる自動文章生成と読解を目指す最初のステップとしてスタートしたそうですが、今回はその中の１ステップという位置づけ。

「話」と呼ぶことができるテキストベースの文章やコンテンツ（この場合物語や小説といった文学とは少し違うイメージ）が世間にどう評価されそうか予測するニューラルネットの開発に成功したそうです。

これまでテキストマイニングによる評判分析など、コンテンツの内容に関わる読解っぽい研究はありましたが、純粋な「評価」は初めてなんじゃないでしょうか。

データベースは米Q&Aサービス ‘Quora’

気になる学習データですが、米大手サービス「Quora」を使ったそうです。

Quoraは情報収集ツールとしても海外では多くの人が利用しているサービスで、基本的にはYahoo!知恵袋や教えてgooといったサービスと同じようにオープンで質問を投げたり、質問に答えたりすることが可能なものです。

少し違うのは、

• 質問、解答以外に、単にポスト（書き込み）投稿ができる
• 解答やポストに対して「upvote」「downvote」といった評価を誰もがつけることができる

ところ。各分野の専門家が実名で参加しており、高品質なコンテンツが大量に集まっています。

このサービスから約55,000投稿をアルゴリズムにかけ、まず今回の学習データとなりうる形式がどうかを見分けさせ、そのなかで当てはまった約28,000個（1つの平均が369文字）をAIに学習させたそう。

Quoraの特徴を利用して、『読み手による評価≒世間にウケる度合い ≒ コンテンツの質』をベースに、テキストの評価軸を設定したとか。

2つのネットワークを使うことで従来モデルよりも精度が2割増しに

たとえば物語といった文章形式ではよくあることですが、一連のイベントが相互作用してキャラクターの意図を明らかにすることがあるので、研究チームはニューラルネットワークが複雑なコンテンツのストーリー構造を理解できる方法を探したそう。

簡単に説明すると2つのネットワークを構築。1つは文章を範囲分けし、それらを相互依存的に解析するものと、一方はもっと全体的に文章を解析し、全体像から各事象や意味合いの発生したもとを探してくるようなもの。

別々にどのテキストが読者に最も人気があるかを予測した結果、ベースラインとして用意した従来のテキスト評価システムと比べて、2つのうち後者のネットワークは約2割増しで精度が向上したそう。

まだ情報が少なく、詳細な評価軸や結果の比較方法など明らかになっていない部分があるのでなんとも言えませんが、2割増しというのはなかなか大きな成果と言えるのではないでしょうか。

読者に人気がでそうか否か。この次は？

文章の質を評価するためには、AIはテキストをある程度理解する必要があり、 AIが文章を生成するためには、自らが作る文章の質を判断できる必要があります。なので今回の開発はどちらにもかかってくる重要な部分。

性能としてはまだ改善の余地がありそうなものの、スピード感としてはすぐに人間に追いついてきてしまいそうなイメージがありますね。そのうちAIでコンテンツの生成、評価、修正が完結する時代が来るかも。

by 野邊 大樹

日本生まれのカンボジア＆エチオピア育ち、もちろん英語はビジネスレベルでペラッペラという謎に満ちた人。途中で文転した元ゴリッゴリの理系脳という、このメディアのために産まれてきたかのような男。

「BITA デジマラボ」掲載のオリジナル版はこちらこの文章はウケる？ウケない？文章を評価するAIをDisney Researchが発表 | BITA デジマラボ2017/10/20