朝日新聞社は記事見出しを自動作成中 ─ 開発とAPI公開の裏側に迫る

テクノロジーとは遠いイメージを持たれがちな新聞社ですが、実は社内には多くの技術者が働いており、最近では蓄積されたデータを活用したAIの研究が進められています。

朝日新聞社では、過去30年間およそ900万記事がデジタルデータとして蓄積されています。この膨大な言語資源を活用した取り組みが、AIによる見出しの自動生成です。

自動見出し作成API公開の裏側を、朝日新聞社メディアラボの田森秀明氏に取材しました。

新聞らしい見出しを自動生成

――記事から自動で見出しを作成するAPIを作った背景を教えてください。

社内ニーズに加えて、新興メディアや地方紙でも活用されるのではと考え、見出しの自動作成APIの開発が始まったといいます。

実際に、一般公開されているAPIを使い、Ledge.ai編集部でも見出しを自動生成してみました。

解析に使用できる文章は、最長で200単語までで、それを超える入力は内部処理でトリミングされます。今回は、記事から一部抜粋した文章から見出しを作成しました。見出しの文字数は指定せずAPIに推定してもらい、出力する候補数は5つに設定しています。

{"message":"ok", "headline":["メルカリ技術説明会","メルカリの技術説明会","「メルカリAI説明会」","「メルカリAI説明会」開催","「メルカリAI」説明会"]}

{"message":"ok", "headline":["「一軒め酒場」の検知率96.1%　東京","「一軒め酒場」の検知率96.1%","「一軒め酒場」の検知率96.1%に","「一軒め酒場」の実証実験","「一軒め酒場」の実証実験　東京"]}

{"message":"ok", "headline":["プロ棋戦のAI、業界全体に影響","将棋のAI、業界全体に影響","将棋界のAI、業界に影響なし","将棋界のAI、業界に影響与え","将棋界のAI、業界に影響与える"]}

このAPIは、ディープラーニングの発達により近年めざましい発展を遂げている機械翻訳の技術を応用しているとのことです。学習データが朝日新聞社の記事なので、まるで新聞の編集者が作成したような見出しが作成できます。記事内容を正しく表していないものもありますが、記事の内容を端的に表した候補が生成されています。

これからは、ターゲット読者層や記事の狙いに応じて、見出し出力をカスタマイズできるようにするなど、バリエーションを増やしたいと田森氏は語ります。

新しいビジネスを生み出す挑戦

自動見出し作成APIを開発した朝日新聞社メディアラボは、新聞業に代わる新しいビジネスを生み出すことを目的に、2013年9月に設立されました。

朝日新聞社メディアラボではこれまでに、140年の歴史で培った取材力や筆力、編集力、豊富な情報量を生かし、お客様の人生を1冊の本にまとめるサービス「朝日自分史」や、『スマートな暮らし』をテーマに、仕事・遊び・家を便利にするモノやアイディアを伝える動画ウェブメディア「MOOVOO」など、新しいサービスを次々に発表しています。

自動見出し作成APIの開発も、新しいテクノロジーを応用した新規事業開発の一環です。これまでに蓄積された膨大なテキストデータを存分に生かした、新聞社だからこそ取り組めるAIプロジェクトです。

すでに綺麗な日本語データがある

膨大なテキストデータを活用するには、表現のブレや誤字脱字などがネックになる場合も多いです。しかし、新聞記事に使われている日本語には、その心配がほとんどないのだと言います。

テキストデータの活用を進める際、学習データの前処理につまずく事例も多いですが、このような綺麗な日本語のテキストデータを保有していることは、新聞社ならではのアドバンテージです。

現在は、見出し生成の性能を上げるため、試行錯誤を繰り返していると言います。

――テキストデータの学習や、パラメータを変更しての検証などには相当な時間を要しそうです。処理するデータ量も膨大ですが、どう対応されているのでしょうか？

Oracle Cloud Infrastructureでは、最新のNVIDIA GPUを使用でき、使えるシェイプもベアメタルやVMなど複数の選択肢があります。

また価格も低いため、より多くのGPUインスタンスを立てられるのだそう。

資料提供：日本オラクル株式会社

インフラ整備はAI活用に必須

性能の向上を進めながらも、すでに社内CMSの一部に自動見出し生成が組み込まれていると田森氏は説明します。

Oracle Autonomous Database Cloudはデータベース内に機械学習エンジンがあり、そこで分析処理が実行ができます。また自動バックアップ・パッチ適用などのデータベース管理業務の自動化のみならず、機械学習によって高度なチューニングまで自動化されるので、解析用データの格納・管理が簡単なのだといいます。

資料提供：日本オラクル株式会社

記事見出しの自動生成や自動校正プロジェクトでは、膨大なテキストデータを処理する必要があり、インフラの整備も重要となります。性能のよさと価格の手軽さを兼ね備えたサービスを選択することは、AI活用を進める上で不可欠な要素ではないでしょうか。

by 金田 捺

アナログとデジタルを行き来するハイブリッドマーケター。フィンランドで経済学の研究、大手電子部品メーカーの販促企画職を経て、レッジへ。農業 × AIなど、社会課題を最新テクノロジーで解決することに大きな関心を持つ。

「AI:人工知能特化型メディア「Ledge.ai」」掲載のオリジナル版はこちら【朝日新聞】記事見出しを自動作成するAPIを公開中 ── 開発の裏側に迫る2019/05/22