グーグルのクラウドを支えるテクノロジー > 第93回 Googleドライブ「クイックアクセス」機能のMLモデル開発(パート3)
- 編集部の見解や意向と異なる内容の場合があります
- 編集部は内容について正確性を保証できません
- 画像が表示されない場合、編集部では対応できません
- 内容の追加・修正も編集部では対応できません
CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー > 第93回 Googleドライブ「クイックアクセス」機能のMLモデル開発(パート3)」を公開しました。
###
はじめに
前回に続いて、2017年に公開された論文「Quick Access: Building a Smart Experience for Google Drive」を元にして、Googleドライブの「クイックアクセス」機能を支える機械学習システムについて解説します。今回は、このシステムを実環境に適用した際に直面した課題、そして、実環境における性能評価の結果を紹介します。
データ品質の問題
第91回の記事で説明したように、このシステムでは「Activity Service」を用いて学習データを生成しています。これは、Bigtableに保存されたさまざまなログを集約してレポートするシステムですが、この機械学習プロジェクトのために用意されたものではなく、以前から存在していたものです。さらに、このシステムでは、複数のチームが管理するログを集約しているため、ログデータの品質にばらつきがありました。フィールドとしては存在するものの実際のデータは存在していなかったり、大元のログの仕様変更によりデータの値が突然変化するなどの問題に直面したそうです。すでに稼働しているシステムに後から機械学習を適用する場合、「機械学習に使用することを前提とせずに収集されるデータ」を用いる必要があるため、このようなデータの品質に関わる問題は必ず発生します。この問題に対応するために、クイックアクセスの開発チームでは、Activity Serviceから得られるデータの統計値(平均や分散など)を自動計算して、モニタリングするシステムを開発しました。あきらかに不自然な統計値を持つフィールドや、統計値が大きく変化するなどの事象をトラッキングすることで、問題のあるデータを発見したそうです。
この続きは以下をご覧ください
https://www.school.ctc-g.co.jp/columns/nakai2/nakai293.html
ソーシャルもやってます!