Amazonの人材採用AIシステムが停止 ―― 「男女差別するAI」がなぜ誕生したのか？ その背景を探る

AmazonのAIを使用した人材採用システムに、女性差別的な判断をする欠陥が見つかり話題になりました。Amazonは2014年からこの採用システムを開発していましたが、2017年にプロジェクトを中止しています。

AIを活用した採用システムの開発目的は、もちろん女性差別をすることではなかったはず。なぜ、AIは偏った判断をするようになってしまったのでしょうか？

採用効率化のはずが女性差別に

Amazonは、人材採用業務を効率化させるため、過去10年間分の履歴書パターンを学習させ、AI採用システムを開発していました。応募者をランク付けし、5点満点の応募者を明示して、採用をおこなうことがシステム開発の狙いだったといいます。

しかし「女性チェス部の部長」や女子大卒といった、「女性」に関する単語が履歴書に記されていると、応募者の評価が下がることが明らかとなりました。過去の技術職の応募がほとんど男性だったため、男性を採用するのが好ましいとAIが認識したことが要因です。

女性差別をしないよう、プログラムは修正されました。しかし別の差別も生み出す可能性があるとして、プロジェクトは打ち切りとなりました。

外見の「美しさ」をAIが判断。結果はほとんどが白人

人間の予期せぬところでAIが偏向した判断をしてしまった事例はほかにもあります。

Beauty. AIはロボットが審査員となるビューティーコンテストを2016年に開催しました。ロボットが顔の均整美やシワを読み取るなど、中立的な判断がされることを期待し、100ヵ国以上国から6,000人ほどの応募がありました。

アフリカやインドからも多くの応募があったにも関わらず、結果は受賞者44人のうちほとんどが白人で、アジア人や有色人種の受賞者はほとんどいませんでした。

外見の美しさを判断するアルゴリズムのデータに、アジア人や有色人種が少なかったことが要因となったようです。審査員のバイアスが入りやすいと言われるビューティーコンテストで、ロボットによる中立的な審査に期待がかかりましたが、実現には至りませんでした。

顔の誤認識で冤罪に？

コンテストに出ていなくても、普通に生活しているだけでAIによる人種差別の被害を受けるかもしれません。

アメリカ税関・国境警備局がメキシコとの国境に顔認識技術を設置する取り組みをするなど、現在、警察による顔認識技術の利用が広まりつつあります。

しかしMITのコンピュータ科学者Joy Buolamwini氏が2018年初めに発表した研究によると、白人に比べ、有色人種に対する顔認識の技術は精度が落ちるといいます。

有色人種の画像データが白人に比べて少ないことが要因です。もしも誤認識を起こした場合、冤罪に繋がる恐れがあります。まだ精度に偏りがある状態で、警察が顔認識技術を捜査に取り入れることには、かなりの危機感を覚えます。

日本でも神奈川県警がAIを導入した取り締まりの新システム導入を検討しており、今後の動向に注目が集まります。

MicrosoftのAIチャットボットが差別発言を連発

Microsoftが開発したAIチャットボット「Tay」が、人種差別を含む不適切なツイートを繰り返し、公開からわずか16時間でサービス停止となったことも話題になりました。

もちろん、Microsoft側で差別的な発言をするよう設定されていた訳ではありません。一部のユーザーが人種的、政治的に不適切な会話を投げかけたため、Tayはそれらの内容を学習。差別的な発言をするようになりました。

Microsoftでは、Tayがユーザーに不快な思いをさせないようにテストを重ねていたといいます。しかし、Tayに不適切な内容を学習させようとした一部のユーザーからの攻撃に、耐えることができませんでした。

Tayの例では、より自然な会話を実現するために、ユーザーのツイートから学ぶよう設計されたことがアダとなってしまいました。AIに善悪を判断させる機能が欠けていたとはいえ、AIは人間の悪い一面を映し出しているだけなのかもしれません。

AIは完璧ではない。欠点を正しく理解して開発を

性差別や人種差別を目的にAIを設計することはあり得ないでしょう。しかし、偏ったデータをAIに学習させることにより、人間が意図せぬところで差別行為を起こす可能性は十分にあります。

バイアスを持っている認識がなくとも、データを集める際に、人間が持っている潜在的な差別意識はデータに反映されてしまいます。

しかし、解決策がないわけではありません。マイノリティーも含めた多様性のあるチーム開発をおこなえば、隠れたバイアスを発見しやすくなります。また、社内監査を徹底的におこなうなど、厳重なチェックを重ねることも有効な方法です。

AI開発を進めるにあたり、どのようなデータをどの程度集めれば“公正”なデータとなるのか。判断は大変難しいです。だからこそすべてをAIに代替させるのではなく、AIを監視し、制御する人間が必要です。欠点を正しく理解することで、より効果のあるAIの開発・運用ができるのではないでしょうか。

by 金田捺

アナログとデジタルを行き来するハイブリッドマーケター。フィンランドで経済学の研究、大手電子部品メーカーの販促企画職を経て、レッジへ。農業 × AIなど、社会課題を最新テクノロジーで解決することに大きな関心を持つ。

「AI:人工知能特化型メディア「Ledge.ai」」掲載のオリジナル版はこちらAmazonが人材採用システムを停止 ── AIによる「差別」というダークサイドをどう乗り越えるか？2018/10/23