「AI人事」も“バイアス”を学習してしまう
また、機械学習によって開発されるAIが、ある種の「バイアス」を持ってしまう問題も指摘されています。たとえば、会社の人事評価に使われるAIが、女性よりも男性を高く評価してしまうといった問題です。
※写真はイメージです - 写真＝iStock.com／Poike
人事評価をするAIの開発に使われるデータは、たいてい「過去の人事評価のデータ」です。もし、過去の人事評価において女性よりも男性に高い評価が与えられる傾向があれば、そのデータを用いて開発されたAIもその傾向を「学習」してしまいます。
機械翻訳システムにおいてもバイアスが見られます。たとえば、日本語の「その医者は自分の子供を診察した」という文では、「医者」および「自分」が男性なのか女性なのかは明確にされていません。
しかしこれをニューラルネットワークを使って開発された機械翻訳システムで英訳したところ、「The doctor examined his child」のように、代名詞が男性形の「his」に訳されたという事例があります。これも、開発時に与えられるデータにおいて、医者が男性である状況を述べた文が多かったためであると考えられます。
このように、機械学習によって開発されるAIの振る舞いや判断は、開発の際に与えられるデータに大きく依存しています。また、これに加えて、今のAIが「開発に使われるデータそのものの正しさを疑うことができない」という点も強調しておくべきでしょう。
悪意ある投稿から「誤学習」する場合も
再び機械翻訳を例に挙げますが、2019年の6月頃、Google翻訳の英語から中国語への翻訳に関して、とある「事件」が報道されました。
「so sad to see hong kong become china（香港が中国の一部になるのはとても悲しい）」という英語文を入力すると、「香港が中国の一部になるのはとても嬉しい」という、まったく逆の意味の中国語文が出てきたというのです。
原因についてはさまざまな憶測が飛び交いましたが、その中に、Googleがユーザからのフィードバックのために設けている「翻訳修正案の投稿欄」に、何者かが上記の正しくない訳文を大量に投稿し、それが翻訳システムの動作に反映された、という説がありました。
このときGoogle翻訳に実際に何が起こったのか、今も明らかになっていません。しかし、もし、悪意あるユーザが故意に正しくない訳文を大量に投稿し、機械翻訳システムがそのデータから「再学習」したことが原因なのだとしたら、それは機械学習を用いて開発される今のAIにとって深刻な問題を提起していることになります。今のAIには、学習用に与えられるデータの間違いを自ら発見し、修正するすべがないからです。
データを増やしても“偏り”は解消しづらい
私たち人間は翻訳をするときに辞書や文法書を参考にしますが、ニューラルネットワークを用いた機械翻訳システムは、そういったものを参照しながら翻訳をするわけではありません。
今の機械翻訳システムは、人が与える「原文と訳文のデータ」を手がかりにし、原文に対して正しい訳文を出せるようにパラメータを調整した「巨大な関数」です。そこには、語彙の知識や文法の知識に基づく「正しい翻訳の基準」はなく、データが頼りなのです。したがって、もし誰かが故意に間違ったデータを大量に与えれば、機械翻訳をするAIはそれに影響され、間違った訳文を出すようになってしまいます。
川添愛『ヒトの言葉 機械の言葉』（角川新書）
こういった問題に対して、「より多くのデータを与えれば、きっとAIのバイアスは解消されるし、動作も正しくなるはずだ」と言う人もいます。しかし、単純にデータの数が増えたからといって、その中にあるバイアスや間違いが解消されるとは限りません。
現在、「まるで人間が書いたかのような文章を生成できる」として話題になっている「超巨大言語モデル」GPT-3についても、「女性は男性に比べて外見を表す言葉（beautifulやgorgeousなど）を使って形容されやすい」「イスラム教は他の宗教に比べて暴力やテロを表す言葉と一緒に現れやすい」などといったバイアスを含んでいることが報告されています。
以上のような、「現時点での問題点」や、「今の機械がどのように言葉を扱っているか」という知識を持ったうえで、私たちは機械が言葉を扱う能力を正しく評価する必要があるのです。
----------
川添 愛（かわぞえ・あい）
作家
1973年生まれ。九州大学文学部卒業。2005年同大学院にて博士号（理論言語学）を取得。津田塾大学女性研究者支援センター特任准教授、国立情報学研究所社会共有知研究センター特任准教授などを経て、言語学や情報科学をテーマに著作活動を行っている。著書に『白と黒のとびら オートマトンと形式言語をめぐる冒険』『精霊の箱 チューリングマシンをめぐる冒険』『働きたくないイタチと言葉がわかるロボット 人工知能から考える「人と言葉」』『数の女王』などがある。
----------
（作家 川添 愛）
