ビッグデータを盲信する時代に終止符を

アルゴリズムは、誰がローンを組めるか、誰が就職面接を受けられるか、誰が保険を掛けられるかなど、様々なことを決めています。ただアルゴリズムは自動的に公平性を生む訳ではありません。数学者でデータサイエンティストのキャシー・オニールは、秘密で、重要性が高く、悪影響を及ぼすアルゴリズムに「大量破壊数学」と名付けました。アルゴリズムの裏側にある隠れた意図を、もっと知ろうではありませんか。

アルゴリズムは どこにでもあります

アルゴリズムが勝者と敗者を分けます

勝者は仕事を手に入れ

有利なクレジットカードを
申し込めます

一方 敗者は就職面接すら受けられず

保険料は より高くなります

私たちは 理解できない上に
不服申し立ての機会もない—

秘密の数式によって
格付けされているのです

そこで疑問が湧いてきます

もしアルゴリズムが間違っていたら？

アルゴリズムを作る時
必要なものが２つあります

データ つまり過去の出来事の記録と

人が追い求める「成功」を
定義する基準です

人が追い求める「成功」を
定義する基準です

そして観察と理解を通して
アルゴリズムを訓練します

アルゴリズムに 成功と関係する要素を
理解させるためです

どんな状況が 成功に繋がるのでしょう？

実は アルゴリズムは
誰でも使っています

プログラムに書かないだけです

１つ例を挙げましょう

私は毎日アルゴリズムを使って
家族の食事を用意します

私が利用するデータは

台所にどんな材料があるか

どれだけ時間をかけられるか

どれだけ料理に凝るかで

私はそのデータをまとめます

ちなみにインスタントラーメンは
食べ物とは認めません

（笑）

私にとって成功の基準は

子供たちが野菜を食べることです

もし下の息子が決めるなら
基準はガラッと変わり

「いっぱいチョコナッツクリームを
食べられれば成功」と言うでしょう

でも基準を決めるのは私です

責任者は私で
私の意見が重要なんですから

これがアルゴリズムの第１のルールです

アルゴリズムとはプログラムに
埋め込まれた意見なのです

これは ほとんどの人が持つ
アルゴリズムのイメージとはかけ離れています

人々はアルゴリズムが客観的で正しく
科学的なものと思っていますが

それはマーケティング上のトリックです

アルゴリズムで人を怯ませるのも

マーケティングのトリックですし

アルゴリズムを信用させたり
恐れさせたりするのもそう

皆 数学を恐れつつ信用していますから

ビッグデータを盲信すると
いろいろな問題が生じかねません

彼女はキリ・ソアーズ
ブルックリンの高校で校長をしています

2011年に彼女が教えてくれたのですが
彼女の学校では

「付加価値モデル」という
複雑な秘密のアルゴリズムで

教員が評価されている
ということでした

私は こう伝えました
「数式を調べてみましょう

見せてくれれば説明しますよ」

すると彼女は
「数式を入手しようとしたら

市教育局の担当者に『これは数学ですよ
理解できないでしょう』と

言われたんです」

事態はさらに深刻化します

ニューヨーク・ポスト紙が
情報自由法に基づく開示請求をして

ニューヨーク市の全教員の
名前とスコアを手に入れ

教員を辱めるような
データを公表しました

一方 私がソース・コードを
同じ方法で手に入れようとしたところ

無理だと言われました

却下されたのです

後にわかったことですが

ニューヨーク市で その数式を
見られる人は誰もおらず

誰も理解していなかったのです

その後 ゲイリー・ルービンスタインという
頭のキレる人物が登場します

彼はニューヨーク・ポスト紙のデータから

２種類のスコアを持っている
教員665名を見つけ出しました

それに該当するのは 例えば

数学を７年生と８年生で
教えている場合です

彼は２種類のスコアを散布図にしました

点はそれぞれ 先生を表します

（笑）

これは どういうことでしょう？

（笑）

こんなものを教員の個人評価に
使ってはいけません

まるで乱数発生器じゃないですか

（拍手）

でも実際に使われたんです

彼女はサラ・ワイサキ

他の205人のワシントンD.C.学区の
先生たちと共に

解雇されました

校長や保護者からの評価は
非常に高かったのにです

校長や保護者からの評価は
非常に高かったのにです

皆さんが今 考えていることは
わかります

特にデータサイエンティストや
AIの専門家なら思うでしょう

「自分なら そんなデタラメな
アルゴリズムは作らない」って

でもアルゴリズムは誤ることもあれば

善意に基づいていても
破壊的な影響を及ぼすことだってあります

飛行機なら 設計がまずければ

墜落しますし
その様子が見えますが

アルゴリズムだと設計がまずくても

長期間に渡って 音もなく
大惨事をもたらし続けかねないんです

彼はロジャー・エイルズ

（笑）

1996年にFOXニュースを創設しました

20人以上の女性が
セクハラ被害を訴えました

またキャリアアップを
妨害されたそうです

彼自身は2016年に地位を追われましたが

最近のニュースにある通り
問題は依然残っています

ここで疑問が湧いてきます

再起をはかるために
FOXニュースは何をすべきか？

人材採用プロセスを
機械学習アルゴリズムに

替えるのはどうでしょう？

いいアイデアでしょう？

検討してみましょう

まずデータには
何が使えるでしょう？

過去21年間に FOXニュースに送られた
履歴書がいいでしょう

妥当なデータです

では成功の基準は？

妥当な基準は…

どんな人がFOXニュースで
成功するんでしょう？

例えば ４年在職して
最低１回は昇進していれば

成功と言えそうです

妥当な基準です

それをアルゴリズムに学習させます

人々を探って
何が成功につながるか—

これまで どんな履歴書が
成功に繋がってきたのかを

この基準に従って学習させるのです

さて このアルゴリズムを

現在の就職希望者に
当てはめると どうなるでしょう？

まず女性は除外されるでしょう

過去に成功してきたようには
見えないからです

配慮もなく やみくもに
アルゴリズムを適用しても

物事は公平にはならないんです

アルゴリズムは公平を生みません

過去の行為や行動パターンを

繰り返し

自動的に現状を維持するだけです

この世界が完璧なら
それでいいんでしょうが

そうではありません

さらに付け加えると ほとんどの企業は
みっともない裁判を抱えている訳ではありませんが

こういった企業にいる
データサイエンティストは

正確性に焦点を当て

データに従うよう指示されています

その意味を考えてみましょう

誰でもバイアスを持っているので

アルゴリズムに性差別や その他の偏見が
コード化されている可能性があります

思考実験をしてみましょう

私は思考実験が好きなので

人種を完全に隔離した
社会があるとします

どの街でも どの地域でも
人種は隔離され

犯罪を見つけるために
警察を送り込むのは

マイノリティーが住む地域だけです

すると逮捕者のデータは
かなり偏ったものになるでしょう

さらに データサイエンティストを
探してきて

報酬を払い 次の犯罪が起こる場所を
予測させたらどうなるでしょう？

マイノリティーの地域になります

あるいは 次に犯罪を犯しそうな人を
予測させたら？

マイノリティーでしょうね

データサイエンティストは
モデルの素晴らしさと正確さを

自慢するでしょうし

確かにその通りでしょう

さて 現実はそこまで極端ではありませんが

実際に多くの市や町で
深刻な人種差別があり

警察の活動や司法制度のデータが
偏っているという

証拠が揃っています

実際にホットスポットと呼ばれる
犯罪多発地域を

予測しています

さらには個々人の犯罪傾向を

実際に予測しています

報道組織プロパブリカが最近
いわゆる「再犯リスク」アルゴリズムの

１つを取り上げ調査しました

１つを取り上げ調査しました

フロリダ州で 判事による
量刑手続に使われているものです

左側の黒人男性バーナードのスコアは
10点満点の10点で

右の白人ディランは３点でした

10点中10点はハイリスクで
3点はローリスクです

２人とも麻薬所持で逮捕され

どちらも前科はありましたが

３点のディランには重罪の前科があり

10点のバーナードにはありませんでした

これが重要な理由は
スコアが高ければ高いほど

刑期が長くなる
傾向があるからです

どうなっているのでしょう？

これは「データ・ロンダリング」です

このプロセスを通して 技術者が
ブラックボックスのようなアルゴリズムの内部に

醜い現実を隠し

「客観的」とか

「能力主義」と称しているんです

秘密にされている
重要で破壊的なアルゴリズムを

私はこんな名前で呼んでいます

「大量破壊数学」です

（笑）

（拍手）

それは間違いなく
どこにでも存在します

民間企業が 私的なアルゴリズムを
私的な目的で

作っているんです

先程お話しした
教員や警察向けのアルゴリズムでさえ

民間企業が制作し

政府機関に販売したものです

アルゴリズムは
「秘伝のタレ」だから

公開できないと
企業側は主張します

また アルゴリズムは私的な権力です

この謎めいた存在が持つ権威を振りかざして
企業は利益を得ています

ただ こう思うかもしれません
アルゴリズムが民間のものなら

競争があるので

自由市場の力が
問題を解決するのではないか…

でも そうはいきません

不公平は大きな利益を
生み出しますから

それに我々人間は
合理的経済人ではなく

誰もがバイアスを持っています

私たちは 自分が望みも
気づきもしない形で

差別や偏見を持っているのです

全体を俯瞰して見ると
そのことがわかります

なぜなら社会学者が
考案した実験を通して

一貫して実証されてきたからです

その実験では研究者が
履歴書を大量に送付しました

同じように資格は満たしていますが
一部は白人っぽい名前で

一部は黒人っぽい名前

そして結果は
常にがっかりするものでした

つまりバイアスがあるのは私たちで

どんなデータを集め選ぶかによって

そのバイアスをアルゴリズムに
注入しているんです

これは私がインスタントラーメンを
含めないのと同じで

不適切だと決めたのは
私なんです

しかし実際に過去の行動を元にした
データを信頼し

成功の基準を恣意的に選びながら

どうして欠陥のないアルゴリズムを
期待できるのでしょう？

それは無理です
チェックが必要なんです

公平性を確かめる必要があるんです

幸い公正性は確認できます

アルゴリズムに問いただせば

常に本当のことしか
答えないので

修正を加え より良いものに
作り替えられます

私は これを
アルゴリズム監査と呼んでいます

その手順を説明しましょう

まずはデータ完全性チェックです

先ほど登場した
再犯リスク・アルゴリズムの場合—

データ完全性チェックとは
事実を直視するという意味になるでしょう

例えばアメリカでは 大麻の使用率は
白人と黒人で同じなのに

逮捕される割合は
黒人の方がはるかに高く

地域によっては
４〜５倍になるという事実があります

このようなバイアスは
他の犯罪では どんな形で表れ

私たちは それを
どう説明したらいいでしょうか？

次に 私たちは成功の基準について
考えなければなりません

その基準を監査するのです

採用アルゴリズムを
思い出してください

勤続年数が４年で
昇進１回の人はどうだったでしょう

その人は成功した社員でしょうが

同時に その会社の文化に
支持されたとも言えます

ただ その文化に
バイアスがあるかもしれないので

この２つは分けて考える必要があります

一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう

一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう

オーディションを受ける人は
衝立の向こうにいます

ここで注目したいのは

審査員は 何が重要で
何が重要でないかを

あらかじめ決めて

重要でないものに
惑わされないようにしている点です

ブラインド・オーディションを
するようになって

女性がオーケストラに占める割合は
５倍に増えました

次に正確性を吟味しなければなりません

教員向けの付加価値モデルなら
すぐ落第になる項目です

当然 完璧なアルゴリズムなどないので

あらゆるアルゴリズムの
誤りを検討する必要があります

誤りを起こす頻度は？
どんな相手だと そのモデルは機能しないのか？

失敗した時の損失規模は？

そして最後に考えなければならないのは

アルゴリズムの長期的影響 つまり

それによって生じる
フィードバック・ループです

抽象的な話に
聞こえるかもしれませんが

もしFacebookのエンジニアが
友人の投稿だけを表示する前に

フィードバック・ループの影響を
考慮していたらと考えてみてください

伝えたいことは あと２つ
１つはデータサイエンティストに向けたものです

私たちデータサイエンティストが
真実を決めるべきではありません

私たちは もっと広い社会に生じる
倫理的な議論を

解釈する存在であるべきです

（拍手）

そしてデータサイエンティスト以外の
皆さん—

そしてデータサイエンティスト以外の
皆さん—

この状況は数学のテストではなく

政治闘争なのです

専制君主のようなアルゴリズムに対して
私たちは説明を求める必要があります

（拍手）

ビッグデータを盲信する時代は
終わらせるべきです

ありがとうございました

（拍手）