機械知能は人間の道徳性をより重要なものにする

機械知能はもう存在しており、私たちは既にそれを使って主体的な決定を行うようになっています。しかし人工知能が成長・向上していく複雑な道筋は理解しにくく、制御することも難しいのです。このトークで、科学技術に関する社会学を研究するゼイナップ・トゥフェックチーは、いかに知能機械が人間のエラーパーターンと合わない、そしてそのために予想も事前の備えもないやり方で失敗を犯すと警告を発します。「私たちは責任を機械に外部委託することはできない」と彼女は言います。そして「私たちは人間としての価値観と倫理観をさらに強固に持たねばならない」と。

私はコンピュータ・プログラマー
としての最初の仕事を

大学１年生で始めました

まあ 10代だったんですね

ある会社で ソフトウェアを

書くという仕事を 始めてまもなく

会社のマネージャーが
私のところに来て

こうささやきました

「僕の嘘 彼にばれてる？」

部屋には他に誰もいません

「誰にばれてるって言うんです？
それにどうしてひそひそ声で？」

マネージャーは
室内のコンピュータを指さして

「僕の嘘 彼にばれてる？」

実はこのマネージャー
受付係と浮気してたんです

（笑）

私はまだ10代でした

だからささやき声で
彼に叫び返しました

「ええ コンピュータには
お見通しですよ」って

（笑）

笑っちゃいましたが 実は
その笑いは自分に返ってきました

今日 コンピュータ・システムは

人間の顔画像を処理することによって

感情や 嘘まで見抜けるんです

広告主や 政府までもが
非常に関心を寄せています

コンピュータプログラマーに
私がなったのは

子どもの頃から数学と科学が
熱狂的に好きだったからです

しかしその過程で
核兵器についても学び

科学の倫理について
非常に懸念するようになりました

悩みました

しかし 家庭の事情で

私はできるだけ早く
働き始めなければなりませんでした

それでひそかに考えました
技術者として

簡単に職が得られて

倫理という厄介な問題を何も
考えなくていい分野の仕事はないかと

それで選んだのがコンピュータです

（笑）

ハハ 笑っちゃう
自分のことを笑ってるんです

近頃 コンピュータ科学者は

10億人が毎日見ているものを制御する
プラットフォームを作っています

誰をひき殺すか決定できる
車を開発しています

戦争で人間を殺すかもしれないような

機械や兵器さえも作っています

全てにおいて重要になるのが倫理です

機械知能は もう存在しています

私たちは今や コンピュータを使って
あらゆる種類の決定を下し

さらに新しい類の決定も下します

私たちは 単一の正答がない問題の答えを
コンピュータに尋ねています

その問題とは 主観的で

オープンエンドで
価値観にかかわるものです

私たちがする質問はこんなふうです

「誰を社員に採用すべきか？」

「どの友達からの新着情報を
表示すべきか？」

「再犯する可能性の高い受刑者は誰か？」

「人々に勧めるべき
ニュースや映画はどれか？」

確かに私たちは しばらくの間
コンピュータを使ってきました

しかしこれは違います

これは歴史的なひずみです

なぜならそのような主観的な決定を
コンピュータには頼れないからです

飛行機を飛ばしたり 建物を建てたり

月に行く場合とは違うんです

飛行機の方が安全か？
その橋は揺れたり落ちたりしたか？

そこでは合意された
かなり明確な基準があり

自然の法則が私たちを導いてくれます

私たちがそのような
支えや基準を何も持っていないのが

人間くさい事柄における
厄介な決定についてです

もっと複雑なことに
ソフトウェアは強力になりつつあります

その一方で 透明性を減らし
複雑さを増してもいるのです

ここ10年のあいだ

複雑なアルゴリズムは
大きく前進しました

人間の顔を認識できます

手書き文字を読み取れます

クレジットカードの不正使用を探知し

スパムをブロックし

言語の翻訳もできます

医用イメージングで
腫瘍を探しあてることもできます

チェスや碁で人間を
打ち負かすこともできます

この進歩の多くは 「機械学習」と
呼ばれる方法から成り立っています

機械学習は コンピュータに
詳細で正確、綿密な指示を与える―

伝統的なプログラミングとは異なります

機械学習は システムに 大量のデータを
しこたま詰め込むやり方です

そこには非構造化データという

人間がデジタルライフで
生成する類のものも含まれます

そしてシステムはこのデータを
組み合わせながら学習します

そしてまた重要なことに

これらのシステムは
答が単一になる論理で動いてはいません

単純に回答を与えるのではなく
もっと確率論的です

「これはおそらくあなたが
探しているものにより近いでしょう」

これの良い面は
この方法が非常に強力であることです

GoogleのAIシステムのトップはこれを

「データの理不尽なほどの強力さ」
と呼んでいます

このシステムの悪い面は

これが何を学習しているのか
私たちはそれほど理解していないことです

実際 その強力さが問題なのです

これはコンピュータに
指示を与えるというよりは

むしろ子犬のような生き物として
訓練するようなものです

その機械をそれほど
理解も制御もできていないのにです

これは問題です

この人工知能システムが
誤りを犯したときだけでなく

正しいことをした場合にも
問題が生じます

なぜなら主観的な問題の場合
私たちには正誤さえも分からないからです

私たちはこの物体が
何を考えているか知りません

ですから たとえば雇用アルゴリズムを
考えてみましょう

社員を雇う際に使われるシステムで
機械学習システムを使っています

そのようなシステムは過去の従業員の
データに基づいて訓練されています

そしてそのシステムが指示するのは

その会社に在籍する業績優秀者に似た
人材を探し雇うことです

良さそうですね

以前ある会議に
出席した折のことですが

そこには人事部のマネージャーと
執行役が集まっていました

高い職位の人たちで

そのようなシステムを
雇用に活用しています

彼らは非常にワクワクしていました

彼らの考えでは このシステムは
より客観的で偏見の少ない雇用を行い

マネージャーの偏見に対して
女性や少数派の人々に

より良い機会を与えるものでした

そうです　
雇用には偏見が混じるのです

私は知っています

ある職場で プログラマーとして
働きだした頃

直属のマネージャーが
時々私のところに来ました

それも早朝とか夕方にです

そして彼女はこう言うんです
「ゼイナップ ランチ行きましょ」

おかしなタイミングで
全く訳が分かりませんでした

午後４時にランチ？

私はお金がなかったので おごりでした
いつも行きました

後で何が起こっていたのか悟りました

直属のマネージャーは上層部に

重要な仕事のために雇ったのが

ジーンズとスニーカーで仕事をする
10代女子だと言ってなかったんです

私は良い仕事ぶりだったのに
体裁が悪くて

年齢や性別の点でも
良くなかったんです

ですから性別や人種に
惑わされない形での雇用は

非常に良いことだと
私には思えます

でもこのシステムを用いると
事態はより複雑になります なぜなら

現在コンピュータシステムは
あなたに関するあらゆる類のことを

デジタル情報の断片から
推測できるからです

自分が開示していなくてもです

システムはあなたの性的志向や

性格特徴や

政治的傾向を推測できます

システムは高水準の正確さで
予測する力を持っています

思い出してください
開示さえしていない事柄をですよ

これが推測です

ある友達は
そのようなコンピュータシステムを

病的な あるいは産後の 抑うつの可能性を
予測するために開発しています

SNSのデータを用いるんです

結果は素晴らしいです

彼女のシステムは
うつ罹患の可能性を

症状が現れる数か月前に
予測できるのです

数か月も前ですよ

症状が全くない段階での予測です

彼女はこれを早期介入のために
活用したがっています 素晴らしい！

でもこれを雇用の文脈で
考えてみましょう

例の 人事マネージャーの会議では

私はある非常に大きな企業の
高職位のマネージャーに近づき

こう言いました
「まだご存じないこととは思いますが

もしそのシステムが 将来うつになる可能性が
高い人を排除しているとしたらどうでしょう？

今ではなく　
将来そうなる可能性が高い人です

妊娠する可能性の
高い女性を排除しているとしたら？

来年か再来年のことで
今は妊娠していない場合ですよ？

もし職場の文化に合っているからと
攻撃的な人が雇われたらどうします？」

性別の構成からは
そのことを読み取れません

構成比はバランスが取れています

これは機械学習で
伝統的なプログラムではないので

たとえば「うつハイリスク」とか
「妊娠ハイリスク」

「攻撃的な人物度」

などの変数は登場しません

システムが何に基づいて選択しているのか
分からないばかりか

どうすれば分かるのかの
手がかりもありません

ブラックボックスなんです

システムには予測力がありますが
人間には理解できない代物です

「どんな安全対策をしていますか？

あなたのブラックボックスが
やましいことをしないようにです」

彼女は子犬の尻尾を10匹分も踏みつけた
人でなしを見るかのような顔になりました

（笑）

彼女は私をじっと見て言いました

「これについては
もう何も聞きたくない」

そして彼女は踵を返して
行ってしまいました

彼女が失礼なわけではありません

明らかに 聞かなかったことにしたい
あっち行ってという憎悪の眼差しでした

（笑）

いいですか そのようなシステムは
ある意味 偏見の程度は

人間のマネージャーよりは
少ないかもしれません

費用の面でも
理にかなっているでしょう

でもそれはまた

ひそやかながら確実に
労働市場からの

うつハイリスク者の締め出しに
つながりかねません

これが私たちの築きたい
社会の姿でしょうか？

こんなことをしていることさえ
私たちは知らないんです

完全には理解していない機械に
意思決定をさせているんですからね

もう１つの問題はこれです

このようなシステムの訓練は往々にして
人間の行動データに基づいています

人間らしさが刻み込まれています

それらは私たちの偏見を
反映している可能性があり

これらのシステムは
私たちの偏見を拾い上げ

それを増幅して

私たちに示し返しかねません

私たちはこんな言いっぷりなのにですよ

「私たちはまさしく客観的です
中立的なコンピューティングですから」

研究者たちは Googleにおいて

女性には 高給の求人広告が
表示されにくいことを見出しました

また アフリカ系アメリカ人の
名前を検索すると

犯罪歴をほのめかす広告が
高確率で表示されます

犯罪歴がない人の場合でもそうです

そのような隠れた偏見と
ブラックボックスのアルゴリズムを

研究者が暴くこともありますが
知られない場合もあります

それらは人生を
変える結果になりうるのです

ウィスコンシンで ある被告が
刑期６年の判決を受けました

警察官から逃げたためです

ご存知ないかもしれませんが

仮釈放や判決の決定においても
アルゴリズムの使用が増えています

彼はこのスコアが計算される仕組みを
知りたいと思いました

それは商用のブラックボックスです

企業はアルゴリズムが
公開の法廷で検証されるのを拒みました

でもProPublicaという非営利の調査団体が
そのアルゴリズムを監査しました

入手可能だった
公開データを用いてです

そして分かったのは
結果には偏見が影響しており

予測力はひどいものでした
偶然よりわずかにましな程度です

黒人の被告は 白人の被告に比べて
将来犯罪を起こす確率が

２倍高いと
誤ってラベリングされていました

ではこのケースを考えてみましょう

女性のほうは予定より遅れて
親友を迎えに行くため

フロリダ州ブロワード郡の
ある学校に向かって

友達と一緒に道を走っていました

ふたりはある家の玄関で 無施錠の
子ども用の自転車とキックスケーターを見つけ

愚かにもそれに飛び乗りました

走り去ろうとしたところ
女性が出てきて言いました

「ちょっと！
それはうちの子の自転車よ！」

ふたりは降りて 歩き去りましたが
逮捕されました

彼女は間違っていたし愚かでした
でもまだ18歳です

彼女は２回の非行歴がありました

一方 男性のほうは Home Depoで
万引きをして捕まりました

彼が万引きしたのは85ドル相当で
同じく軽犯罪ですが

彼は強盗で前科２犯でした

でもアルゴリズムは 男性ではなく
女性の方をハイリスクと評価しました

その女性が２年後に再犯していないことを
ProPiblicaは明らかにしています

犯罪記録をもつ彼女が
職を得るのは実に困難でした

一方 男性の方は再犯し

２つ目の犯罪のために
現在は８年間の収監中です

ブラックボックスに対して
監査が必要なのは明白です

チェックしないままこの種の権力を
与えてはいけないのです

（拍手）

監査は偉大で重要ですが
それで全ての問題を解決できはしません

Facebookのニュース・フィードの
強力なアルゴリズムの場合

全てをランク付けし
全ての友達やフォロー中のページのなかで

何を見るべきか決定する仕組みですね

赤ちゃんの写真をもう１枚見るべきか？

（笑）

知り合いからの ご機嫌斜めのコメントは？

重要だけど難解なニュース記事は？

正答はありません

Facebookはサイト上での
やりとりに応じて最適化します

「いいね」やシェア コメント
といったものです

2014年8月

ミズーリ州ファーガソンで
抗議運動が勃発しました

アフリカ系アメリカ人の10代が
白人の警察官に殺され

その状況が不審だったのです

抗議運動のニュースは

フィルタリングされない
Twitterフィードを埋め尽くしました

でもFacebookには何ら
表示されませんでした

Facebook上の友達との
関連でしょうか？

私はFacebookのアルゴリズムを
無効にしました

Facebookはアルゴリズムの
管理下に置きたがるので

難しかったですけどね

すると友達が 抗議運動のことを
話しているのが分かりました

アルゴリズムが私に
見せなかっただけなんです

調査して分かりましたが
これは広範囲にわたる問題でした

ファーガソンの話題は
アルゴリズムに馴染まなかったんです

「いいね」しにくいのです

誰が「いいね」します？

コメントをするのさえ
容易じゃありません

「いいね」もコメントもないので

アルゴリズムは少数の人にしか
それを表示しません

だから目にすることがなかったんです

そのかわり その週

Facebookのアルゴリズムが
ハイライトしたのは

ALSアイス・バケツ・チャレンジでした

価値のある目的で氷水をかぶり
チャリティに寄付 良いですね

でも極めてよく
アルゴリズムに馴染みます

機械が私たちのために
これを決定したんです

非常に重要だけれど難解な会話は

Facebookが唯一の経路の場合

抑え込まれてきたのかもしれません

さて最後にこれらのシステムは

人間のシステムとは似つかない誤りを
犯しうるのです

皆さんはワトソンを覚えていますか
IBMの機械知能システムで

クイズ番組『ジェパディ！』で
対戦相手の人間を打ち負かしました

すごい選手だったんです

しかし最終問題で
ワトソンは こんな質問をされました

「その地域最大の空港の名は
第二次世界大戦の英雄に由来し

２番目の空港の名の由来は
第二次世界大戦中の戦いです」

（最終問題の音楽をハミング）

「シカゴ」

人間ふたりは正答でした

一方ワトソンの答えは
「トロント」

米国の都市についての
問題だったのに！

この素晴らしいシステムも
エラーをするんです

人間はしないようなエラーです
２年生の子どもでもしません

機械知能は失敗を犯すこともあるんです

人間のエラーパターンとは
異なります

予想外であり 備えもできないような方法です

資質のある人が仕事を得られないのも
ひどい話ですが

もしそれがプログラムのサブルーチンに伴う
スタックオーバーフローが原因なら

３倍ひどい話です

（笑）

2010年5月

ウォールストリートの
「売り」アルゴリズムでの

フィードバックループによって
瞬間暴落が起き

36分間で１兆ドル相当の
損失が出ました

「エラー」の意味を
考えたくもないのが

無人攻撃機の場合です

ええ人間には 偏見がつきものです

意思決定者やゲートキーパー

法廷、ニュース、戦争・・・

そこではミスが生じますが
これこそ私の言いたいことです

これらの難問から
私たちは逃れられません

私たちは責任を
機械に外部委託することはできないのです

（拍手）

人工知能は「倫理問題からの解放」カードを
私たちにくれたりしません

データ科学者のフレッド・ベネンソンは
これを数学による洗脳だと呼びました

私たちに必要なのは逆のものです

私たちはアルゴリズムを疑い
精査するようにならねばなりません

私たちは アルゴリズムについての
説明責任を持ち

監査や意味のある透明化を
求めなければなりません

私たちは厄介で価値観にかかわる
人間くさい事柄に対して

数学や計算機は
客観性をもたらしえないことを

受け入れなければなりません

むしろ人間くささのもつ複雑さが
アルゴリズムを管理するのです

確かに私たちは コンピュータを
良い決断を下す助けとして

使いうるし そうすべきです

でも私たちは判断を下すことへの
自分の道徳的な責任を認め

そしてアルゴリズムを
その枠内で用いなければなりません

自分の責任を放棄して
別の人間へ委ねることとは

異なるのです

機械知能はもう存在しています

つまり私たちは
人間としての価値観や倫理感を

よりしっかり持たねばなりません

ありがとうございました

（拍手）