0:00:00.739,0:00:04.861
私はコンピュータ・プログラマー[br]としての最初の仕事を

0:00:04.885,0:00:06.841
大学１年生で始めました

0:00:06.865,0:00:08.372
まあ 10代だったんですね

0:00:08.889,0:00:10.621
ある会社で ソフトウェアを

0:00:10.645,0:00:12.255
書くという仕事を 始めてまもなく

0:00:12.799,0:00:16.434
会社のマネージャーが[br]私のところに来て

0:00:16.458,0:00:17.726
こうささやきました

0:00:18.229,0:00:21.090
「僕の嘘 彼にばれてる？」

0:00:21.806,0:00:23.883
部屋には他に誰もいません

0:00:25.032,0:00:29.421
「誰にばれてるって言うんです？[br]それにどうしてひそひそ声で？」

0:00:30.266,0:00:33.373
マネージャーは[br]室内のコンピュータを指さして

0:00:33.397,0:00:36.493
「僕の嘘 彼にばれてる？」

0:00:37.613,0:00:41.975
実はこのマネージャー [br]受付係と浮気してたんです

0:00:41.999,0:00:43.111
（笑）

0:00:43.135,0:00:44.901
私はまだ10代でした

0:00:45.447,0:00:47.466
だからささやき声で[br]彼に叫び返しました

0:00:47.490,0:00:51.114
「ええ コンピュータには[br]お見通しですよ」って

0:00:51.138,0:00:52.944
（笑）

0:00:52.968,0:00:55.891
笑っちゃいましたが 実は[br]その笑いは自分に返ってきました

0:00:55.915,0:00:59.183
今日 コンピュータ・システムは

0:00:59.207,0:01:02.755
人間の顔画像を処理することによって

0:01:02.779,0:01:04.823
感情や 嘘まで見抜けるんです

0:01:05.248,0:01:09.401
広告主や 政府までもが[br]非常に関心を寄せています

0:01:10.319,0:01:12.181
コンピュータプログラマーに[br]私がなったのは

0:01:12.205,0:01:15.318
子どもの頃から数学と科学が[br]熱狂的に好きだったからです

0:01:15.942,0:01:19.050
しかしその過程で[br]核兵器についても学び

0:01:19.074,0:01:22.026
科学の倫理について[br]非常に懸念するようになりました

0:01:22.050,0:01:23.254
悩みました

0:01:23.278,0:01:25.919
しかし 家庭の事情で

0:01:25.943,0:01:29.241
私はできるだけ早く[br]働き始めなければなりませんでした

0:01:29.265,0:01:32.564
それでひそかに考えました[br]技術者として

0:01:32.588,0:01:34.384
簡単に職が得られて

0:01:34.408,0:01:38.426
倫理という厄介な問題を何も[br]考えなくていい分野の仕事はないかと

0:01:39.022,0:01:40.551
それで選んだのがコンピュータです

0:01:40.575,0:01:41.679
（笑）

0:01:41.703,0:01:45.113
ハハ 笑っちゃう[br]自分のことを笑ってるんです

0:01:45.137,0:01:47.891
近頃 コンピュータ科学者は

0:01:47.915,0:01:52.124
10億人が毎日見ているものを制御する[br]プラットフォームを作っています

0:01:53.052,0:01:56.874
誰をひき殺すか決定できる[br]車を開発しています

0:01:57.707,0:02:00.920
戦争で人間を殺すかもしれないような

0:02:00.944,0:02:03.229
機械や兵器さえも作っています

0:02:03.253,0:02:06.024
全てにおいて重要になるのが倫理です

0:02:07.183,0:02:09.241
機械知能は もう存在しています

0:02:09.823,0:02:13.297
私たちは今や コンピュータを使って[br]あらゆる種類の決定を下し

0:02:13.321,0:02:15.207
さらに新しい類の決定も下します

0:02:15.231,0:02:20.403
私たちは 単一の正答がない問題の答えを[br]コンピュータに尋ねています

0:02:20.427,0:02:21.629
その問題とは 主観的で

0:02:21.653,0:02:23.978
オープンエンドで[br]価値観にかかわるものです

0:02:24.002,0:02:25.760
私たちがする質問はこんなふうです

0:02:25.784,0:02:27.434
「誰を社員に採用すべきか？」

0:02:28.096,0:02:30.855
「どの友達からの新着情報を[br]表示すべきか？」

0:02:30.879,0:02:33.145
「再犯する可能性の高い受刑者は誰か？」

0:02:33.514,0:02:36.568
「人々に勧めるべき [br]ニュースや映画はどれか？」

0:02:36.592,0:02:39.964
確かに私たちは しばらくの間[br]コンピュータを使ってきました

0:02:39.988,0:02:41.505
しかしこれは違います

0:02:41.529,0:02:43.596
これは歴史的なひずみです

0:02:43.620,0:02:48.957
なぜならそのような主観的な決定を[br]コンピュータには頼れないからです

0:02:48.981,0:02:54.401
飛行機を飛ばしたり 建物を建てたり

0:02:54.425,0:02:55.684
月に行く場合とは違うんです

0:02:56.449,0:02:59.708
飛行機の方が安全か？[br]その橋は揺れたり落ちたりしたか？

0:02:59.732,0:03:04.230
そこでは合意された[br]かなり明確な基準があり

0:03:04.254,0:03:06.493
自然の法則が私たちを導いてくれます

0:03:06.517,0:03:09.911
私たちがそのような[br]支えや基準を何も持っていないのが

0:03:09.935,0:03:13.898
人間くさい事柄における[br]厄介な決定についてです

0:03:13.922,0:03:18.159
もっと複雑なことに[br]ソフトウェアは強力になりつつあります

0:03:18.183,0:03:21.956
その一方で 透明性を減らし[br]複雑さを増してもいるのです

0:03:22.542,0:03:24.582
ここ10年のあいだ

0:03:24.606,0:03:27.335
複雑なアルゴリズムは[br]大きく前進しました

0:03:27.359,0:03:29.349
人間の顔を認識できます

0:03:29.985,0:03:32.040
手書き文字を読み取れます

0:03:32.436,0:03:34.502
クレジットカードの不正使用を探知し

0:03:34.526,0:03:35.715
スパムをブロックし

0:03:35.739,0:03:37.776
言語の翻訳もできます

0:03:37.800,0:03:40.374
医用イメージングで[br]腫瘍を探しあてることもできます

0:03:40.398,0:03:42.603
チェスや碁で人間を [br]打ち負かすこともできます

0:03:43.264,0:03:47.768
この進歩の多くは 「機械学習」と[br]呼ばれる方法から成り立っています

0:03:48.175,0:03:51.362
機械学習は コンピュータに[br]詳細で正確、綿密な指示を与える―

0:03:51.386,0:03:54.971
伝統的なプログラミングとは異なります

0:03:55.378,0:03:59.560
機械学習は システムに 大量のデータを[br]しこたま詰め込むやり方です

0:03:59.584,0:04:01.240
そこには非構造化データという

0:04:01.264,0:04:03.542
人間がデジタルライフで[br]生成する類のものも含まれます

0:04:03.566,0:04:06.296
そしてシステムはこのデータを[br]組み合わせながら学習します

0:04:06.669,0:04:08.195
そしてまた重要なことに

0:04:08.219,0:04:12.599
これらのシステムは[br]答が単一になる論理で動いてはいません

0:04:12.623,0:04:15.582
単純に回答を与えるのではなく[br]もっと確率論的です

0:04:15.606,0:04:19.089
「これはおそらくあなたが[br]探しているものにより近いでしょう」

0:04:20.023,0:04:23.093
これの良い面は[br]この方法が非常に強力であることです

0:04:23.117,0:04:25.193
GoogleのAIシステムのトップはこれを

0:04:25.217,0:04:27.414
「データの理不尽なほどの強力さ」[br]と呼んでいます

0:04:27.791,0:04:29.144
このシステムの悪い面は

0:04:29.738,0:04:32.809
これが何を学習しているのか[br]私たちはそれほど理解していないことです

0:04:32.833,0:04:34.420
実際 その強力さが問題なのです

0:04:34.946,0:04:38.744
これはコンピュータに[br]指示を与えるというよりは

0:04:39.200,0:04:43.264
むしろ子犬のような生き物として[br]訓練するようなものです

0:04:43.288,0:04:45.659
その機械をそれほど[br]理解も制御もできていないのにです

0:04:46.362,0:04:47.913
これは問題です

0:04:48.427,0:04:52.689
この人工知能システムが[br]誤りを犯したときだけでなく

0:04:52.713,0:04:56.253
正しいことをした場合にも[br]問題が生じます

0:04:56.277,0:04:59.905
なぜなら主観的な問題の場合[br]私たちには正誤さえも分からないからです

0:04:59.929,0:05:02.268
私たちはこの物体が[br]何を考えているか知りません

0:05:03.493,0:05:07.176
ですから たとえば雇用アルゴリズムを[br]考えてみましょう

0:05:08.123,0:05:12.434
社員を雇う際に使われるシステムで[br]機械学習システムを使っています

0:05:13.052,0:05:16.631
そのようなシステムは過去の従業員の[br]データに基づいて訓練されています

0:05:16.655,0:05:19.246
そしてそのシステムが指示するのは

0:05:19.270,0:05:22.308
その会社に在籍する業績優秀者に似た[br]人材を探し雇うことです

0:05:22.814,0:05:23.967
良さそうですね

0:05:23.991,0:05:25.990
以前ある会議に[br]出席した折のことですが

0:05:26.014,0:05:29.139
そこには人事部のマネージャーと[br]執行役が集まっていました

0:05:29.163,0:05:30.369
高い職位の人たちで

0:05:30.393,0:05:31.952
そのようなシステムを[br]雇用に活用しています

0:05:31.976,0:05:33.622
彼らは非常にワクワクしていました

0:05:33.646,0:05:38.299
彼らの考えでは このシステムは[br]より客観的で偏見の少ない雇用を行い

0:05:38.323,0:05:41.323
マネージャーの偏見に対して[br]女性や少数派の人々に

0:05:41.347,0:05:43.535
より良い機会を与えるものでした

0:05:43.559,0:05:46.402
そうです　[br]雇用には偏見が混じるのです

0:05:47.099,0:05:48.284
私は知っています

0:05:48.308,0:05:51.313
ある職場で プログラマーとして[br]働きだした頃

0:05:51.337,0:05:55.205
直属のマネージャーが[br]時々私のところに来ました

0:05:55.229,0:05:58.982
それも早朝とか夕方にです

0:05:59.006,0:06:02.068
そして彼女はこう言うんです[br]「ゼイナップ ランチ行きましょ」

0:06:02.724,0:06:04.891
おかしなタイミングで[br]全く訳が分かりませんでした

0:06:04.915,0:06:07.044
午後４時にランチ？

0:06:07.068,0:06:10.162
私はお金がなかったので おごりでした[br]いつも行きました

0:06:10.618,0:06:12.685
後で何が起こっていたのか悟りました

0:06:12.709,0:06:17.255
直属のマネージャーは上層部に

0:06:17.279,0:06:20.392
重要な仕事のために雇ったのが

0:06:20.416,0:06:24.346
ジーンズとスニーカーで仕事をする[br]10代女子だと言ってなかったんです

0:06:25.174,0:06:27.376
私は良い仕事ぶりだったのに[br]体裁が悪くて

0:06:27.400,0:06:29.099
年齢や性別の点でも[br]良くなかったんです

0:06:29.123,0:06:32.469
ですから性別や人種に[br]惑わされない形での雇用は

0:06:32.493,0:06:34.358
非常に良いことだと[br]私には思えます

0:06:35.031,0:06:38.372
でもこのシステムを用いると[br]事態はより複雑になります なぜなら

0:06:38.968,0:06:44.759
現在コンピュータシステムは[br]あなたに関するあらゆる類のことを

0:06:44.783,0:06:46.655
デジタル情報の断片から[br]推測できるからです

0:06:46.679,0:06:49.012
自分が開示していなくてもです

0:06:49.506,0:06:52.433
システムはあなたの性的志向や

0:06:52.994,0:06:54.300
性格特徴や

0:06:54.859,0:06:56.232
政治的傾向を推測できます

0:06:56.830,0:07:00.515
システムは高水準の正確さで[br]予測する力を持っています

0:07:01.362,0:07:03.940
思い出してください [br]開示さえしていない事柄をですよ

0:07:03.964,0:07:05.555
これが推測です

0:07:05.579,0:07:08.840
ある友達は [br]そのようなコンピュータシステムを

0:07:08.864,0:07:12.505
病的な あるいは産後の 抑うつの可能性を[br]予測するために開発しています

0:07:12.529,0:07:13.945
SNSのデータを用いるんです

0:07:14.676,0:07:16.103
結果は素晴らしいです

0:07:16.492,0:07:19.849
彼女のシステムは[br]うつ罹患の可能性を

0:07:19.873,0:07:23.776
症状が現れる数か月前に[br]予測できるのです

0:07:23.800,0:07:25.173
数か月も前ですよ

0:07:25.197,0:07:27.443
症状が全くない段階での予測です

0:07:27.467,0:07:32.279
彼女はこれを早期介入のために[br]活用したがっています 素晴らしい！

0:07:32.911,0:07:34.951
でもこれを雇用の文脈で[br]考えてみましょう

0:07:36.027,0:07:39.073
例の 人事マネージャーの会議では

0:07:39.097,0:07:43.806
私はある非常に大きな企業の[br]高職位のマネージャーに近づき

0:07:43.830,0:07:48.408
こう言いました[br]「まだご存じないこととは思いますが

0:07:48.432,0:07:54.981
もしそのシステムが 将来うつになる可能性が[br]高い人を排除しているとしたらどうでしょう？

0:07:55.761,0:07:59.137
今ではなく　[br]将来そうなる可能性が高い人です

0:07:59.923,0:08:03.329
妊娠する可能性の[br]高い女性を排除しているとしたら？

0:08:03.353,0:08:05.939
来年か再来年のことで [br]今は妊娠していない場合ですよ？

0:08:06.844,0:08:12.480
もし職場の文化に合っているからと[br]攻撃的な人が雇われたらどうします？」

0:08:13.173,0:08:15.864
性別の構成からは[br]そのことを読み取れません

0:08:15.888,0:08:17.390
構成比はバランスが取れています

0:08:17.414,0:08:20.971
これは機械学習で [br]伝統的なプログラムではないので

0:08:20.995,0:08:25.902
たとえば「うつハイリスク」とか[br]「妊娠ハイリスク」

0:08:25.926,0:08:27.759
「攻撃的な人物度」

0:08:27.783,0:08:29.517
などの変数は登場しません

0:08:29.995,0:08:33.674
システムが何に基づいて選択しているのか[br]分からないばかりか

0:08:33.698,0:08:36.021
どうすれば分かるのかの[br]手がかりもありません

0:08:36.045,0:08:37.291
ブラックボックスなんです

0:08:37.315,0:08:40.122
システムには予測力がありますが[br]人間には理解できない代物です

0:08:40.486,0:08:42.855
「どんな安全対策をしていますか？

0:08:42.879,0:08:46.552
あなたのブラックボックスが[br]やましいことをしないようにです」

0:08:48.863,0:08:52.741
彼女は子犬の尻尾を10匹分も踏みつけた[br]人でなしを見るかのような顔になりました

0:08:52.765,0:08:54.013
（笑）

0:08:54.037,0:08:56.078
彼女は私をじっと見て言いました

0:08:56.556,0:09:00.889
「これについては[br]もう何も聞きたくない」

0:09:01.458,0:09:03.492
そして彼女は踵を返して[br]行ってしまいました

0:09:04.064,0:09:05.550
彼女が失礼なわけではありません

0:09:05.574,0:09:11.882
明らかに 聞かなかったことにしたい[br]あっち行ってという憎悪の眼差しでした

0:09:11.906,0:09:13.152
（笑）

0:09:13.862,0:09:17.701
いいですか そのようなシステムは[br]ある意味 偏見の程度は

0:09:17.725,0:09:19.828
人間のマネージャーよりは[br]少ないかもしれません

0:09:19.852,0:09:21.998
費用の面でも[br]理にかなっているでしょう

0:09:22.573,0:09:24.223
でもそれはまた

0:09:24.247,0:09:28.995
ひそやかながら確実に[br]労働市場からの

0:09:29.019,0:09:31.312
うつハイリスク者の締め出しに[br]つながりかねません

0:09:31.753,0:09:34.349
これが私たちの築きたい[br]社会の姿でしょうか？

0:09:34.373,0:09:36.658
こんなことをしていることさえ[br]私たちは知らないんです

0:09:36.682,0:09:40.646
完全には理解していない機械に[br]意思決定をさせているんですからね

0:09:41.265,0:09:42.723
もう１つの問題はこれです

0:09:43.314,0:09:47.766
このようなシステムの訓練は往々にして[br]人間の行動データに基づいています

0:09:47.790,0:09:49.606
人間らしさが刻み込まれています

0:09:50.188,0:09:53.996
それらは私たちの偏見を[br]反映している可能性があり

0:09:54.020,0:09:57.613
これらのシステムは[br]私たちの偏見を拾い上げ

0:09:57.637,0:09:58.950
それを増幅して

0:09:58.974,0:10:00.392
私たちに示し返しかねません

0:10:00.416,0:10:01.878
私たちはこんな言いっぷりなのにですよ

0:10:01.902,0:10:05.019
「私たちはまさしく客観的です[br]中立的なコンピューティングですから」

0:10:06.314,0:10:08.991
研究者たちは Googleにおいて

0:10:10.134,0:10:15.447
女性には 高給の求人広告が[br]表示されにくいことを見出しました

0:10:16.463,0:10:18.993
また アフリカ系アメリカ人の[br]名前を検索すると

0:10:19.017,0:10:23.723
犯罪歴をほのめかす広告が[br]高確率で表示されます

0:10:23.747,0:10:25.314
犯罪歴がない人の場合でもそうです

0:10:26.693,0:10:30.242
そのような隠れた偏見と[br]ブラックボックスのアルゴリズムを

0:10:30.266,0:10:34.239
研究者が暴くこともありますが[br]知られない場合もあります

0:10:34.263,0:10:36.924
それらは人生を[br]変える結果になりうるのです

0:10:37.958,0:10:42.117
ウィスコンシンで ある被告が[br]刑期６年の判決を受けました

0:10:42.141,0:10:43.496
警察官から逃げたためです

0:10:44.824,0:10:46.010
ご存知ないかもしれませんが

0:10:46.034,0:10:50.032
仮釈放や判決の決定においても[br]アルゴリズムの使用が増えています

0:10:50.056,0:10:53.011
彼はこのスコアが計算される仕組みを[br]知りたいと思いました

0:10:53.795,0:10:55.460
それは商用のブラックボックスです

0:10:55.484,0:10:59.689
企業はアルゴリズムが[br]公開の法廷で検証されるのを拒みました

0:11:00.396,0:11:05.928
でもProPublicaという非営利の調査団体が[br]そのアルゴリズムを監査しました

0:11:05.952,0:11:07.968
入手可能だった[br]公開データを用いてです

0:11:07.992,0:11:10.308
そして分かったのは[br]結果には偏見が影響しており

0:11:10.332,0:11:13.961
予測力はひどいものでした[br]偶然よりわずかにましな程度です

0:11:13.985,0:11:18.401
黒人の被告は 白人の被告に比べて[br]将来犯罪を起こす確率が

0:11:18.425,0:11:22.320
２倍高いと[br]誤ってラベリングされていました

0:11:23.891,0:11:25.455
ではこのケースを考えてみましょう

0:11:26.103,0:11:29.955
女性のほうは予定より遅れて[br]親友を迎えに行くため

0:11:29.979,0:11:32.054
フロリダ州ブロワード郡の[br]ある学校に向かって

0:11:32.757,0:11:35.113
友達と一緒に道を走っていました

0:11:35.137,0:11:39.236
ふたりはある家の玄関で 無施錠の[br]子ども用の自転車とキックスケーターを見つけ

0:11:39.260,0:11:40.892
愚かにもそれに飛び乗りました

0:11:40.916,0:11:43.515
走り去ろうとしたところ[br]女性が出てきて言いました

0:11:43.539,0:11:45.744
「ちょっと！[br]それはうちの子の自転車よ！」

0:11:45.768,0:11:49.062
ふたりは降りて 歩き去りましたが[br]逮捕されました

0:11:49.086,0:11:52.723
彼女は間違っていたし愚かでした[br]でもまだ18歳です

0:11:52.747,0:11:55.291
彼女は２回の非行歴がありました

0:11:55.808,0:12:00.993
一方 男性のほうは Home Depoで[br]万引きをして捕まりました

0:12:01.017,0:12:03.941
彼が万引きしたのは85ドル相当で[br]同じく軽犯罪ですが

0:12:04.766,0:12:09.325
彼は強盗で前科２犯でした

0:12:09.955,0:12:13.437
でもアルゴリズムは 男性ではなく[br]女性の方をハイリスクと評価しました

0:12:14.746,0:12:18.620
その女性が２年後に再犯していないことを[br]ProPiblicaは明らかにしています

0:12:18.644,0:12:21.194
犯罪記録をもつ彼女が[br]職を得るのは実に困難でした

0:12:21.218,0:12:23.294
一方 男性の方は再犯し

0:12:23.318,0:12:27.154
２つ目の犯罪のために[br]現在は８年間の収監中です

0:12:28.088,0:12:31.457
ブラックボックスに対して[br]監査が必要なのは明白です

0:12:31.481,0:12:34.096
チェックしないままこの種の権力を[br]与えてはいけないのです

0:12:34.120,0:12:36.999
（拍手）

0:12:38.087,0:12:42.329
監査は偉大で重要ですが[br]それで全ての問題を解決できはしません

0:12:42.353,0:12:45.101
Facebookのニュース・フィードの[br]強力なアルゴリズムの場合

0:12:45.125,0:12:49.968
全てをランク付けし[br]全ての友達やフォロー中のページのなかで

0:12:49.992,0:12:52.276
何を見るべきか決定する仕組みですね

0:12:52.898,0:12:55.173
赤ちゃんの写真をもう１枚見るべきか？

0:12:55.197,0:12:56.393
（笑）

0:12:56.417,0:12:59.013
知り合いからの ご機嫌斜めのコメントは？

0:12:59.449,0:13:01.305
重要だけど難解なニュース記事は？

0:13:01.329,0:13:02.811
正答はありません

0:13:02.835,0:13:05.494
Facebookはサイト上での[br]やりとりに応じて最適化します

0:13:05.518,0:13:06.933
「いいね」やシェア コメント[br]といったものです

0:13:08.168,0:13:10.864
2014年8月

0:13:10.888,0:13:13.550
ミズーリ州ファーガソンで[br]抗議運動が勃発しました

0:13:13.574,0:13:17.991
アフリカ系アメリカ人の10代が[br]白人の警察官に殺され

0:13:18.015,0:13:19.585
その状況が不審だったのです

0:13:19.974,0:13:21.981
抗議運動のニュースは

0:13:22.005,0:13:24.690
フィルタリングされない[br]Twitterフィードを埋め尽くしました

0:13:24.714,0:13:26.664
でもFacebookには何ら[br]表示されませんでした

0:13:27.182,0:13:28.916
Facebook上の友達との[br]関連でしょうか？

0:13:28.940,0:13:30.972
私はFacebookのアルゴリズムを[br]無効にしました

0:13:31.472,0:13:34.320
Facebookはアルゴリズムの[br]管理下に置きたがるので

0:13:34.344,0:13:36.380
難しかったですけどね

0:13:36.404,0:13:38.642
すると友達が 抗議運動のことを[br]話しているのが分かりました

0:13:38.666,0:13:41.175
アルゴリズムが私に[br]見せなかっただけなんです

0:13:41.199,0:13:44.241
調査して分かりましたが[br]これは広範囲にわたる問題でした

0:13:44.265,0:13:48.078
ファーガソンの話題は[br]アルゴリズムに馴染まなかったんです

0:13:48.102,0:13:49.273
「いいね」しにくいのです

0:13:49.297,0:13:50.849
誰が「いいね」します？

0:13:51.500,0:13:53.706
コメントをするのさえ[br]容易じゃありません

0:13:53.730,0:13:55.101
「いいね」もコメントもないので

0:13:55.125,0:13:58.417
アルゴリズムは少数の人にしか[br]それを表示しません

0:13:58.441,0:13:59.983
だから目にすることがなかったんです

0:14:00.946,0:14:02.174
そのかわり その週

0:14:02.198,0:14:04.496
Facebookのアルゴリズムが[br]ハイライトしたのは

0:14:04.520,0:14:06.746
ALSアイス・バケツ・チャレンジでした

0:14:06.770,0:14:10.512
価値のある目的で氷水をかぶり[br]チャリティに寄付 良いですね

0:14:10.536,0:14:12.440
でも極めてよく[br]アルゴリズムに馴染みます

0:14:13.219,0:14:15.832
機械が私たちのために[br]これを決定したんです

0:14:15.856,0:14:19.353
非常に重要だけれど難解な会話は

0:14:19.377,0:14:20.932
Facebookが唯一の経路の場合

0:14:20.956,0:14:23.652
抑え込まれてきたのかもしれません

0:14:24.117,0:14:27.914
さて最後にこれらのシステムは

0:14:27.938,0:14:30.674
人間のシステムとは似つかない誤りを[br]犯しうるのです

0:14:30.698,0:14:33.620
皆さんはワトソンを覚えていますか[br]IBMの機械知能システムで

0:14:33.644,0:14:36.772
クイズ番組『ジェパディ！』で[br]対戦相手の人間を打ち負かしました

0:14:37.131,0:14:38.559
すごい選手だったんです

0:14:38.583,0:14:42.152
しかし最終問題で[br]ワトソンは こんな質問をされました

0:14:42.659,0:14:45.591
「その地域最大の空港の名は[br]第二次世界大戦の英雄に由来し

0:14:45.615,0:14:47.867
２番目の空港の名の由来は[br]第二次世界大戦中の戦いです」

0:14:47.891,0:14:49.269
（最終問題の音楽をハミング）

0:14:49.582,0:14:50.764
「シカゴ」

0:14:50.788,0:14:52.158
人間ふたりは正答でした

0:14:52.697,0:14:57.045
一方ワトソンの答えは[br]「トロント」

0:14:57.069,0:14:58.887
米国の都市についての[br]問題だったのに！

0:14:59.596,0:15:02.497
この素晴らしいシステムも[br]エラーをするんです

0:15:02.521,0:15:06.172
人間はしないようなエラーです[br]２年生の子どもでもしません

0:15:06.823,0:15:09.932
機械知能は失敗を犯すこともあるんです

0:15:09.956,0:15:13.056
人間のエラーパターンとは[br]異なります

0:15:13.080,0:15:16.030
予想外であり 備えもできないような方法です

0:15:16.054,0:15:19.692
資質のある人が仕事を得られないのも[br]ひどい話ですが

0:15:19.716,0:15:23.443
もしそれがプログラムのサブルーチンに伴う[br]スタックオーバーフローが原因なら

0:15:23.467,0:15:24.899
３倍ひどい話です

0:15:24.923,0:15:26.502
（笑）

0:15:26.526,0:15:29.312
2010年5月

0:15:29.336,0:15:33.380
ウォールストリートの[br]「売り」アルゴリズムでの

0:15:33.404,0:15:36.432
フィードバックループによって[br]瞬間暴落が起き

0:15:36.456,0:15:40.640
36分間で１兆ドル相当の[br]損失が出ました

0:15:41.722,0:15:43.909
「エラー」の意味を[br]考えたくもないのが

0:15:43.933,0:15:47.522
無人攻撃機の場合です

0:15:49.894,0:15:53.684
ええ人間には 偏見がつきものです

0:15:53.708,0:15:55.884
意思決定者やゲートキーパー

0:15:55.908,0:15:59.401
法廷、ニュース、戦争・・・

0:15:59.425,0:16:02.463
そこではミスが生じますが[br]これこそ私の言いたいことです

0:16:02.487,0:16:06.008
これらの難問から[br]私たちは逃れられません

0:16:06.596,0:16:10.112
私たちは責任を[br]機械に外部委託することはできないのです

0:16:10.676,0:16:14.884
（拍手）

0:16:17.089,0:16:21.536
人工知能は「倫理問題からの解放」カードを[br]私たちにくれたりしません

0:16:22.742,0:16:26.123
データ科学者のフレッド・ベネンソンは[br]これを数学による洗脳だと呼びました

0:16:26.147,0:16:27.536
私たちに必要なのは逆のものです

0:16:27.560,0:16:32.948
私たちはアルゴリズムを疑い [br]精査するようにならねばなりません

0:16:33.380,0:16:36.578
私たちは アルゴリズムについての[br]説明責任を持ち

0:16:36.602,0:16:39.047
監査や意味のある透明化を[br]求めなければなりません

0:16:39.380,0:16:42.614
私たちは厄介で価値観にかかわる[br]人間くさい事柄に対して

0:16:42.638,0:16:45.608
数学や計算機は[br]客観性をもたらしえないことを

0:16:45.632,0:16:48.016
受け入れなければなりません

0:16:48.894,0:16:51.673
むしろ人間くささのもつ複雑さが[br]アルゴリズムを管理するのです

0:16:52.148,0:16:55.635
確かに私たちは コンピュータを[br]良い決断を下す助けとして

0:16:55.659,0:16:57.673
使いうるし そうすべきです

0:16:57.697,0:17:03.029
でも私たちは判断を下すことへの[br]自分の道徳的な責任を認め

0:17:03.053,0:17:05.871
そしてアルゴリズムを[br]その枠内で用いなければなりません

0:17:05.895,0:17:10.830
自分の責任を放棄して[br]別の人間へ委ねることとは

0:17:10.854,0:17:13.308
異なるのです

0:17:13.807,0:17:16.416
機械知能はもう存在しています

0:17:16.440,0:17:19.861
つまり私たちは[br]人間としての価値観や倫理感を

0:17:19.885,0:17:22.032
よりしっかり持たねばなりません

0:17:22.056,0:17:23.210
ありがとうございました

0:17:23.234,0:17:28.254
（拍手）