WEBVTT

00:00:00.739 --> 00:00:04.861
私はコンピュータ・プログラマー
としての最初の仕事を

00:00:04.885 --> 00:00:06.841
大学１年生で始めました

00:00:06.865 --> 00:00:08.372
まあ 10代だったんですね

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
ある会社で ソフトウェアを

00:00:10.645 --> 00:00:12.255
書くという仕事を 始めてまもなく

00:00:12.799 --> 00:00:16.434
会社のマネージャーが
私のところに来て

00:00:16.458 --> 00:00:17.726
こうささやきました

00:00:18.229 --> 00:00:21.090
「僕の嘘 彼にばれてる？」

00:00:21.806 --> 00:00:23.883
部屋には他に誰もいません

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
「誰にばれてるって言うんです？
それにどうしてひそひそ声で？」

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
マネージャーは
室内のコンピュータを指さして

00:00:33.397 --> 00:00:36.493
「僕の嘘 彼にばれてる？」

00:00:37.613 --> 00:00:41.975
実はこのマネージャー 
受付係と浮気してたんです

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
（笑）

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
私はまだ10代でした

00:00:45.447 --> 00:00:47.466
だからささやき声で
彼に叫び返しました

00:00:47.490 --> 00:00:51.114
「ええ コンピュータには
お見通しですよ」って

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
（笑）

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
笑っちゃいましたが 実は
その笑いは自分に返ってきました

00:00:55.915 --> 00:00:59.183
今日 コンピュータ・システムは

00:00:59.207 --> 00:01:02.755
人間の顔画像を処理することによって

00:01:02.779 --> 00:01:04.823
感情や 嘘まで見抜けるんです

00:01:05.248 --> 00:01:09.401
広告主や 政府までもが
非常に関心を寄せています

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
コンピュータプログラマーに
私がなったのは

00:01:12.205 --> 00:01:15.318
子どもの頃から数学と科学が
熱狂的に好きだったからです

00:01:15.942 --> 00:01:19.050
しかしその過程で
核兵器についても学び

00:01:19.074 --> 00:01:22.026
科学の倫理について
非常に懸念するようになりました

00:01:22.050 --> 00:01:23.254
悩みました

00:01:23.278 --> 00:01:25.919
しかし 家庭の事情で

00:01:25.943 --> 00:01:29.241
私はできるだけ早く
働き始めなければなりませんでした

00:01:29.265 --> 00:01:32.564
それでひそかに考えました
技術者として

00:01:32.588 --> 00:01:34.384
簡単に職が得られて

00:01:34.408 --> 00:01:38.426
倫理という厄介な問題を何も
考えなくていい分野の仕事はないかと

00:01:39.022 --> 00:01:40.551
それで選んだのがコンピュータです

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
（笑）

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
ハハ 笑っちゃう
自分のことを笑ってるんです

00:01:45.137 --> 00:01:47.891
近頃 コンピュータ科学者は

00:01:47.915 --> 00:01:52.124
10億人が毎日見ているものを制御する
プラットフォームを作っています

00:01:53.052 --> 00:01:56.874
誰をひき殺すか決定できる
車を開発しています

00:01:57.707 --> 00:02:00.920
戦争で人間を殺すかもしれないような

00:02:00.944 --> 00:02:03.229
機械や兵器さえも作っています

00:02:03.253 --> 00:02:06.024
全てにおいて重要になるのが倫理です

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
機械知能は もう存在しています

00:02:09.823 --> 00:02:13.297
私たちは今や コンピュータを使って
あらゆる種類の決定を下し

00:02:13.321 --> 00:02:15.207
さらに新しい類の決定も下します

00:02:15.231 --> 00:02:20.403
私たちは 単一の正答がない問題の答えを
コンピュータに尋ねています

00:02:20.427 --> 00:02:21.629
その問題とは 主観的で

00:02:21.653 --> 00:02:23.978
オープンエンドで
価値観にかかわるものです

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
私たちがする質問はこんなふうです

00:02:25.784 --> 00:02:27.434
「誰を社員に採用すべきか？」

00:02:28.096 --> 00:02:30.855
「どの友達からの新着情報を
表示すべきか？」

00:02:30.879 --> 00:02:33.145
「再犯する可能性の高い受刑者は誰か？」

00:02:33.514 --> 00:02:36.568
「人々に勧めるべき 
ニュースや映画はどれか？」

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
確かに私たちは しばらくの間
コンピュータを使ってきました

00:02:39.988 --> 00:02:41.505
しかしこれは違います

00:02:41.529 --> 00:02:43.596
これは歴史的なひずみです

00:02:43.620 --> 00:02:48.957
なぜならそのような主観的な決定を
コンピュータには頼れないからです

00:02:48.981 --> 00:02:54.401
飛行機を飛ばしたり 建物を建てたり

00:02:54.425 --> 00:02:55.684
月に行く場合とは違うんです

00:02:56.449 --> 00:02:59.708
飛行機の方が安全か？
その橋は揺れたり落ちたりしたか？

00:02:59.732 --> 00:03:04.230
そこでは合意された
かなり明確な基準があり

00:03:04.254 --> 00:03:06.493
自然の法則が私たちを導いてくれます

00:03:06.517 --> 00:03:09.911
私たちがそのような
支えや基準を何も持っていないのが

00:03:09.935 --> 00:03:13.898
人間くさい事柄における
厄介な決定についてです

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
もっと複雑なことに
ソフトウェアは強力になりつつあります

00:03:18.183 --> 00:03:21.956
その一方で 透明性を減らし
複雑さを増してもいるのです

00:03:22.542 --> 00:03:24.582
ここ10年のあいだ

00:03:24.606 --> 00:03:27.335
複雑なアルゴリズムは
大きく前進しました

00:03:27.359 --> 00:03:29.349
人間の顔を認識できます

00:03:29.985 --> 00:03:32.040
手書き文字を読み取れます

00:03:32.436 --> 00:03:34.502
クレジットカードの不正使用を探知し

00:03:34.526 --> 00:03:35.715
スパムをブロックし

00:03:35.739 --> 00:03:37.776
言語の翻訳もできます

00:03:37.800 --> 00:03:40.374
医用イメージングで
腫瘍を探しあてることもできます

00:03:40.398 --> 00:03:42.603
チェスや碁で人間を 
打ち負かすこともできます

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
この進歩の多くは 「機械学習」と
呼ばれる方法から成り立っています

00:03:48.175 --> 00:03:51.362
機械学習は コンピュータに
詳細で正確、綿密な指示を与える―

00:03:51.386 --> 00:03:54.971
伝統的なプログラミングとは異なります

00:03:55.378 --> 00:03:59.560
機械学習は システムに 大量のデータを
しこたま詰め込むやり方です

00:03:59.584 --> 00:04:01.240
そこには非構造化データという

00:04:01.264 --> 00:04:03.542
人間がデジタルライフで
生成する類のものも含まれます

00:04:03.566 --> 00:04:06.296
そしてシステムはこのデータを
組み合わせながら学習します

00:04:06.669 --> 00:04:08.195
そしてまた重要なことに

00:04:08.219 --> 00:04:12.599
これらのシステムは
答が単一になる論理で動いてはいません

00:04:12.623 --> 00:04:15.582
単純に回答を与えるのではなく
もっと確率論的です

00:04:15.606 --> 00:04:19.089
「これはおそらくあなたが
探しているものにより近いでしょう」

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
これの良い面は
この方法が非常に強力であることです

00:04:23.117 --> 00:04:25.193
GoogleのAIシステムのトップはこれを

00:04:25.217 --> 00:04:27.414
「データの理不尽なほどの強力さ」
と呼んでいます

00:04:27.791 --> 00:04:29.144
このシステムの悪い面は

00:04:29.738 --> 00:04:32.809
これが何を学習しているのか
私たちはそれほど理解していないことです

00:04:32.833 --> 00:04:34.420
実際 その強力さが問題なのです

00:04:34.946 --> 00:04:38.744
これはコンピュータに
指示を与えるというよりは

00:04:39.200 --> 00:04:43.264
むしろ子犬のような生き物として
訓練するようなものです

00:04:43.288 --> 00:04:45.659
その機械をそれほど
理解も制御もできていないのにです

00:04:46.362 --> 00:04:47.913
これは問題です

00:04:48.427 --> 00:04:52.689
この人工知能システムが
誤りを犯したときだけでなく

00:04:52.713 --> 00:04:56.253
正しいことをした場合にも
問題が生じます

00:04:56.277 --> 00:04:59.905
なぜなら主観的な問題の場合
私たちには正誤さえも分からないからです

00:04:59.929 --> 00:05:02.268
私たちはこの物体が
何を考えているか知りません

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
ですから たとえば雇用アルゴリズムを
考えてみましょう

00:05:08.123 --> 00:05:12.434
社員を雇う際に使われるシステムで
機械学習システムを使っています

00:05:13.052 --> 00:05:16.631
そのようなシステムは過去の従業員の
データに基づいて訓練されています

00:05:16.655 --> 00:05:19.246
そしてそのシステムが指示するのは

00:05:19.270 --> 00:05:22.308
その会社に在籍する業績優秀者に似た
人材を探し雇うことです

00:05:22.814 --> 00:05:23.967
良さそうですね

00:05:23.991 --> 00:05:25.990
以前ある会議に
出席した折のことですが

00:05:26.014 --> 00:05:29.139
そこには人事部のマネージャーと
執行役が集まっていました

00:05:29.163 --> 00:05:30.369
高い職位の人たちで

00:05:30.393 --> 00:05:31.952
そのようなシステムを
雇用に活用しています

00:05:31.976 --> 00:05:33.622
彼らは非常にワクワクしていました

00:05:33.646 --> 00:05:38.299
彼らの考えでは このシステムは
より客観的で偏見の少ない雇用を行い

00:05:38.323 --> 00:05:41.323
マネージャーの偏見に対して
女性や少数派の人々に

00:05:41.347 --> 00:05:43.535
より良い機会を与えるものでした

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
そうです　
雇用には偏見が混じるのです

00:05:47.099 --> 00:05:48.284
私は知っています

00:05:48.308 --> 00:05:51.313
ある職場で プログラマーとして
働きだした頃

00:05:51.337 --> 00:05:55.205
直属のマネージャーが
時々私のところに来ました

00:05:55.229 --> 00:05:58.982
それも早朝とか夕方にです

00:05:59.006 --> 00:06:02.068
そして彼女はこう言うんです
「ゼイナップ ランチ行きましょ」

00:06:02.724 --> 00:06:04.891
おかしなタイミングで
全く訳が分かりませんでした

00:06:04.915 --> 00:06:07.044
午後４時にランチ？

00:06:07.068 --> 00:06:10.162
私はお金がなかったので おごりでした
いつも行きました

00:06:10.618 --> 00:06:12.685
後で何が起こっていたのか悟りました

00:06:12.709 --> 00:06:17.255
直属のマネージャーは上層部に

00:06:17.279 --> 00:06:20.392
重要な仕事のために雇ったのが

00:06:20.416 --> 00:06:24.346
ジーンズとスニーカーで仕事をする
10代女子だと言ってなかったんです

00:06:25.174 --> 00:06:27.376
私は良い仕事ぶりだったのに
体裁が悪くて

00:06:27.400 --> 00:06:29.099
年齢や性別の点でも
良くなかったんです

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
ですから性別や人種に
惑わされない形での雇用は

00:06:32.493 --> 00:06:34.358
非常に良いことだと
私には思えます

00:06:35.031 --> 00:06:38.372
でもこのシステムを用いると
事態はより複雑になります なぜなら

00:06:38.968 --> 00:06:44.759
現在コンピュータシステムは
あなたに関するあらゆる類のことを

00:06:44.783 --> 00:06:46.655
デジタル情報の断片から
推測できるからです

00:06:46.679 --> 00:06:49.012
自分が開示していなくてもです

00:06:49.506 --> 00:06:52.433
システムはあなたの性的志向や

00:06:52.994 --> 00:06:54.300
性格特徴や

00:06:54.859 --> 00:06:56.232
政治的傾向を推測できます

00:06:56.830 --> 00:07:00.515
システムは高水準の正確さで
予測する力を持っています

00:07:01.362 --> 00:07:03.940
思い出してください 
開示さえしていない事柄をですよ

00:07:03.964 --> 00:07:05.555
これが推測です

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
ある友達は 
そのようなコンピュータシステムを

00:07:08.864 --> 00:07:12.505
病的な あるいは産後の 抑うつの可能性を
予測するために開発しています

00:07:12.529 --> 00:07:13.945
SNSのデータを用いるんです

00:07:14.676 --> 00:07:16.103
結果は素晴らしいです

00:07:16.492 --> 00:07:19.849
彼女のシステムは
うつ罹患の可能性を

00:07:19.873 --> 00:07:23.776
症状が現れる数か月前に
予測できるのです

00:07:23.800 --> 00:07:25.173
数か月も前ですよ

00:07:25.197 --> 00:07:27.443
症状が全くない段階での予測です

00:07:27.467 --> 00:07:32.279
彼女はこれを早期介入のために
活用したがっています 素晴らしい！

00:07:32.911 --> 00:07:34.951
でもこれを雇用の文脈で
考えてみましょう

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
例の 人事マネージャーの会議では

00:07:39.097 --> 00:07:43.806
私はある非常に大きな企業の
高職位のマネージャーに近づき

00:07:43.830 --> 00:07:48.408
こう言いました
「まだご存じないこととは思いますが

00:07:48.432 --> 00:07:54.981
もしそのシステムが 将来うつになる可能性が
高い人を排除しているとしたらどうでしょう？

00:07:55.761 --> 00:07:59.137
今ではなく　
将来そうなる可能性が高い人です

00:07:59.923 --> 00:08:03.329
妊娠する可能性の
高い女性を排除しているとしたら？

00:08:03.353 --> 00:08:05.939
来年か再来年のことで 
今は妊娠していない場合ですよ？

00:08:06.844 --> 00:08:12.480
もし職場の文化に合っているからと
攻撃的な人が雇われたらどうします？」

00:08:13.173 --> 00:08:15.864
性別の構成からは
そのことを読み取れません

00:08:15.888 --> 00:08:17.390
構成比はバランスが取れています

00:08:17.414 --> 00:08:20.971
これは機械学習で 
伝統的なプログラムではないので

00:08:20.995 --> 00:08:25.902
たとえば「うつハイリスク」とか
「妊娠ハイリスク」

00:08:25.926 --> 00:08:27.759
「攻撃的な人物度」

00:08:27.783 --> 00:08:29.517
などの変数は登場しません

00:08:29.995 --> 00:08:33.674
システムが何に基づいて選択しているのか
分からないばかりか

00:08:33.698 --> 00:08:36.021
どうすれば分かるのかの
手がかりもありません

00:08:36.045 --> 00:08:37.291
ブラックボックスなんです

00:08:37.315 --> 00:08:40.122
システムには予測力がありますが
人間には理解できない代物です

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
「どんな安全対策をしていますか？

00:08:42.879 --> 00:08:46.552
あなたのブラックボックスが
やましいことをしないようにです」

00:08:48.863 --> 00:08:52.741
彼女は子犬の尻尾を10匹分も踏みつけた
人でなしを見るかのような顔になりました

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
（笑）

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
彼女は私をじっと見て言いました

00:08:56.556 --> 00:09:00.889
「これについては
もう何も聞きたくない」

00:09:01.458 --> 00:09:03.492
そして彼女は踵を返して
行ってしまいました

00:09:04.064 --> 00:09:05.550
彼女が失礼なわけではありません

00:09:05.574 --> 00:09:11.882
明らかに 聞かなかったことにしたい
あっち行ってという憎悪の眼差しでした

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
（笑）

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
いいですか そのようなシステムは
ある意味 偏見の程度は

00:09:17.725 --> 00:09:19.828
人間のマネージャーよりは
少ないかもしれません

00:09:19.852 --> 00:09:21.998
費用の面でも
理にかなっているでしょう

00:09:22.573 --> 00:09:24.223
でもそれはまた

00:09:24.247 --> 00:09:28.995
ひそやかながら確実に
労働市場からの

00:09:29.019 --> 00:09:31.312
うつハイリスク者の締め出しに
つながりかねません

00:09:31.753 --> 00:09:34.349
これが私たちの築きたい
社会の姿でしょうか？

00:09:34.373 --> 00:09:36.658
こんなことをしていることさえ
私たちは知らないんです

00:09:36.682 --> 00:09:40.646
完全には理解していない機械に
意思決定をさせているんですからね

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
もう１つの問題はこれです

00:09:43.314 --> 00:09:47.766
このようなシステムの訓練は往々にして
人間の行動データに基づいています

00:09:47.790 --> 00:09:49.606
人間らしさが刻み込まれています

00:09:50.188 --> 00:09:53.996
それらは私たちの偏見を
反映している可能性があり

00:09:54.020 --> 00:09:57.613
これらのシステムは
私たちの偏見を拾い上げ

00:09:57.637 --> 00:09:58.950
それを増幅して

00:09:58.974 --> 00:10:00.392
私たちに示し返しかねません

00:10:00.416 --> 00:10:01.878
私たちはこんな言いっぷりなのにですよ

00:10:01.902 --> 00:10:05.019
「私たちはまさしく客観的です
中立的なコンピューティングですから」

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
研究者たちは Googleにおいて

00:10:10.134 --> 00:10:15.447
女性には 高給の求人広告が
表示されにくいことを見出しました

00:10:16.463 --> 00:10:18.993
また アフリカ系アメリカ人の
名前を検索すると

00:10:19.017 --> 00:10:23.723
犯罪歴をほのめかす広告が
高確率で表示されます

00:10:23.747 --> 00:10:25.314
犯罪歴がない人の場合でもそうです

00:10:26.693 --> 00:10:30.242
そのような隠れた偏見と
ブラックボックスのアルゴリズムを

00:10:30.266 --> 00:10:34.239
研究者が暴くこともありますが
知られない場合もあります

00:10:34.263 --> 00:10:36.924
それらは人生を
変える結果になりうるのです

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
ウィスコンシンで ある被告が
刑期６年の判決を受けました

00:10:42.141 --> 00:10:43.496
警察官から逃げたためです

00:10:44.824 --> 00:10:46.010
ご存知ないかもしれませんが

00:10:46.034 --> 00:10:50.032
仮釈放や判決の決定においても
アルゴリズムの使用が増えています

00:10:50.056 --> 00:10:53.011
彼はこのスコアが計算される仕組みを
知りたいと思いました

00:10:53.795 --> 00:10:55.460
それは商用のブラックボックスです

00:10:55.484 --> 00:10:59.689
企業はアルゴリズムが
公開の法廷で検証されるのを拒みました

00:11:00.396 --> 00:11:05.928
でもProPublicaという非営利の調査団体が
そのアルゴリズムを監査しました

00:11:05.952 --> 00:11:07.968
入手可能だった
公開データを用いてです

00:11:07.992 --> 00:11:10.308
そして分かったのは
結果には偏見が影響しており

00:11:10.332 --> 00:11:13.961
予測力はひどいものでした
偶然よりわずかにましな程度です

00:11:13.985 --> 00:11:18.401
黒人の被告は 白人の被告に比べて
将来犯罪を起こす確率が

00:11:18.425 --> 00:11:22.320
２倍高いと
誤ってラベリングされていました

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
ではこのケースを考えてみましょう

00:11:26.103 --> 00:11:29.955
女性のほうは予定より遅れて
親友を迎えに行くため

00:11:29.979 --> 00:11:32.054
フロリダ州ブロワード郡の
ある学校に向かって

00:11:32.757 --> 00:11:35.113
友達と一緒に道を走っていました

00:11:35.137 --> 00:11:39.236
ふたりはある家の玄関で 無施錠の
子ども用の自転車とキックスケーターを見つけ

00:11:39.260 --> 00:11:40.892
愚かにもそれに飛び乗りました

00:11:40.916 --> 00:11:43.515
走り去ろうとしたところ
女性が出てきて言いました

00:11:43.539 --> 00:11:45.744
「ちょっと！
それはうちの子の自転車よ！」

00:11:45.768 --> 00:11:49.062
ふたりは降りて 歩き去りましたが
逮捕されました

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
彼女は間違っていたし愚かでした
でもまだ18歳です

00:11:52.747 --> 00:11:55.291
彼女は２回の非行歴がありました

00:11:55.808 --> 00:12:00.993
一方 男性のほうは Home Depoで
万引きをして捕まりました

00:12:01.017 --> 00:12:03.941
彼が万引きしたのは85ドル相当で
同じく軽犯罪ですが

00:12:04.766 --> 00:12:09.325
彼は強盗で前科２犯でした

00:12:09.955 --> 00:12:13.437
でもアルゴリズムは 男性ではなく
女性の方をハイリスクと評価しました

00:12:14.746 --> 00:12:18.620
その女性が２年後に再犯していないことを
ProPiblicaは明らかにしています

00:12:18.644 --> 00:12:21.194
犯罪記録をもつ彼女が
職を得るのは実に困難でした

00:12:21.218 --> 00:12:23.294
一方 男性の方は再犯し

00:12:23.318 --> 00:12:27.154
２つ目の犯罪のために
現在は８年間の収監中です

00:12:28.088 --> 00:12:31.457
ブラックボックスに対して
監査が必要なのは明白です

00:12:31.481 --> 00:12:34.096
チェックしないままこの種の権力を
与えてはいけないのです

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
（拍手）

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
監査は偉大で重要ですが
それで全ての問題を解決できはしません

00:12:42.353 --> 00:12:45.101
Facebookのニュース・フィードの
強力なアルゴリズムの場合

00:12:45.125 --> 00:12:49.968
全てをランク付けし
全ての友達やフォロー中のページのなかで

00:12:49.992 --> 00:12:52.276
何を見るべきか決定する仕組みですね

00:12:52.898 --> 00:12:55.173
赤ちゃんの写真をもう１枚見るべきか？

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
（笑）

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
知り合いからの ご機嫌斜めのコメントは？

00:12:59.449 --> 00:13:01.305
重要だけど難解なニュース記事は？

00:13:01.329 --> 00:13:02.811
正答はありません

00:13:02.835 --> 00:13:05.494
Facebookはサイト上での
やりとりに応じて最適化します

00:13:05.518 --> 00:13:06.933
「いいね」やシェア コメント
といったものです

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
2014年8月

00:13:10.888 --> 00:13:13.550
ミズーリ州ファーガソンで
抗議運動が勃発しました

00:13:13.574 --> 00:13:17.991
アフリカ系アメリカ人の10代が
白人の警察官に殺され

00:13:18.015 --> 00:13:19.585
その状況が不審だったのです

00:13:19.974 --> 00:13:21.981
抗議運動のニュースは

00:13:22.005 --> 00:13:24.690
フィルタリングされない
Twitterフィードを埋め尽くしました

00:13:24.714 --> 00:13:26.664
でもFacebookには何ら
表示されませんでした

00:13:27.182 --> 00:13:28.916
Facebook上の友達との
関連でしょうか？

00:13:28.940 --> 00:13:30.972
私はFacebookのアルゴリズムを
無効にしました

00:13:31.472 --> 00:13:34.320
Facebookはアルゴリズムの
管理下に置きたがるので

00:13:34.344 --> 00:13:36.380
難しかったですけどね

00:13:36.404 --> 00:13:38.642
すると友達が 抗議運動のことを
話しているのが分かりました

00:13:38.666 --> 00:13:41.175
アルゴリズムが私に
見せなかっただけなんです

00:13:41.199 --> 00:13:44.241
調査して分かりましたが
これは広範囲にわたる問題でした

NOTE Paragraph

00:13:44.265 --> 00:13:48.078
ファーガソンの話題は
アルゴリズムに馴染まなかったんです

00:13:48.102 --> 00:13:49.273
「いいね」しにくいのです

00:13:49.297 --> 00:13:50.849
誰が「いいね」します？

00:13:51.500 --> 00:13:53.706
コメントをするのさえ
容易じゃありません

00:13:53.730 --> 00:13:55.101
「いいね」もコメントもないので

00:13:55.125 --> 00:13:58.417
アルゴリズムは少数の人にしか
それを表示しません

00:13:58.441 --> 00:13:59.983
だから目にすることがなかったんです

00:14:00.946 --> 00:14:02.174
そのかわり その週

00:14:02.198 --> 00:14:04.496
Facebookのアルゴリズムが
ハイライトしたのは

00:14:04.520 --> 00:14:06.746
ALSアイス・バケツ・チャレンジでした

00:14:06.770 --> 00:14:10.512
価値のある目的で氷水をかぶり
チャリティに寄付 良いですね

00:14:10.536 --> 00:14:12.440
でも極めてよく
アルゴリズムに馴染みます

00:14:13.219 --> 00:14:15.832
機械が私たちのために
これを決定したんです

00:14:15.856 --> 00:14:19.353
非常に重要だけれど難解な会話は

00:14:19.377 --> 00:14:20.932
Facebookが唯一の経路の場合

00:14:20.956 --> 00:14:23.652
抑え込まれてきたのかもしれません

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
さて最後にこれらのシステムは

00:14:27.938 --> 00:14:30.674
人間のシステムとは似つかない誤りを
犯しうるのです

00:14:30.698 --> 00:14:33.620
皆さんはワトソンを覚えていますか
IBMの機械知能システムで

00:14:33.644 --> 00:14:36.772
クイズ番組『ジェパディ！』で
対戦相手の人間を打ち負かしました

00:14:37.131 --> 00:14:38.559
すごい選手だったんです

00:14:38.583 --> 00:14:42.152
しかし最終問題で
ワトソンは こんな質問をされました

00:14:42.659 --> 00:14:45.591
「その地域最大の空港の名は
第二次世界大戦の英雄に由来し

00:14:45.615 --> 00:14:47.867
２番目の空港の名の由来は
第二次世界大戦中の戦いです」

NOTE Paragraph

00:14:47.891 --> 00:14:49.269
（最終問題の音楽をハミング）

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
「シカゴ」

00:14:50.788 --> 00:14:52.158
人間ふたりは正答でした

00:14:52.697 --> 00:14:57.045
一方ワトソンの答えは
「トロント」

00:14:57.069 --> 00:14:58.887
米国の都市についての
問題だったのに！

00:14:59.596 --> 00:15:02.497
この素晴らしいシステムも
エラーをするんです

00:15:02.521 --> 00:15:06.172
人間はしないようなエラーです
２年生の子どもでもしません

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
機械知能は失敗を犯すこともあるんです

00:15:09.956 --> 00:15:13.056
人間のエラーパターンとは
異なります

00:15:13.080 --> 00:15:16.030
予想外であり 備えもできないような方法です

00:15:16.054 --> 00:15:19.692
資質のある人が仕事を得られないのも
ひどい話ですが

00:15:19.716 --> 00:15:23.443
もしそれがプログラムのサブルーチンに伴う
スタックオーバーフローが原因なら

00:15:23.467 --> 00:15:24.899
３倍ひどい話です

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
（笑）

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
2010年5月

00:15:29.336 --> 00:15:33.380
ウォールストリートの
「売り」アルゴリズムでの

00:15:33.404 --> 00:15:36.432
フィードバックループによって
瞬間暴落が起き

00:15:36.456 --> 00:15:40.640
36分間で１兆ドル相当の
損失が出ました

00:15:41.722 --> 00:15:43.909
「エラー」の意味を
考えたくもないのが

00:15:43.933 --> 00:15:47.522
無人攻撃機の場合です

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
ええ人間には 偏見がつきものです

00:15:53.708 --> 00:15:55.884
意思決定者やゲートキーパー

00:15:55.908 --> 00:15:59.401
法廷、ニュース、戦争・・・

00:15:59.425 --> 00:16:02.463
そこではミスが生じますが
これこそ私の言いたいことです

00:16:02.487 --> 00:16:06.008
これらの難問から
私たちは逃れられません

00:16:06.596 --> 00:16:10.112
私たちは責任を
機械に外部委託することはできないのです

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
（拍手）

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
人工知能は「倫理問題からの解放」カードを
私たちにくれたりしません

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
データ科学者のフレッド・ベネンソンは
これを数学による洗脳だと呼びました

00:16:26.147 --> 00:16:27.536
私たちに必要なのは逆のものです

00:16:27.560 --> 00:16:32.948
私たちはアルゴリズムを疑い 
精査するようにならねばなりません

00:16:33.380 --> 00:16:36.578
私たちは アルゴリズムについての
説明責任を持ち

00:16:36.602 --> 00:16:39.047
監査や意味のある透明化を
求めなければなりません

00:16:39.380 --> 00:16:42.614
私たちは厄介で価値観にかかわる
人間くさい事柄に対して

00:16:42.638 --> 00:16:45.608
数学や計算機は
客観性をもたらしえないことを

00:16:45.632 --> 00:16:48.016
受け入れなければなりません

00:16:48.894 --> 00:16:51.673
むしろ人間くささのもつ複雑さが
アルゴリズムを管理するのです

00:16:52.148 --> 00:16:55.635
確かに私たちは コンピュータを
良い決断を下す助けとして

00:16:55.659 --> 00:16:57.673
使いうるし そうすべきです

00:16:57.697 --> 00:17:03.029
でも私たちは判断を下すことへの
自分の道徳的な責任を認め

00:17:03.053 --> 00:17:05.871
そしてアルゴリズムを
その枠内で用いなければなりません

00:17:05.895 --> 00:17:10.830
自分の責任を放棄して
別の人間へ委ねることとは

00:17:10.854 --> 00:17:13.308
異なるのです

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
機械知能はもう存在しています

00:17:16.440 --> 00:17:19.861
つまり私たちは
人間としての価値観や倫理感を

00:17:19.885 --> 00:17:22.032
よりしっかり持たねばなりません

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
ありがとうございました

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
（拍手）