1
00:00:00,739 --> 00:00:04,861
私はコンピュータ・プログラマー
としての最初の仕事を

2
00:00:04,885 --> 00:00:06,841
大学１年生で始めました

3
00:00:06,865 --> 00:00:08,372
まあ 10代だったんですね

4
00:00:08,889 --> 00:00:10,621
ある会社で ソフトウェアを

5
00:00:10,645 --> 00:00:12,255
書くという仕事を 始めてまもなく

6
00:00:12,799 --> 00:00:16,434
会社のマネージャーが
私のところに来て

7
00:00:16,458 --> 00:00:17,726
こうささやきました

8
00:00:18,229 --> 00:00:21,090
「僕の嘘 彼にばれてる？」

9
00:00:21,806 --> 00:00:23,883
部屋には他に誰もいません

10
00:00:25,032 --> 00:00:29,421
「誰にばれてるって言うんです？
それにどうしてひそひそ声で？」

11
00:00:30,266 --> 00:00:33,373
マネージャーは
室内のコンピュータを指さして

12
00:00:33,397 --> 00:00:36,493
「僕の嘘 彼にばれてる？」

13
00:00:37,613 --> 00:00:41,975
実はこのマネージャー 
受付係と浮気してたんです

14
00:00:41,999 --> 00:00:43,111
（笑）

15
00:00:43,135 --> 00:00:44,901
私はまだ10代でした

16
00:00:45,447 --> 00:00:47,466
だからささやき声で
彼に叫び返しました

17
00:00:47,490 --> 00:00:51,114
「ええ コンピュータには
お見通しですよ」って

18
00:00:51,138 --> 00:00:52,944
（笑）

19
00:00:52,968 --> 00:00:55,891
笑っちゃいましたが 実は
その笑いは自分に返ってきました

20
00:00:55,915 --> 00:00:59,183
今日 コンピュータ・システムは

21
00:00:59,207 --> 00:01:02,755
人間の顔画像を処理することによって

22
00:01:02,779 --> 00:01:04,823
感情や 嘘まで見抜けるんです

23
00:01:05,248 --> 00:01:09,401
広告主や 政府までもが
非常に関心を寄せています

24
00:01:10,319 --> 00:01:12,181
コンピュータプログラマーに
私がなったのは

25
00:01:12,205 --> 00:01:15,318
子どもの頃から数学と科学が
熱狂的に好きだったからです

26
00:01:15,942 --> 00:01:19,050
しかしその過程で
核兵器についても学び

27
00:01:19,074 --> 00:01:22,026
科学の倫理について
非常に懸念するようになりました

28
00:01:22,050 --> 00:01:23,254
悩みました

29
00:01:23,278 --> 00:01:25,919
しかし 家庭の事情で

30
00:01:25,943 --> 00:01:29,241
私はできるだけ早く
働き始めなければなりませんでした

31
00:01:29,265 --> 00:01:32,564
それでひそかに考えました
技術者として

32
00:01:32,588 --> 00:01:34,384
簡単に職が得られて

33
00:01:34,408 --> 00:01:38,426
倫理という厄介な問題を何も
考えなくていい分野の仕事はないかと

34
00:01:39,022 --> 00:01:40,551
それで選んだのがコンピュータです

35
00:01:40,575 --> 00:01:41,679
（笑）

36
00:01:41,703 --> 00:01:45,113
ハハ 笑っちゃう
自分のことを笑ってるんです

37
00:01:45,137 --> 00:01:47,891
近頃 コンピュータ科学者は

38
00:01:47,915 --> 00:01:52,124
10億人が毎日見ているものを制御する
プラットフォームを作っています

39
00:01:53,052 --> 00:01:56,874
誰をひき殺すか決定できる
車を開発しています

40
00:01:57,707 --> 00:02:00,920
戦争で人間を殺すかもしれないような

41
00:02:00,944 --> 00:02:03,229
機械や兵器さえも作っています

42
00:02:03,253 --> 00:02:06,024
全てにおいて重要になるのが倫理です

43
00:02:07,183 --> 00:02:09,241
機械知能は もう存在しています

44
00:02:09,823 --> 00:02:13,297
私たちは今や コンピュータを使って
あらゆる種類の決定を下し

45
00:02:13,321 --> 00:02:15,207
さらに新しい類の決定も下します

46
00:02:15,231 --> 00:02:20,403
私たちは 単一の正答がない問題の答えを
コンピュータに尋ねています

47
00:02:20,427 --> 00:02:21,629
その問題とは 主観的で

48
00:02:21,653 --> 00:02:23,978
オープンエンドで
価値観にかかわるものです

49
00:02:24,002 --> 00:02:25,760
私たちがする質問はこんなふうです

50
00:02:25,784 --> 00:02:27,434
「誰を社員に採用すべきか？」

51
00:02:28,096 --> 00:02:30,855
「どの友達からの新着情報を
表示すべきか？」

52
00:02:30,879 --> 00:02:33,145
「再犯する可能性の高い受刑者は誰か？」

53
00:02:33,514 --> 00:02:36,568
「人々に勧めるべき 
ニュースや映画はどれか？」

54
00:02:36,592 --> 00:02:39,964
確かに私たちは しばらくの間
コンピュータを使ってきました

55
00:02:39,988 --> 00:02:41,505
しかしこれは違います

56
00:02:41,529 --> 00:02:43,596
これは歴史的なひずみです

57
00:02:43,620 --> 00:02:48,957
なぜならそのような主観的な決定を
コンピュータには頼れないからです

58
00:02:48,981 --> 00:02:54,401
飛行機を飛ばしたり 建物を建てたり

59
00:02:54,425 --> 00:02:55,684
月に行く場合とは違うんです

60
00:02:56,449 --> 00:02:59,708
飛行機の方が安全か？
その橋は揺れたり落ちたりしたか？

61
00:02:59,732 --> 00:03:04,230
そこでは合意された
かなり明確な基準があり

62
00:03:04,254 --> 00:03:06,493
自然の法則が私たちを導いてくれます

63
00:03:06,517 --> 00:03:09,911
私たちがそのような
支えや基準を何も持っていないのが

64
00:03:09,935 --> 00:03:13,898
人間くさい事柄における
厄介な決定についてです

65
00:03:13,922 --> 00:03:18,159
もっと複雑なことに
ソフトウェアは強力になりつつあります

66
00:03:18,183 --> 00:03:21,956
その一方で 透明性を減らし
複雑さを増してもいるのです

67
00:03:22,542 --> 00:03:24,582
ここ10年のあいだ

68
00:03:24,606 --> 00:03:27,335
複雑なアルゴリズムは
大きく前進しました

69
00:03:27,359 --> 00:03:29,349
人間の顔を認識できます

70
00:03:29,985 --> 00:03:32,040
手書き文字を読み取れます

71
00:03:32,436 --> 00:03:34,502
クレジットカードの不正使用を探知し

72
00:03:34,526 --> 00:03:35,715
スパムをブロックし

73
00:03:35,739 --> 00:03:37,776
言語の翻訳もできます

74
00:03:37,800 --> 00:03:40,374
医用イメージングで
腫瘍を探しあてることもできます

75
00:03:40,398 --> 00:03:42,603
チェスや碁で人間を 
打ち負かすこともできます

76
00:03:43,264 --> 00:03:47,768
この進歩の多くは 「機械学習」と
呼ばれる方法から成り立っています

77
00:03:48,175 --> 00:03:51,362
機械学習は コンピュータに
詳細で正確、綿密な指示を与える―

78
00:03:51,386 --> 00:03:54,971
伝統的なプログラミングとは異なります

79
00:03:55,378 --> 00:03:59,560
機械学習は システムに 大量のデータを
しこたま詰め込むやり方です

80
00:03:59,584 --> 00:04:01,240
そこには非構造化データという

81
00:04:01,264 --> 00:04:03,542
人間がデジタルライフで
生成する類のものも含まれます

82
00:04:03,566 --> 00:04:06,296
そしてシステムはこのデータを
組み合わせながら学習します

83
00:04:06,669 --> 00:04:08,195
そしてまた重要なことに

84
00:04:08,219 --> 00:04:12,599
これらのシステムは
答が単一になる論理で動いてはいません

85
00:04:12,623 --> 00:04:15,582
単純に回答を与えるのではなく
もっと確率論的です

86
00:04:15,606 --> 00:04:19,089
「これはおそらくあなたが
探しているものにより近いでしょう」

87
00:04:20,023 --> 00:04:23,093
これの良い面は
この方法が非常に強力であることです

88
00:04:23,117 --> 00:04:25,193
GoogleのAIシステムのトップはこれを

89
00:04:25,217 --> 00:04:27,414
「データの理不尽なほどの強力さ」
と呼んでいます

90
00:04:27,791 --> 00:04:29,144
このシステムの悪い面は

91
00:04:29,738 --> 00:04:32,809
これが何を学習しているのか
私たちはそれほど理解していないことです

92
00:04:32,833 --> 00:04:34,420
実際 その強力さが問題なのです

93
00:04:34,946 --> 00:04:38,744
これはコンピュータに
指示を与えるというよりは

94
00:04:39,200 --> 00:04:43,264
むしろ子犬のような生き物として
訓練するようなものです

95
00:04:43,288 --> 00:04:45,659
その機械をそれほど
理解も制御もできていないのにです

96
00:04:46,362 --> 00:04:47,913
これは問題です

97
00:04:48,427 --> 00:04:52,689
この人工知能システムが
誤りを犯したときだけでなく

98
00:04:52,713 --> 00:04:56,253
正しいことをした場合にも
問題が生じます

99
00:04:56,277 --> 00:04:59,905
なぜなら主観的な問題の場合
私たちには正誤さえも分からないからです

100
00:04:59,929 --> 00:05:02,268
私たちはこの物体が
何を考えているか知りません

101
00:05:03,493 --> 00:05:07,176
ですから たとえば雇用アルゴリズムを
考えてみましょう

102
00:05:08,123 --> 00:05:12,434
社員を雇う際に使われるシステムで
機械学習システムを使っています

103
00:05:13,052 --> 00:05:16,631
そのようなシステムは過去の従業員の
データに基づいて訓練されています

104
00:05:16,655 --> 00:05:19,246
そしてそのシステムが指示するのは

105
00:05:19,270 --> 00:05:22,308
その会社に在籍する業績優秀者に似た
人材を探し雇うことです

106
00:05:22,814 --> 00:05:23,967
良さそうですね

107
00:05:23,991 --> 00:05:25,990
以前ある会議に
出席した折のことですが

108
00:05:26,014 --> 00:05:29,139
そこには人事部のマネージャーと
執行役が集まっていました

109
00:05:29,163 --> 00:05:30,369
高い職位の人たちで

110
00:05:30,393 --> 00:05:31,952
そのようなシステムを
雇用に活用しています

111
00:05:31,976 --> 00:05:33,622
彼らは非常にワクワクしていました

112
00:05:33,646 --> 00:05:38,299
彼らの考えでは このシステムは
より客観的で偏見の少ない雇用を行い

113
00:05:38,323 --> 00:05:41,323
マネージャーの偏見に対して
女性や少数派の人々に

114
00:05:41,347 --> 00:05:43,535
より良い機会を与えるものでした

115
00:05:43,559 --> 00:05:46,402
そうです　
雇用には偏見が混じるのです

116
00:05:47,099 --> 00:05:48,284
私は知っています

117
00:05:48,308 --> 00:05:51,313
ある職場で プログラマーとして
働きだした頃

118
00:05:51,337 --> 00:05:55,205
直属のマネージャーが
時々私のところに来ました

119
00:05:55,229 --> 00:05:58,982
それも早朝とか夕方にです

120
00:05:59,006 --> 00:06:02,068
そして彼女はこう言うんです
「ゼイナップ ランチ行きましょ」

121
00:06:02,724 --> 00:06:04,891
おかしなタイミングで
全く訳が分かりませんでした

122
00:06:04,915 --> 00:06:07,044
午後４時にランチ？

123
00:06:07,068 --> 00:06:10,162
私はお金がなかったので おごりでした
いつも行きました

124
00:06:10,618 --> 00:06:12,685
後で何が起こっていたのか悟りました

125
00:06:12,709 --> 00:06:17,255
直属のマネージャーは上層部に

126
00:06:17,279 --> 00:06:20,392
重要な仕事のために雇ったのが

127
00:06:20,416 --> 00:06:24,346
ジーンズとスニーカーで仕事をする
10代女子だと言ってなかったんです

128
00:06:25,174 --> 00:06:27,376
私は良い仕事ぶりだったのに
体裁が悪くて

129
00:06:27,400 --> 00:06:29,099
年齢や性別の点でも
良くなかったんです

130
00:06:29,123 --> 00:06:32,469
ですから性別や人種に
惑わされない形での雇用は

131
00:06:32,493 --> 00:06:34,358
非常に良いことだと
私には思えます

132
00:06:35,031 --> 00:06:38,372
でもこのシステムを用いると
事態はより複雑になります なぜなら

133
00:06:38,968 --> 00:06:44,759
現在コンピュータシステムは
あなたに関するあらゆる類のことを

134
00:06:44,783 --> 00:06:46,655
デジタル情報の断片から
推測できるからです

135
00:06:46,679 --> 00:06:49,012
自分が開示していなくてもです

136
00:06:49,506 --> 00:06:52,433
システムはあなたの性的志向や

137
00:06:52,994 --> 00:06:54,300
性格特徴や

138
00:06:54,859 --> 00:06:56,232
政治的傾向を推測できます

139
00:06:56,830 --> 00:07:00,515
システムは高水準の正確さで
予測する力を持っています

140
00:07:01,362 --> 00:07:03,940
思い出してください 
開示さえしていない事柄をですよ

141
00:07:03,964 --> 00:07:05,555
これが推測です

142
00:07:05,579 --> 00:07:08,840
ある友達は 
そのようなコンピュータシステムを

143
00:07:08,864 --> 00:07:12,505
病的な あるいは産後の 抑うつの可能性を
予測するために開発しています

144
00:07:12,529 --> 00:07:13,945
SNSのデータを用いるんです

145
00:07:14,676 --> 00:07:16,103
結果は素晴らしいです

146
00:07:16,492 --> 00:07:19,849
彼女のシステムは
うつ罹患の可能性を

147
00:07:19,873 --> 00:07:23,776
症状が現れる数か月前に
予測できるのです

148
00:07:23,800 --> 00:07:25,173
数か月も前ですよ

149
00:07:25,197 --> 00:07:27,443
症状が全くない段階での予測です

150
00:07:27,467 --> 00:07:32,279
彼女はこれを早期介入のために
活用したがっています 素晴らしい！

151
00:07:32,911 --> 00:07:34,951
でもこれを雇用の文脈で
考えてみましょう

152
00:07:36,027 --> 00:07:39,073
例の 人事マネージャーの会議では

153
00:07:39,097 --> 00:07:43,806
私はある非常に大きな企業の
高職位のマネージャーに近づき

154
00:07:43,830 --> 00:07:48,408
こう言いました
「まだご存じないこととは思いますが

155
00:07:48,432 --> 00:07:54,981
もしそのシステムが 将来うつになる可能性が
高い人を排除しているとしたらどうでしょう？

156
00:07:55,761 --> 00:07:59,137
今ではなく　
将来そうなる可能性が高い人です

157
00:07:59,923 --> 00:08:03,329
妊娠する可能性の
高い女性を排除しているとしたら？

158
00:08:03,353 --> 00:08:05,939
来年か再来年のことで 
今は妊娠していない場合ですよ？

159
00:08:06,844 --> 00:08:12,480
もし職場の文化に合っているからと
攻撃的な人が雇われたらどうします？」

160
00:08:13,173 --> 00:08:15,864
性別の構成からは
そのことを読み取れません

161
00:08:15,888 --> 00:08:17,390
構成比はバランスが取れています

162
00:08:17,414 --> 00:08:20,971
これは機械学習で 
伝統的なプログラムではないので

163
00:08:20,995 --> 00:08:25,902
たとえば「うつハイリスク」とか
「妊娠ハイリスク」

164
00:08:25,926 --> 00:08:27,759
「攻撃的な人物度」

165
00:08:27,783 --> 00:08:29,517
などの変数は登場しません

166
00:08:29,995 --> 00:08:33,674
システムが何に基づいて選択しているのか
分からないばかりか

167
00:08:33,698 --> 00:08:36,021
どうすれば分かるのかの
手がかりもありません

168
00:08:36,045 --> 00:08:37,291
ブラックボックスなんです

169
00:08:37,315 --> 00:08:40,122
システムには予測力がありますが
人間には理解できない代物です

170
00:08:40,486 --> 00:08:42,855
「どんな安全対策をしていますか？

171
00:08:42,879 --> 00:08:46,552
あなたのブラックボックスが
やましいことをしないようにです」

172
00:08:48,863 --> 00:08:52,741
彼女は子犬の尻尾を10匹分も踏みつけた
人でなしを見るかのような顔になりました

173
00:08:52,765 --> 00:08:54,013
（笑）

174
00:08:54,037 --> 00:08:56,078
彼女は私をじっと見て言いました

175
00:08:56,556 --> 00:09:00,889
「これについては
もう何も聞きたくない」

176
00:09:01,458 --> 00:09:03,492
そして彼女は踵を返して
行ってしまいました

177
00:09:04,064 --> 00:09:05,550
彼女が失礼なわけではありません

178
00:09:05,574 --> 00:09:11,882
明らかに 聞かなかったことにしたい
あっち行ってという憎悪の眼差しでした

179
00:09:11,906 --> 00:09:13,152
（笑）

180
00:09:13,862 --> 00:09:17,701
いいですか そのようなシステムは
ある意味 偏見の程度は

181
00:09:17,725 --> 00:09:19,828
人間のマネージャーよりは
少ないかもしれません

182
00:09:19,852 --> 00:09:21,998
費用の面でも
理にかなっているでしょう

183
00:09:22,573 --> 00:09:24,223
でもそれはまた

184
00:09:24,247 --> 00:09:28,995
ひそやかながら確実に
労働市場からの

185
00:09:29,019 --> 00:09:31,312
うつハイリスク者の締め出しに
つながりかねません

186
00:09:31,753 --> 00:09:34,349
これが私たちの築きたい
社会の姿でしょうか？

187
00:09:34,373 --> 00:09:36,658
こんなことをしていることさえ
私たちは知らないんです

188
00:09:36,682 --> 00:09:40,646
完全には理解していない機械に
意思決定をさせているんですからね

189
00:09:41,265 --> 00:09:42,723
もう１つの問題はこれです

190
00:09:43,314 --> 00:09:47,766
このようなシステムの訓練は往々にして
人間の行動データに基づいています

191
00:09:47,790 --> 00:09:49,606
人間らしさが刻み込まれています

192
00:09:50,188 --> 00:09:53,996
それらは私たちの偏見を
反映している可能性があり

193
00:09:54,020 --> 00:09:57,613
これらのシステムは
私たちの偏見を拾い上げ

194
00:09:57,637 --> 00:09:58,950
それを増幅して

195
00:09:58,974 --> 00:10:00,392
私たちに示し返しかねません

196
00:10:00,416 --> 00:10:01,878
私たちはこんな言いっぷりなのにですよ

197
00:10:01,902 --> 00:10:05,019
「私たちはまさしく客観的です
中立的なコンピューティングですから」

198
00:10:06,314 --> 00:10:08,991
研究者たちは Googleにおいて

199
00:10:10,134 --> 00:10:15,447
女性には 高給の求人広告が
表示されにくいことを見出しました

200
00:10:16,463 --> 00:10:18,993
また アフリカ系アメリカ人の
名前を検索すると

201
00:10:19,017 --> 00:10:23,723
犯罪歴をほのめかす広告が
高確率で表示されます

202
00:10:23,747 --> 00:10:25,314
犯罪歴がない人の場合でもそうです

203
00:10:26,693 --> 00:10:30,242
そのような隠れた偏見と
ブラックボックスのアルゴリズムを

204
00:10:30,266 --> 00:10:34,239
研究者が暴くこともありますが
知られない場合もあります

205
00:10:34,263 --> 00:10:36,924
それらは人生を
変える結果になりうるのです

206
00:10:37,958 --> 00:10:42,117
ウィスコンシンで ある被告が
刑期６年の判決を受けました

207
00:10:42,141 --> 00:10:43,496
警察官から逃げたためです

208
00:10:44,824 --> 00:10:46,010
ご存知ないかもしれませんが

209
00:10:46,034 --> 00:10:50,032
仮釈放や判決の決定においても
アルゴリズムの使用が増えています

210
00:10:50,056 --> 00:10:53,011
彼はこのスコアが計算される仕組みを
知りたいと思いました

211
00:10:53,795 --> 00:10:55,460
それは商用のブラックボックスです

212
00:10:55,484 --> 00:10:59,689
企業はアルゴリズムが
公開の法廷で検証されるのを拒みました

213
00:11:00,396 --> 00:11:05,928
でもProPublicaという非営利の調査団体が
そのアルゴリズムを監査しました

214
00:11:05,952 --> 00:11:07,968
入手可能だった
公開データを用いてです

215
00:11:07,992 --> 00:11:10,308
そして分かったのは
結果には偏見が影響しており

216
00:11:10,332 --> 00:11:13,961
予測力はひどいものでした
偶然よりわずかにましな程度です

217
00:11:13,985 --> 00:11:18,401
黒人の被告は 白人の被告に比べて
将来犯罪を起こす確率が

218
00:11:18,425 --> 00:11:22,320
２倍高いと
誤ってラベリングされていました

219
00:11:23,891 --> 00:11:25,455
ではこのケースを考えてみましょう

220
00:11:26,103 --> 00:11:29,955
女性のほうは予定より遅れて
親友を迎えに行くため

221
00:11:29,979 --> 00:11:32,054
フロリダ州ブロワード郡の
ある学校に向かって

222
00:11:32,757 --> 00:11:35,113
友達と一緒に道を走っていました

223
00:11:35,137 --> 00:11:39,236
ふたりはある家の玄関で 無施錠の
子ども用の自転車とキックスケーターを見つけ

224
00:11:39,260 --> 00:11:40,892
愚かにもそれに飛び乗りました

225
00:11:40,916 --> 00:11:43,515
走り去ろうとしたところ
女性が出てきて言いました

226
00:11:43,539 --> 00:11:45,744
「ちょっと！
それはうちの子の自転車よ！」

227
00:11:45,768 --> 00:11:49,062
ふたりは降りて 歩き去りましたが
逮捕されました

228
00:11:49,086 --> 00:11:52,723
彼女は間違っていたし愚かでした
でもまだ18歳です

229
00:11:52,747 --> 00:11:55,291
彼女は２回の非行歴がありました

230
00:11:55,808 --> 00:12:00,993
一方 男性のほうは Home Depoで
万引きをして捕まりました

231
00:12:01,017 --> 00:12:03,941
彼が万引きしたのは85ドル相当で
同じく軽犯罪ですが

232
00:12:04,766 --> 00:12:09,325
彼は強盗で前科２犯でした

233
00:12:09,955 --> 00:12:13,437
でもアルゴリズムは 男性ではなく
女性の方をハイリスクと評価しました

234
00:12:14,746 --> 00:12:18,620
その女性が２年後に再犯していないことを
ProPiblicaは明らかにしています

235
00:12:18,644 --> 00:12:21,194
犯罪記録をもつ彼女が
職を得るのは実に困難でした

236
00:12:21,218 --> 00:12:23,294
一方 男性の方は再犯し

237
00:12:23,318 --> 00:12:27,154
２つ目の犯罪のために
現在は８年間の収監中です

238
00:12:28,088 --> 00:12:31,457
ブラックボックスに対して
監査が必要なのは明白です

239
00:12:31,481 --> 00:12:34,096
チェックしないままこの種の権力を
与えてはいけないのです

240
00:12:34,120 --> 00:12:36,999
（拍手）

241
00:12:38,087 --> 00:12:42,329
監査は偉大で重要ですが
それで全ての問題を解決できはしません

242
00:12:42,353 --> 00:12:45,101
Facebookのニュース・フィードの
強力なアルゴリズムの場合

243
00:12:45,125 --> 00:12:49,968
全てをランク付けし
全ての友達やフォロー中のページのなかで

244
00:12:49,992 --> 00:12:52,276
何を見るべきか決定する仕組みですね

245
00:12:52,898 --> 00:12:55,173
赤ちゃんの写真をもう１枚見るべきか？

246
00:12:55,197 --> 00:12:56,393
（笑）

247
00:12:56,417 --> 00:12:59,013
知り合いからの ご機嫌斜めのコメントは？

248
00:12:59,449 --> 00:13:01,305
重要だけど難解なニュース記事は？

249
00:13:01,329 --> 00:13:02,811
正答はありません

250
00:13:02,835 --> 00:13:05,494
Facebookはサイト上での
やりとりに応じて最適化します

251
00:13:05,518 --> 00:13:06,933
「いいね」やシェア コメント
といったものです

252
00:13:08,168 --> 00:13:10,864
2014年8月

253
00:13:10,888 --> 00:13:13,550
ミズーリ州ファーガソンで
抗議運動が勃発しました

254
00:13:13,574 --> 00:13:17,991
アフリカ系アメリカ人の10代が
白人の警察官に殺され

255
00:13:18,015 --> 00:13:19,585
その状況が不審だったのです

256
00:13:19,974 --> 00:13:21,981
抗議運動のニュースは

257
00:13:22,005 --> 00:13:24,690
フィルタリングされない
Twitterフィードを埋め尽くしました

258
00:13:24,714 --> 00:13:26,664
でもFacebookには何ら
表示されませんでした

259
00:13:27,182 --> 00:13:28,916
Facebook上の友達との
関連でしょうか？

260
00:13:28,940 --> 00:13:30,972
私はFacebookのアルゴリズムを
無効にしました

261
00:13:31,472 --> 00:13:34,320
Facebookはアルゴリズムの
管理下に置きたがるので

262
00:13:34,344 --> 00:13:36,380
難しかったですけどね

263
00:13:36,404 --> 00:13:38,642
すると友達が 抗議運動のことを
話しているのが分かりました

264
00:13:38,666 --> 00:13:41,175
アルゴリズムが私に
見せなかっただけなんです

265
00:13:41,199 --> 00:13:44,241
調査して分かりましたが
これは広範囲にわたる問題でした

266
00:13:44,265 --> 00:13:48,078
ファーガソンの話題は
アルゴリズムに馴染まなかったんです

267
00:13:48,102 --> 00:13:49,273
「いいね」しにくいのです

268
00:13:49,297 --> 00:13:50,849
誰が「いいね」します？

269
00:13:51,500 --> 00:13:53,706
コメントをするのさえ
容易じゃありません

270
00:13:53,730 --> 00:13:55,101
「いいね」もコメントもないので

271
00:13:55,125 --> 00:13:58,417
アルゴリズムは少数の人にしか
それを表示しません

272
00:13:58,441 --> 00:13:59,983
だから目にすることがなかったんです

273
00:14:00,946 --> 00:14:02,174
そのかわり その週

274
00:14:02,198 --> 00:14:04,496
Facebookのアルゴリズムが
ハイライトしたのは

275
00:14:04,520 --> 00:14:06,746
ALSアイス・バケツ・チャレンジでした

276
00:14:06,770 --> 00:14:10,512
価値のある目的で氷水をかぶり
チャリティに寄付 良いですね

277
00:14:10,536 --> 00:14:12,440
でも極めてよく
アルゴリズムに馴染みます

278
00:14:13,219 --> 00:14:15,832
機械が私たちのために
これを決定したんです

279
00:14:15,856 --> 00:14:19,353
非常に重要だけれど難解な会話は

280
00:14:19,377 --> 00:14:20,932
Facebookが唯一の経路の場合

281
00:14:20,956 --> 00:14:23,652
抑え込まれてきたのかもしれません

282
00:14:24,117 --> 00:14:27,914
さて最後にこれらのシステムは

283
00:14:27,938 --> 00:14:30,674
人間のシステムとは似つかない誤りを
犯しうるのです

284
00:14:30,698 --> 00:14:33,620
皆さんはワトソンを覚えていますか
IBMの機械知能システムで

285
00:14:33,644 --> 00:14:36,772
クイズ番組『ジェパディ！』で
対戦相手の人間を打ち負かしました

286
00:14:37,131 --> 00:14:38,559
すごい選手だったんです

287
00:14:38,583 --> 00:14:42,152
しかし最終問題で
ワトソンは こんな質問をされました

288
00:14:42,659 --> 00:14:45,591
「その地域最大の空港の名は
第二次世界大戦の英雄に由来し

289
00:14:45,615 --> 00:14:47,867
２番目の空港の名の由来は
第二次世界大戦中の戦いです」

290
00:14:47,891 --> 00:14:49,269
（最終問題の音楽をハミング）

291
00:14:49,582 --> 00:14:50,764
「シカゴ」

292
00:14:50,788 --> 00:14:52,158
人間ふたりは正答でした

293
00:14:52,697 --> 00:14:57,045
一方ワトソンの答えは
「トロント」

294
00:14:57,069 --> 00:14:58,887
米国の都市についての
問題だったのに！

295
00:14:59,596 --> 00:15:02,497
この素晴らしいシステムも
エラーをするんです

296
00:15:02,521 --> 00:15:06,172
人間はしないようなエラーです
２年生の子どもでもしません

297
00:15:06,823 --> 00:15:09,932
機械知能は失敗を犯すこともあるんです

298
00:15:09,956 --> 00:15:13,056
人間のエラーパターンとは
異なります

299
00:15:13,080 --> 00:15:16,030
予想外であり 備えもできないような方法です

300
00:15:16,054 --> 00:15:19,692
資質のある人が仕事を得られないのも
ひどい話ですが

301
00:15:19,716 --> 00:15:23,443
もしそれがプログラムのサブルーチンに伴う
スタックオーバーフローが原因なら

302
00:15:23,467 --> 00:15:24,899
３倍ひどい話です

303
00:15:24,923 --> 00:15:26,502
（笑）

304
00:15:26,526 --> 00:15:29,312
2010年5月

305
00:15:29,336 --> 00:15:33,380
ウォールストリートの
「売り」アルゴリズムでの

306
00:15:33,404 --> 00:15:36,432
フィードバックループによって
瞬間暴落が起き

307
00:15:36,456 --> 00:15:40,640
36分間で１兆ドル相当の
損失が出ました

308
00:15:41,722 --> 00:15:43,909
「エラー」の意味を
考えたくもないのが

309
00:15:43,933 --> 00:15:47,522
無人攻撃機の場合です

310
00:15:49,894 --> 00:15:53,684
ええ人間には 偏見がつきものです

311
00:15:53,708 --> 00:15:55,884
意思決定者やゲートキーパー

312
00:15:55,908 --> 00:15:59,401
法廷、ニュース、戦争・・・

313
00:15:59,425 --> 00:16:02,463
そこではミスが生じますが
これこそ私の言いたいことです

314
00:16:02,487 --> 00:16:06,008
これらの難問から
私たちは逃れられません

315
00:16:06,596 --> 00:16:10,112
私たちは責任を
機械に外部委託することはできないのです

316
00:16:10,676 --> 00:16:14,884
（拍手）

317
00:16:17,089 --> 00:16:21,536
人工知能は「倫理問題からの解放」カードを
私たちにくれたりしません

318
00:16:22,742 --> 00:16:26,123
データ科学者のフレッド・ベネンソンは
これを数学による洗脳だと呼びました

319
00:16:26,147 --> 00:16:27,536
私たちに必要なのは逆のものです

320
00:16:27,560 --> 00:16:32,948
私たちはアルゴリズムを疑い 
精査するようにならねばなりません

321
00:16:33,380 --> 00:16:36,578
私たちは アルゴリズムについての
説明責任を持ち

322
00:16:36,602 --> 00:16:39,047
監査や意味のある透明化を
求めなければなりません

323
00:16:39,380 --> 00:16:42,614
私たちは厄介で価値観にかかわる
人間くさい事柄に対して

324
00:16:42,638 --> 00:16:45,608
数学や計算機は
客観性をもたらしえないことを

325
00:16:45,632 --> 00:16:48,016
受け入れなければなりません

326
00:16:48,894 --> 00:16:51,673
むしろ人間くささのもつ複雑さが
アルゴリズムを管理するのです

327
00:16:52,148 --> 00:16:55,635
確かに私たちは コンピュータを
良い決断を下す助けとして

328
00:16:55,659 --> 00:16:57,673
使いうるし そうすべきです

329
00:16:57,697 --> 00:17:03,029
でも私たちは判断を下すことへの
自分の道徳的な責任を認め

330
00:17:03,053 --> 00:17:05,871
そしてアルゴリズムを
その枠内で用いなければなりません

331
00:17:05,895 --> 00:17:10,830
自分の責任を放棄して
別の人間へ委ねることとは

332
00:17:10,854 --> 00:17:13,308
異なるのです

333
00:17:13,807 --> 00:17:16,416
機械知能はもう存在しています

334
00:17:16,440 --> 00:17:19,861
つまり私たちは
人間としての価値観や倫理感を

335
00:17:19,885 --> 00:17:22,032
よりしっかり持たねばなりません

336
00:17:22,056 --> 00:17:23,210
ありがとうございました

337
00:17:23,234 --> 00:17:28,254
（拍手）