1
00:00:00,739 --> 00:00:04,631
Я начала работать программистом

2
00:00:04,725 --> 00:00:06,841
в первый год учёбы в колледже,

3
00:00:06,865 --> 00:00:08,372
практически подростком.

4
00:00:08,699 --> 00:00:10,771
Вскоре после того, как я начала работать —

5
00:00:10,771 --> 00:00:12,255
писать программное обеспечение,

6
00:00:12,799 --> 00:00:16,434
один из работающих в компании 
менеджеров подошёл ко мне

7
00:00:16,458 --> 00:00:17,726
и прошептал:

8
00:00:18,229 --> 00:00:21,090
«Он понимает, когда я вру?»

9
00:00:21,806 --> 00:00:23,883
В комнате никого больше не было.

10
00:00:25,032 --> 00:00:29,421
«Кто он? И почему ты шепчешь?»

11
00:00:30,266 --> 00:00:33,373
Менеджер указал на компьютер.

12
00:00:33,397 --> 00:00:36,493
«Он может понять, когда я вру?»

13
00:00:37,613 --> 00:00:41,975
Кстати, у этого менеджера
был роман с секретаршей.

14
00:00:41,999 --> 00:00:43,111
(Смех)

15
00:00:43,135 --> 00:00:45,191
А а была ещё подростком.

16
00:00:45,447 --> 00:00:47,466
Поэтому я шёпотом крикнула ему:

17
00:00:47,490 --> 00:00:51,114
«Да, компьютер может понять,
когда вы лжёте».

18
00:00:51,138 --> 00:00:52,944
(Смех)

19
00:00:52,968 --> 00:00:55,891
Я пошутила, но оказалось,
что это была не шутка.

20
00:00:55,915 --> 00:00:59,183
Теперь существуют вычислительные системы,

21
00:00:59,207 --> 00:01:02,755
которые могут определить ваше
эмоциональное состояние и даже ложь,

22
00:01:02,779 --> 00:01:04,823
обрабатывая выражения человеческих лиц.

23
00:01:05,248 --> 00:01:09,401
Рекламодатели и правительства 
очень заинтересованы.

24
00:01:10,319 --> 00:01:12,181
Я стала программистом,

25
00:01:12,205 --> 00:01:15,828
потому что я была одержимым
математикой и наукой ребёнком.

26
00:01:15,942 --> 00:01:19,050
Но в какой-то момент я узнала 
о существовании ядерного оружия

27
00:01:19,074 --> 00:01:22,026
и всерьёз задумалась о научной этике.

28
00:01:22,050 --> 00:01:23,254
Меня это беспокоило.

29
00:01:23,278 --> 00:01:25,919
Однако из-за семейных обстоятельств

30
00:01:25,943 --> 00:01:29,241
мне пришлось начать 
работать как можно скорее.

31
00:01:29,265 --> 00:01:32,564
Так что я подумала: «Эй, мне просто 
надо выбрать техническую область,

32
00:01:32,588 --> 00:01:34,384
где я смогу легко получить работу,

33
00:01:34,408 --> 00:01:38,556
и где мне не придётся иметь 
дело со сложными этическими вопросами».

34
00:01:39,022 --> 00:01:40,551
Так что я выбрала компьютеры.

35
00:01:40,575 --> 00:01:41,679
(Смех)

36
00:01:41,703 --> 00:01:45,113
Ха, ха, ха! Все смеются надо мной.

37
00:01:45,137 --> 00:01:47,891
В наши дни компьютерные 
учёные создают платформы,

38
00:01:47,915 --> 00:01:52,124
которые контролируют то, 
что миллиард человек видит каждый день.

39
00:01:53,052 --> 00:01:56,874
Они разрабатывают автомобили, 
которые могли бы решить, кого задавить.

40
00:01:57,707 --> 00:02:00,920
Они даже разрабатывают машины и оружие,

41
00:02:00,944 --> 00:02:03,229
которые могут убивать людей на войне.

42
00:02:03,253 --> 00:02:06,024
Здесь вопросы этики повсюду.

43
00:02:07,183 --> 00:02:09,241
Искусственный интеллект уже здесь.

44
00:02:09,823 --> 00:02:13,297
Мы уже используем вычислительную
технику для принятия каких угодно решений,

45
00:02:13,321 --> 00:02:15,207
и даже для создания новых решений.

46
00:02:15,231 --> 00:02:20,403
Мы задаём компьютерам вопросы, 
на которые нет единого правильного ответа:

47
00:02:20,427 --> 00:02:21,629
субъективные вопросы,

48
00:02:21,653 --> 00:02:23,978
открытые и вопросы оценочного характера.

49
00:02:24,002 --> 00:02:25,760
Мы задавали такие вопросы, как:

50
00:02:25,784 --> 00:02:27,554
«Кого стоит нанять в компанию?»

51
00:02:28,096 --> 00:02:30,855
«Какое обновление и от какого 
друга мы должны видеть?»

52
00:02:30,879 --> 00:02:33,475
«Кто из осуждённых 
скорее всего станет рецидивистом?»

53
00:02:33,514 --> 00:02:36,568
«Какие новости или фильмы 
рекомендовать людям?»

54
00:02:36,592 --> 00:02:39,964
Да, мы используем компьютеры 
уже продолжительное время,

55
00:02:39,988 --> 00:02:41,505
но это совсем другое.

56
00:02:41,529 --> 00:02:43,596
Это исторический поворот,

57
00:02:43,620 --> 00:02:48,957
потому что базис для вычисления 
принятия субъективных решений,

58
00:02:48,981 --> 00:02:54,401
отличается от того, что используется для 
сборки самолётов, строительства мостов

59
00:02:54,425 --> 00:02:55,684
или полётов на Луну.

60
00:02:56,449 --> 00:02:59,708
Самолёты стали безопаснее?
Мосты больше не падают?

61
00:02:59,732 --> 00:03:03,524
Здесь у нас есть 
достаточно чёткие критерии

62
00:03:03,524 --> 00:03:06,493
и законы природы, 
на которые мы можем положиться.

63
00:03:06,517 --> 00:03:09,911
Но нет чётких критериев

64
00:03:09,935 --> 00:03:13,898
для принятия решений 
в запутанных людских делах.

65
00:03:13,922 --> 00:03:18,159
Ещё больше усложняет задачу 
программное обеспечение,

66
00:03:18,183 --> 00:03:21,956
становящееся менее прозрачным 
и более сложным и мощным.

67
00:03:22,542 --> 00:03:24,582
За последнее десятилетие

68
00:03:24,606 --> 00:03:27,335
развитие сложных алгоритмов
достигло больших успехов.

69
00:03:27,359 --> 00:03:29,349
Они могут распознавать человеческие лица.

70
00:03:29,985 --> 00:03:32,040
Они могут расшифровывать почерк.

71
00:03:32,266 --> 00:03:34,502
Выявить мошенничество
с кредитными картами

72
00:03:34,526 --> 00:03:35,715
или блокировать спам,

73
00:03:35,739 --> 00:03:37,776
они могут переводить с других языков.

74
00:03:37,800 --> 00:03:40,374
Они могут выявлять опухоли
в рентгенографии.

75
00:03:40,398 --> 00:03:43,053
Они могут обыгрывать нас в шахматы и в Го.

76
00:03:43,264 --> 00:03:47,768
Большáя часть этого прогресса достигнута
с помощью «машинного обучения».

77
00:03:48,175 --> 00:03:51,362
Машинное обучение отличается
от традиционного программирования,

78
00:03:51,386 --> 00:03:54,971
где вы даёте компьютеру подробные, 
точные, чёткие инструкции.

79
00:03:55,378 --> 00:03:59,560
Это больше похоже, как будто мы 
скармливаем компьютеру много данных,

80
00:03:59,584 --> 00:04:01,240
в том числе бессистемных данных,

81
00:04:01,264 --> 00:04:03,542
как те, что мы создаём 
в нашей цифровой жизни.

82
00:04:03,566 --> 00:04:06,296
И система сама учится
систематизировать эти данные.

83
00:04:06,669 --> 00:04:08,195
Особенно важно то,

84
00:04:08,219 --> 00:04:12,599
что эти системы не работают 
по логике поиска единого ответа.

85
00:04:12,623 --> 00:04:15,582
Они не дают однозначного ответа,
они основаны на вероятности:

86
00:04:15,606 --> 00:04:19,089
«Этот ответ, вероятно, 
похож на то, что вы ищете».

87
00:04:20,023 --> 00:04:23,093
Плюс этого метода в том,
что он очень перспективный.

88
00:04:23,117 --> 00:04:25,193
Глава систем ИИ Google назвал его

89
00:04:25,217 --> 00:04:27,414
«нерационально высокая
эффективность данных».

90
00:04:27,791 --> 00:04:29,144
Минус в том,

91
00:04:29,738 --> 00:04:32,809
что мы не знаем, 
что именно система выучила.

92
00:04:32,833 --> 00:04:34,420
В этом мощь системы.

93
00:04:34,946 --> 00:04:38,744
Это не похоже на то,
как давать указания компьютеру;

94
00:04:39,200 --> 00:04:43,264
это больше похоже 
на обучение машины-щенка,

95
00:04:43,288 --> 00:04:45,659
которого мы не понимаем и не контролируем.

96
00:04:46,362 --> 00:04:47,913
В этом наша проблема.

97
00:04:48,427 --> 00:04:52,689
Плохо, когда система искусственного
интеллекта понимает что-то неправильно.

98
00:04:52,713 --> 00:04:56,253
И также плохо, когда система
понимает что-то правильно,

99
00:04:56,277 --> 00:05:00,055
потому что мы не знаем, что есть что,
когда дело касается субъективой проблемы.

100
00:05:00,055 --> 00:05:02,268
Мы не знаем, о чём эта штука думает.

101
00:05:03,493 --> 00:05:07,176
Рассмотрим алгоритм приёма на работу —

102
00:05:08,123 --> 00:05:12,434
система для найма людей
с использованием машинного обучения.

103
00:05:13,052 --> 00:05:16,631
Такая система будет обучаться 
по данным о предыдущих сотрудниках

104
00:05:16,655 --> 00:05:19,246
и будет искать и нанимать людей,

105
00:05:19,270 --> 00:05:22,308
похожих на нынешних самых эффективных 
сотрудников компании.

106
00:05:22,814 --> 00:05:23,967
Звучит хорошо.

107
00:05:23,991 --> 00:05:25,990
Однажды я была на конференции

108
00:05:26,014 --> 00:05:29,359
для руководителей, менеджеров по персоналу

109
00:05:29,359 --> 00:05:30,369
и топ-менеджеров,

110
00:05:30,393 --> 00:05:31,992
использующих такую систему найма.

111
00:05:31,992 --> 00:05:33,622
Все были очень воодушевлены.

112
00:05:33,646 --> 00:05:38,299
Они думали, что это сделает процесс
найма более объективным, менее предвзятым,

113
00:05:38,323 --> 00:05:41,323
даст женщинам и меньшинствам 
больше шансов

114
00:05:41,347 --> 00:05:43,535
в отличие от предвзято
настроенных менеджеров.

115
00:05:43,559 --> 00:05:46,402
Найм сотрудников построен на предвзятости.

116
00:05:47,099 --> 00:05:48,284
Я знаю.

117
00:05:48,308 --> 00:05:51,313
На одной из моих первых работ
в качестве программиста

118
00:05:51,337 --> 00:05:55,205
моя непосредственная начальница
иногда подходила ко мне

119
00:05:55,229 --> 00:05:58,982
очень рано утром или очень поздно днём

120
00:05:59,006 --> 00:06:02,068
и говорила: «Зейнеп, пойдём обедать!»

121
00:06:02,724 --> 00:06:04,891
Я была озадачена странным выбором времени.

122
00:06:04,915 --> 00:06:07,044
Обед в 4 часа дня?

123
00:06:07,068 --> 00:06:10,162
Бесплатный ланч; денег у меня нет. 
Я всегда ходила.

124
00:06:10,618 --> 00:06:12,685
Позже я поняла, что происходит.

125
00:06:12,709 --> 00:06:17,255
Мои непосредственные руководители 
не признались вышестоящему руководству,

126
00:06:17,279 --> 00:06:20,982
что программист, которого они наняли
на серьёзный проект — девушка подросток,

127
00:06:20,982 --> 00:06:24,346
которая ходит на работу
в джинсах и кроссовках.

128
00:06:24,784 --> 00:06:27,540
Я хорошо выполняла работу,
я просто выглядела неподобающе,

129
00:06:27,540 --> 00:06:29,239
была неправильного возраста и пола.

130
00:06:29,239 --> 00:06:32,469
Так что найм без учёта пола и расы,

131
00:06:32,493 --> 00:06:34,618
конечно, звучит для меня
как хорошая идея.

132
00:06:35,031 --> 00:06:38,372
Но с этими системами 
всё сложнее, и вот почему:

133
00:06:38,968 --> 00:06:44,713
Сейчас вычислительные системы 
могут узнать всю информацию о вас

134
00:06:44,713 --> 00:06:46,905
по крошкам, что вы оставляете 
в цифровом виде,

135
00:06:46,905 --> 00:06:49,012
даже если вы не разглашаете
такую информацию.

136
00:06:49,506 --> 00:06:52,433
Они могут вычислить 
вашу сексуальную ориентацию,

137
00:06:52,994 --> 00:06:54,300
ваши черты характера,

138
00:06:54,859 --> 00:06:56,492
ваши политические пристрастия.

139
00:06:56,830 --> 00:07:00,705
Они могут составлять прогнозы
с высоким уровнем точности.

140
00:07:01,242 --> 00:07:04,170
Помните, даже для информации,
которую вы даже не разглашаете.

141
00:07:04,170 --> 00:07:05,555
Это предположения.

142
00:07:05,579 --> 00:07:08,840
У меня есть подруга, которая 
разрабатывает такие системы

143
00:07:08,864 --> 00:07:12,505
для прогнозирования вероятности 
клинической или послеродовой депрессии

144
00:07:12,529 --> 00:07:14,275
по данным из социальных сетей.

145
00:07:14,676 --> 00:07:16,103
Результаты впечатляют.

146
00:07:16,492 --> 00:07:19,849
Её система может предсказать
вероятность депрессии

147
00:07:19,873 --> 00:07:23,776
до появления каких-либо симптомов —

148
00:07:23,800 --> 00:07:25,173
за несколько месяцев.

149
00:07:25,197 --> 00:07:27,443
Симптомов нет, а прогноз есть.

150
00:07:27,467 --> 00:07:32,279
Она надеется, что программа будет 
использоваться для профилактики. Отлично!

151
00:07:32,911 --> 00:07:34,951
Теперь представьте это в контексте найма.

152
00:07:35,877 --> 00:07:39,213
На той конференции
для управляющих персоналом

153
00:07:39,213 --> 00:07:43,806
я подошла к менеджеру высокого уровня 
в очень крупной компании,

154
00:07:43,830 --> 00:07:48,408
и спросила её: 
«Что, если система без вашего ведома,

155
00:07:48,432 --> 00:07:54,981
начнёт отсеивать людей 
с высокой вероятностью будущей депрессии?

156
00:07:55,761 --> 00:07:59,137
Сейчас у них нет депрессии, 
но в будущем вероятность высока.

157
00:07:59,673 --> 00:08:03,589
Что, если система начнёт отсеивать женщин,
чья вероятность забеременеть

158
00:08:03,589 --> 00:08:06,119
через год или два выше,
но они не беременны сейчас?

159
00:08:06,844 --> 00:08:12,480
Если начнёт нанимать агрессивных людей, 
потому что это норма для вашей компании?

160
00:08:13,063 --> 00:08:15,864
Этого не определить, глядя
на процентное соотношение полов.

161
00:08:15,888 --> 00:08:17,510
Эти показатели могут быть в норме.

162
00:08:17,510 --> 00:08:20,971
Так как это машинное обучение, 
а не традиционное программирование,

163
00:08:20,995 --> 00:08:25,902
тут нет переменной
«более высокий риск депрессии»,

164
00:08:25,926 --> 00:08:27,759
«высокий риск беременности»,

165
00:08:27,783 --> 00:08:29,517
или «агрессивный парень».

166
00:08:29,995 --> 00:08:33,674
Мало того, что вы не знаете, 
как ваша система делает выводы,

167
00:08:33,698 --> 00:08:36,021
вы даже не знаете, откуда что берётся.

168
00:08:36,045 --> 00:08:37,291
Это чёрный ящик.

169
00:08:37,315 --> 00:08:40,502
Он может прогнозировать,
но мы не понимаем принцип его работы.

170
00:08:40,502 --> 00:08:42,855
Я спросила: 
«Какие у вас меры предосторожности,

171
00:08:42,879 --> 00:08:46,552
чтобы убедиться, что чёрный ящик 
не делает ничего сомнительного?»

172
00:08:48,863 --> 00:08:52,741
Она посмотрела на меня, как будто я 
только что отдавила хвосты 10 щенкам.

173
00:08:52,765 --> 00:08:54,013
(Смех)

174
00:08:54,037 --> 00:08:56,078
Она посмотрела на меня и сказала: 


175
00:08:56,556 --> 00:09:00,889
«Я не хочу слышать ни слова об этом».

176
00:09:01,458 --> 00:09:03,492
Она повернулась и пошла прочь.

177
00:09:03,794 --> 00:09:05,600
Имейте в виду — она не грубила мне.

178
00:09:05,600 --> 00:09:11,882
Позиция очевидна: то, что я не знаю — 
не моя проблема, отвяжись, стрелы из глаз.

179
00:09:11,906 --> 00:09:13,152
(Смех)

180
00:09:13,862 --> 00:09:17,701
Такая система 
может быть менее предвзятой,

181
00:09:17,725 --> 00:09:19,828
чем сами менеджеры в каком-то смысле.

182
00:09:19,852 --> 00:09:21,998
В этом может быть финансовая выгода.

183
00:09:22,573 --> 00:09:24,223
Но это также может привести

184
00:09:24,247 --> 00:09:28,995
к неуклонному и скрытому
выдавливанию с рынка труда

185
00:09:29,019 --> 00:09:31,542
людей с более высоким 
риском развития депрессии.

186
00:09:31,753 --> 00:09:34,349
Мы хотим построить такое общество,

187
00:09:34,373 --> 00:09:36,658
даже не осознавая, что мы делаем,

188
00:09:36,682 --> 00:09:40,646
потому что отдали право принятия решений
машинам, которых до конца не понимаем?

189
00:09:41,265 --> 00:09:43,113
Следующая проблема:

190
00:09:43,314 --> 00:09:47,766
эти системы часто обучаются на данных,
произведённых нашими действиями —

191
00:09:47,790 --> 00:09:49,606
человеческим поведением.

192
00:09:50,188 --> 00:09:53,996
Возможно, они просто 
отражают наши предубеждения,

193
00:09:54,020 --> 00:09:57,613
и эти системы могут 
собирать наши пристрастия

194
00:09:57,637 --> 00:09:58,950
и усиливать их,

195
00:09:58,974 --> 00:10:00,392
показывая нам их вновь,

196
00:10:00,416 --> 00:10:01,878
а мы говорим себе:

197
00:10:01,902 --> 00:10:05,019
«Мы просто проводим объективные, 
непредвзятые вычисления».

198
00:10:06,314 --> 00:10:08,991
Исследователи обнаружили что в Google

199
00:10:10,134 --> 00:10:15,447
женщины реже, чем мужчины, видят 
объявления о высокооплачиваемой работе.

200
00:10:16,463 --> 00:10:18,993
Набирая в поисковике
афро-американские имена,

201
00:10:19,017 --> 00:10:23,723
вероятность увидеть объявления 
криминального характера будет выше,

202
00:10:23,747 --> 00:10:25,314
даже там, где криминала нет.

203
00:10:26,693 --> 00:10:30,242
Скрытая необъективность
и алгоритмы чёрного ящика,

204
00:10:30,266 --> 00:10:34,239
которые исследователи 
иногда выявляют, а иногда нет,

205
00:10:34,263 --> 00:10:36,924
могут иметь далеко идущие последствия.

206
00:10:37,958 --> 00:10:42,117
В Висконсине подсудимый был приговорён 
к шести годам лишения свободы

207
00:10:42,141 --> 00:10:43,496
за уклонение от полиции.

208
00:10:44,824 --> 00:10:46,010
Может, вы не знаете,

209
00:10:46,034 --> 00:10:50,032
но эти алгоритмы всё чаще используются 
в вынесении приговоров.

210
00:10:50,056 --> 00:10:53,261
Он хотел узнать,
как всё это рассчитывается?

211
00:10:53,795 --> 00:10:55,460
Это коммерческий чёрный ящик.


212
00:10:55,484 --> 00:10:59,689
Компания отказалась обсуждать
свой алгоритм на открытом заседании суда.

213
00:11:00,396 --> 00:11:05,928
Но следственная некоммерческая организация
ProPublica проверила алгоритм,

214
00:11:05,952 --> 00:11:07,968
используя данные из Интернета,

215
00:11:07,992 --> 00:11:10,308
и обнаружила, 
что результаты необъективны,

216
00:11:10,332 --> 00:11:13,961
способность прогнозирования ужасная, 
немного лучше, чем случайность.

217
00:11:13,985 --> 00:11:18,401
Система классифицирует чернокожих 
обвиняемых как будущих преступников

218
00:11:18,425 --> 00:11:22,320
в два раза чаще, чем белых обвиняемых.

219
00:11:23,891 --> 00:11:25,455
Рассмотрим следующий случай:

220
00:11:26,103 --> 00:11:29,955
Эта девушка опаздывала, чтобы забрать
свою крёстную сестру

221
00:11:29,979 --> 00:11:32,054
из школы в округе Броуард, штат Флорида.

222
00:11:32,757 --> 00:11:35,113
Они с подругой бежали по улице.

223
00:11:35,137 --> 00:11:39,236
Тут они заметили незапертые 
велосипед и скутер на крыльце

224
00:11:39,260 --> 00:11:40,892
и по глупости взяли их.

225
00:11:40,916 --> 00:11:43,515
Когда они отъезжали, 
вышла женщина и крикнула:

226
00:11:43,539 --> 00:11:45,744
«Эй! Это велосипед моего ребёнка!»

227
00:11:45,768 --> 00:11:49,062
Они его бросили и ушли, 
но их арестовали.

228
00:11:49,086 --> 00:11:52,723
Она была не права, она сглупила, 
но ей было всего 18 лет.

229
00:11:52,747 --> 00:11:55,291
У неё была пара 
малолетних правонарушений.

230
00:11:55,808 --> 00:12:00,993
В то же время этот мужчина был 
арестован за кражу в магазине Home Depot,

231
00:12:01,017 --> 00:12:03,941
примерно на сумму 85 долларов —
такое же мелкое преступление.

232
00:12:04,766 --> 00:12:09,325
Но у него за спиной было 
две судимости за вооружённый грабеж.

233
00:12:09,955 --> 00:12:13,437
Алгоритм посчитал, 
что её показатель риска выше, чем его.

234
00:12:14,746 --> 00:12:18,620
Спустя пару лет ProPublica выяснили, 
что она больше не совершала преступлений.

235
00:12:18,644 --> 00:12:21,194
Но зато ей было сложно найти 
работу, имея судимость.

236
00:12:21,218 --> 00:12:23,294
Тогда как этот мужчина стал рецидивистом,

237
00:12:23,318 --> 00:12:27,154
и в настоящее время отбывает восьмилетний 
срок за своё последнее преступление.

238
00:12:28,088 --> 00:12:31,457
Очевидно, мы должны проверять
наши чёрные ящики,

239
00:12:31,481 --> 00:12:34,096
чтобы они не получили 
бесконтрольную власть.

240
00:12:34,120 --> 00:12:36,999
(Аплодисменты)

241
00:12:38,087 --> 00:12:42,329
Проверка и контроль важны, 
но они не решают всех проблем.

242
00:12:42,353 --> 00:12:45,101
Вспомните мощный алгоритм
ленты новостей на Facebook —

243
00:12:45,125 --> 00:12:49,968
знаете, тот, который оценивает всё 
и решает, что именно вам показывать

244
00:12:49,992 --> 00:12:52,606
от ваших друзей и до страниц,
на которые вы подписаны.

245
00:12:52,898 --> 00:12:55,173
Показать вам ещё одну картинку младенца?

246
00:12:55,197 --> 00:12:56,393
(Смех)

247
00:12:56,417 --> 00:12:59,013
Грустный комментарий от знакомого?

248
00:12:59,449 --> 00:13:01,305
Важную, но непростую новость?

249
00:13:01,329 --> 00:13:02,811
Тут нет единого ответа.

250
00:13:02,835 --> 00:13:05,494
Facebook оптимизирует 
вашу деятельность на сайте:

251
00:13:05,518 --> 00:13:06,933
лайки, ссылки, комментарии.

252
00:13:08,168 --> 00:13:10,864
В августе 2014 года

253
00:13:10,888 --> 00:13:13,550
в Фергюсоне, штат Миссури
вспыхнули протесты

254
00:13:13,574 --> 00:13:17,991
после того, как белый полицейский
убил афро-американского подростка

255
00:13:18,015 --> 00:13:19,585
при невыясненных обстоятельствах.

256
00:13:19,974 --> 00:13:21,981
Новости о протестах заполонили

257
00:13:22,005 --> 00:13:24,690
мой алгоритмически
нефильтрованный Twitter,

258
00:13:24,714 --> 00:13:26,664
но в моём Facebook их не было.

259
00:13:26,912 --> 00:13:28,916
Может, это из-за моих друзей в Facebook?

260
00:13:28,940 --> 00:13:30,972
Я отключила алгоритм Facebook,

261
00:13:31,472 --> 00:13:34,320
что было сложно, так как Facebook хочет,

262
00:13:34,344 --> 00:13:36,380
чтобы вы были под контролем алгоритма.

263
00:13:36,404 --> 00:13:38,642
Я увидела, что мои друзья
обсуждали эту тему.

264
00:13:38,666 --> 00:13:40,929
Просто алгоритм не показывал это мне.

265
00:13:40,929 --> 00:13:44,261
Я изучила этот вопрос и выяснила,
что это распространённая проблема.

266
00:13:44,261 --> 00:13:47,812
Новость про Фергюсон 
была неудобна для алгоритма.

267
00:13:47,812 --> 00:13:49,383
Эта новость не наберёт лайки.

268
00:13:49,383 --> 00:13:50,849
Кто будет лайкать это?

269
00:13:51,500 --> 00:13:53,706
Это даже сложно комментировать.

270
00:13:53,730 --> 00:13:55,101
Без лайков и комментариев

271
00:13:55,125 --> 00:13:58,417
алгоритм, вероятно, показывал 
новость ещё меньшему кругу людей,

272
00:13:58,441 --> 00:13:59,983
поэтому мы не видели это.

273
00:14:00,796 --> 00:14:02,174
Вместо этого на той же неделе

274
00:14:02,198 --> 00:14:04,496
алгоритм Facebook выделил это —

275
00:14:04,520 --> 00:14:06,730
кампания «испытание ведром ледяной воды».

276
00:14:06,730 --> 00:14:10,642
Важное дело: выливаем ведро со льдом, 
жертвуем на благотворительность — супер.

277
00:14:10,642 --> 00:14:12,810
Это было очень удобно для алгоритма.

278
00:14:13,219 --> 00:14:15,832
Машина решила за нас.

279
00:14:15,856 --> 00:14:19,353
Очень важный, но трудный разговор,

280
00:14:19,377 --> 00:14:20,932
возможно, был бы замят,

281
00:14:20,956 --> 00:14:23,652
будь Facebook единственным каналом.

282
00:14:24,117 --> 00:14:27,914
Наконец, эти системы могут делать ошибки,

283
00:14:27,938 --> 00:14:30,674
которые не похожи на ошибки людей.

284
00:14:30,698 --> 00:14:33,620
Помните Уотсона,
искусственный интеллект IBM,

285
00:14:33,644 --> 00:14:36,772
который разгромил соперников-людей
на телевикторине Jeopardy?

286
00:14:37,131 --> 00:14:38,559
Он был отличным игроком.

287
00:14:38,583 --> 00:14:42,152
Тогда, во время финала игры
Уотсону задали вопрос:

288
00:14:42,389 --> 00:14:45,591
«Его крупнейший аэропорт назван 
в честь героя Второй мировой войны,

289
00:14:45,615 --> 00:14:48,067
а второй — в честь битвы
Второй мировой войны».

290
00:14:48,067 --> 00:14:49,439
(Музыка Final Jeopardy)

291
00:14:49,582 --> 00:14:50,764
Чикаго.

292
00:14:50,788 --> 00:14:52,538
Два человека ответили правильно.

293
00:14:52,697 --> 00:14:57,045
Уотсон ответил «Торонто» —

294
00:14:57,069 --> 00:14:58,887
в категории городов США!

295
00:14:59,596 --> 00:15:02,497
Мощнейшая система сделала ошибку,

296
00:15:02,521 --> 00:15:06,172
которую человек никогда бы не сделал, 
даже второклассник бы не ошибся.

297
00:15:06,823 --> 00:15:09,932
Искусственный интеллект 
может ошибиться там,

298
00:15:09,956 --> 00:15:13,056
где человек не допустит ошибку,

299
00:15:13,080 --> 00:15:16,030
там, где мы не ожидаем
ошибку и не готовы к ней.

300
00:15:16,054 --> 00:15:19,692
Жалко не получить работу тому, 
кто для неё подходит,

301
00:15:19,716 --> 00:15:23,663
но ещё хуже, если это произошло
из-за переполнения стека

302
00:15:23,663 --> 00:15:24,899
в какой-то подпрограмме.

303
00:15:24,923 --> 00:15:26,502
(Смех)

304
00:15:26,526 --> 00:15:29,312
В мае 2010 года

305
00:15:29,336 --> 00:15:33,380
произошёл обвал рынка Уолл-стрит
по вине метода передачи данных

306
00:15:33,404 --> 00:15:36,432
в алгоритме Уолл-стрит «сбыт»,

307
00:15:36,456 --> 00:15:40,640
что снизило стоимость бумаг 
на триллион долларов на 36 минут.

308
00:15:41,352 --> 00:15:44,679
Даже подумать страшно, какие
последствия может иметь «ошибка»

309
00:15:44,679 --> 00:15:48,322
в контексте автономного летального оружия.

310
00:15:49,894 --> 00:15:53,684
У людей всегда предвзятый взгляд на вещи.

311
00:15:53,708 --> 00:15:55,884
Лица, принимающие решения, и контролёры;

312
00:15:55,908 --> 00:15:59,401
в судах, в новостях, на войне ...

313
00:15:59,425 --> 00:16:02,463
люди совершают ошибки —
именно это я и имею в виду.

314
00:16:02,487 --> 00:16:06,008
Мы не можем избежать сложных вопросов.

315
00:16:06,596 --> 00:16:10,112
Мы не можем переложить 
свои обязанности на машины.

316
00:16:10,676 --> 00:16:14,884
(Аплодисменты)

317
00:16:17,089 --> 00:16:21,536
Искусственный интеллект не даёт нам
права переложить вопросы этики на машину.

318
00:16:22,742 --> 00:16:26,123
Эксперт по данным Фред Бененсон
называет это «математической чисткой».

319
00:16:26,147 --> 00:16:27,536
Нам нужно совсем другое.

320
00:16:27,560 --> 00:16:32,948
Нам необходимы пристальное внимание, 
контроль и оценка алгоритмов.

321
00:16:33,380 --> 00:16:36,578
У нас должна быть
алгоритмическая отчётность,

322
00:16:36,602 --> 00:16:39,047
проверка и достаточная прозрачность.

323
00:16:39,380 --> 00:16:42,614
Мы должны признать, что, добавив
математику и вычисления

324
00:16:42,638 --> 00:16:45,608
к запутанным человеческим делам,

325
00:16:45,632 --> 00:16:48,016
мы не получим объективности;

326
00:16:48,040 --> 00:16:51,673
скорее, сложность человеческих 
отношений вторгнется в алгоритмы.

327
00:16:52,148 --> 00:16:55,635
Да, мы можем, и мы должны 
использовать вычисления

328
00:16:55,659 --> 00:16:57,673
для поиска лучших решений.

329
00:16:57,697 --> 00:17:03,029
Мы также должны нести моральную
ответственность и принимать решения,

330
00:17:03,053 --> 00:17:05,871
успользуя алгоритмы в этих рамках,

331
00:17:05,895 --> 00:17:10,830
а не как средство отказа от обязательств, 
чтобы передать наши обязанности

332
00:17:10,854 --> 00:17:13,308
друг другу, как один человек другому.

333
00:17:13,807 --> 00:17:16,416
Искусственный интеллект уже здесь.

334
00:17:16,440 --> 00:17:19,861
Это значит, что мы должны 
ещё больше придерживаться

335
00:17:19,885 --> 00:17:22,032
человеческих ценностей и этики.

336
00:17:22,056 --> 00:17:23,210
Спасибо.

337
00:17:23,234 --> 00:17:28,254
(Аплодисменты)