WEBVTT

00:00:00.739 --> 00:00:04.631
Я начала работать программистом

00:00:04.725 --> 00:00:06.841
в первый год учёбы в колледже,

00:00:06.865 --> 00:00:08.372
практически подростком.

NOTE Paragraph

00:00:08.699 --> 00:00:10.771
Вскоре после того, как я начала работать —

00:00:10.771 --> 00:00:12.255
писать программное обеспечение,

00:00:12.799 --> 00:00:16.434
один из работающих в компании 
менеджеров подошёл ко мне

00:00:16.458 --> 00:00:17.726
и прошептал:

00:00:18.229 --> 00:00:21.090
«Он понимает, когда я вру?»

00:00:21.806 --> 00:00:23.883
В комнате никого больше не было.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
«Кто он? И почему ты шепчешь?»

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
Менеджер указал на компьютер.

00:00:33.397 --> 00:00:36.493
«Он может понять, когда я вру?»

00:00:37.613 --> 00:00:41.975
Кстати, у этого менеджера
был роман с секретаршей.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Смех)

NOTE Paragraph

00:00:43.135 --> 00:00:45.191
А а была ещё подростком.

00:00:45.447 --> 00:00:47.466
Поэтому я шёпотом крикнула ему:

00:00:47.490 --> 00:00:51.114
«Да, компьютер может понять,
когда вы лжёте».

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Смех)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
Я пошутила, но оказалось,
что это была не шутка.

00:00:55.915 --> 00:00:59.183
Теперь существуют вычислительные системы,

00:00:59.207 --> 00:01:02.755
которые могут определить ваше
эмоциональное состояние и даже ложь,

00:01:02.779 --> 00:01:04.823
обрабатывая выражения человеческих лиц.

00:01:05.248 --> 00:01:09.401
Рекламодатели и правительства 
очень заинтересованы.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Я стала программистом,

00:01:12.205 --> 00:01:15.828
потому что я была одержимым
математикой и наукой ребёнком.

00:01:15.942 --> 00:01:19.050
Но в какой-то момент я узнала 
о существовании ядерного оружия

00:01:19.074 --> 00:01:22.026
и всерьёз задумалась о научной этике.

00:01:22.050 --> 00:01:23.254
Меня это беспокоило.

00:01:23.278 --> 00:01:25.919
Однако из-за семейных обстоятельств

00:01:25.943 --> 00:01:29.241
мне пришлось начать 
работать как можно скорее.

00:01:29.265 --> 00:01:32.564
Так что я подумала: «Эй, мне просто 
надо выбрать техническую область,

00:01:32.588 --> 00:01:34.384
где я смогу легко получить работу,

00:01:34.408 --> 00:01:38.556
и где мне не придётся иметь 
дело со сложными этическими вопросами».

00:01:39.022 --> 00:01:40.551
Так что я выбрала компьютеры.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Смех)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Ха, ха, ха! Все смеются надо мной.

00:01:45.137 --> 00:01:47.891
В наши дни компьютерные 
учёные создают платформы,

00:01:47.915 --> 00:01:52.124
которые контролируют то, 
что миллиард человек видит каждый день.

00:01:53.052 --> 00:01:56.874
Они разрабатывают автомобили, 
которые могли бы решить, кого задавить.

00:01:57.707 --> 00:02:00.920
Они даже разрабатывают машины и оружие,

00:02:00.944 --> 00:02:03.229
которые могут убивать людей на войне.

00:02:03.253 --> 00:02:06.024
Здесь вопросы этики повсюду.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
Искусственный интеллект уже здесь.

00:02:09.823 --> 00:02:13.297
Мы уже используем вычислительную
технику для принятия каких угодно решений,

00:02:13.321 --> 00:02:15.207
и даже для создания новых решений.

00:02:15.231 --> 00:02:20.403
Мы задаём компьютерам вопросы, 
на которые нет единого правильного ответа:

00:02:20.427 --> 00:02:21.629
субъективные вопросы,

00:02:21.653 --> 00:02:23.978
открытые и вопросы оценочного характера.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
Мы задавали такие вопросы, как:

00:02:25.784 --> 00:02:27.554
«Кого стоит нанять в компанию?»

00:02:28.096 --> 00:02:30.855
«Какое обновление и от какого 
друга мы должны видеть?»

00:02:30.879 --> 00:02:33.475
«Кто из осуждённых 
скорее всего станет рецидивистом?»

00:02:33.514 --> 00:02:36.568
«Какие новости или фильмы 
рекомендовать людям?»

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Да, мы используем компьютеры 
уже продолжительное время,

00:02:39.988 --> 00:02:41.505
но это совсем другое.

00:02:41.529 --> 00:02:43.596
Это исторический поворот,

00:02:43.620 --> 00:02:48.957
потому что базис для вычисления 
принятия субъективных решений,

00:02:48.981 --> 00:02:54.401
отличается от того, что используется для 
сборки самолётов, строительства мостов

00:02:54.425 --> 00:02:55.684
или полётов на Луну.

00:02:56.449 --> 00:02:59.708
Самолёты стали безопаснее?
Мосты больше не падают?

00:02:59.732 --> 00:03:03.524
Здесь у нас есть 
достаточно чёткие критерии

00:03:03.524 --> 00:03:06.493
и законы природы, 
на которые мы можем положиться.

00:03:06.517 --> 00:03:09.911
Но нет чётких критериев

00:03:09.935 --> 00:03:13.898
для принятия решений 
в запутанных людских делах.

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
Ещё больше усложняет задачу 
программное обеспечение,

00:03:18.183 --> 00:03:21.956
становящееся менее прозрачным 
и более сложным и мощным.

00:03:22.542 --> 00:03:24.582
За последнее десятилетие

00:03:24.606 --> 00:03:27.335
развитие сложных алгоритмов
достигло больших успехов.

00:03:27.359 --> 00:03:29.349
Они могут распознавать человеческие лица.

00:03:29.985 --> 00:03:32.040
Они могут расшифровывать почерк.

00:03:32.266 --> 00:03:34.502
Выявить мошенничество
с кредитными картами

00:03:34.526 --> 00:03:35.715
или блокировать спам,

00:03:35.739 --> 00:03:37.776
они могут переводить с других языков.

00:03:37.800 --> 00:03:40.374
Они могут выявлять опухоли
в рентгенографии.

00:03:40.398 --> 00:03:43.053
Они могут обыгрывать нас в шахматы и в Го.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
Большáя часть этого прогресса достигнута
с помощью «машинного обучения».

00:03:48.175 --> 00:03:51.362
Машинное обучение отличается
от традиционного программирования,

00:03:51.386 --> 00:03:54.971
где вы даёте компьютеру подробные, 
точные, чёткие инструкции.

00:03:55.378 --> 00:03:59.560
Это больше похоже, как будто мы 
скармливаем компьютеру много данных,

00:03:59.584 --> 00:04:01.240
в том числе бессистемных данных,

00:04:01.264 --> 00:04:03.542
как те, что мы создаём 
в нашей цифровой жизни.

00:04:03.566 --> 00:04:06.296
И система сама учится
систематизировать эти данные.

00:04:06.669 --> 00:04:08.195
Особенно важно то,

00:04:08.219 --> 00:04:12.599
что эти системы не работают 
по логике поиска единого ответа.

00:04:12.623 --> 00:04:15.582
Они не дают однозначного ответа,
они основаны на вероятности:

00:04:15.606 --> 00:04:19.089
«Этот ответ, вероятно, 
похож на то, что вы ищете».

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
Плюс этого метода в том,
что он очень перспективный.

00:04:23.117 --> 00:04:25.193
Глава систем ИИ Google назвал его

00:04:25.217 --> 00:04:27.414
«нерационально высокая
эффективность данных».

00:04:27.791 --> 00:04:29.144
Минус в том,

00:04:29.738 --> 00:04:32.809
что мы не знаем, 
что именно система выучила.

00:04:32.833 --> 00:04:34.420
В этом мощь системы.

00:04:34.946 --> 00:04:38.744
Это не похоже на то,
как давать указания компьютеру;

00:04:39.200 --> 00:04:43.264
это больше похоже 
на обучение машины-щенка,

00:04:43.288 --> 00:04:45.659
которого мы не понимаем и не контролируем.

00:04:46.362 --> 00:04:47.913
В этом наша проблема.

00:04:48.427 --> 00:04:52.689
Плохо, когда система искусственного
интеллекта понимает что-то неправильно.

00:04:52.713 --> 00:04:56.253
И также плохо, когда система
понимает что-то правильно,

00:04:56.277 --> 00:05:00.055
потому что мы не знаем, что есть что,
когда дело касается субъективой проблемы.

00:05:00.055 --> 00:05:02.268
Мы не знаем, о чём эта штука думает.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
Рассмотрим алгоритм приёма на работу —

00:05:08.123 --> 00:05:12.434
система для найма людей
с использованием машинного обучения.

00:05:13.052 --> 00:05:16.631
Такая система будет обучаться 
по данным о предыдущих сотрудниках

00:05:16.655 --> 00:05:19.246
и будет искать и нанимать людей,

00:05:19.270 --> 00:05:22.308
похожих на нынешних самых эффективных 
сотрудников компании.

00:05:22.814 --> 00:05:23.967
Звучит хорошо.

00:05:23.991 --> 00:05:25.990
Однажды я была на конференции

00:05:26.014 --> 00:05:29.359
для руководителей, менеджеров по персоналу

00:05:29.359 --> 00:05:30.369
и топ-менеджеров,

00:05:30.393 --> 00:05:31.992
использующих такую систему найма.

00:05:31.992 --> 00:05:33.622
Все были очень воодушевлены.

00:05:33.646 --> 00:05:38.299
Они думали, что это сделает процесс
найма более объективным, менее предвзятым,

00:05:38.323 --> 00:05:41.323
даст женщинам и меньшинствам 
больше шансов

00:05:41.347 --> 00:05:43.535
в отличие от предвзято
настроенных менеджеров.

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
Найм сотрудников построен на предвзятости.

00:05:47.099 --> 00:05:48.284
Я знаю.

00:05:48.308 --> 00:05:51.313
На одной из моих первых работ
в качестве программиста

00:05:51.337 --> 00:05:55.205
моя непосредственная начальница
иногда подходила ко мне

00:05:55.229 --> 00:05:58.982
очень рано утром или очень поздно днём

00:05:59.006 --> 00:06:02.068
и говорила: «Зейнеп, пойдём обедать!»

00:06:02.724 --> 00:06:04.891
Я была озадачена странным выбором времени.

00:06:04.915 --> 00:06:07.044
Обед в 4 часа дня?

00:06:07.068 --> 00:06:10.162
Бесплатный ланч; денег у меня нет. 
Я всегда ходила.

00:06:10.618 --> 00:06:12.685
Позже я поняла, что происходит.

00:06:12.709 --> 00:06:17.255
Мои непосредственные руководители 
не признались вышестоящему руководству,

00:06:17.279 --> 00:06:20.982
что программист, которого они наняли
на серьёзный проект — девушка подросток,

00:06:20.982 --> 00:06:24.346
которая ходит на работу
в джинсах и кроссовках.

00:06:24.784 --> 00:06:27.540
Я хорошо выполняла работу,
я просто выглядела неподобающе,

00:06:27.540 --> 00:06:29.239
была неправильного возраста и пола.

NOTE Paragraph

00:06:29.239 --> 00:06:32.469
Так что найм без учёта пола и расы,

00:06:32.493 --> 00:06:34.618
конечно, звучит для меня
как хорошая идея.

00:06:35.031 --> 00:06:38.372
Но с этими системами 
всё сложнее, и вот почему:

00:06:38.968 --> 00:06:44.713
Сейчас вычислительные системы 
могут узнать всю информацию о вас

00:06:44.713 --> 00:06:46.905
по крошкам, что вы оставляете 
в цифровом виде,

00:06:46.905 --> 00:06:49.012
даже если вы не разглашаете
такую информацию.

00:06:49.506 --> 00:06:52.433
Они могут вычислить 
вашу сексуальную ориентацию,

00:06:52.994 --> 00:06:54.300
ваши черты характера,

00:06:54.859 --> 00:06:56.492
ваши политические пристрастия.

00:06:56.830 --> 00:07:00.705
Они могут составлять прогнозы
с высоким уровнем точности.

00:07:01.242 --> 00:07:04.170
Помните, даже для информации,
которую вы даже не разглашаете.

00:07:04.170 --> 00:07:05.555
Это предположения.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
У меня есть подруга, которая 
разрабатывает такие системы

00:07:08.864 --> 00:07:12.505
для прогнозирования вероятности 
клинической или послеродовой депрессии

00:07:12.529 --> 00:07:14.275
по данным из социальных сетей.

00:07:14.676 --> 00:07:16.103
Результаты впечатляют.

00:07:16.492 --> 00:07:19.849
Её система может предсказать
вероятность депрессии

00:07:19.873 --> 00:07:23.776
до появления каких-либо симптомов —

00:07:23.800 --> 00:07:25.173
за несколько месяцев.

00:07:25.197 --> 00:07:27.443
Симптомов нет, а прогноз есть.

00:07:27.467 --> 00:07:32.279
Она надеется, что программа будет 
использоваться для профилактики. Отлично!

00:07:32.911 --> 00:07:34.951
Теперь представьте это в контексте найма.

NOTE Paragraph

00:07:35.877 --> 00:07:39.213
На той конференции
для управляющих персоналом

00:07:39.213 --> 00:07:43.806
я подошла к менеджеру высокого уровня 
в очень крупной компании,

00:07:43.830 --> 00:07:48.408
и спросила её: 
«Что, если система без вашего ведома,

00:07:48.432 --> 00:07:54.981
начнёт отсеивать людей 
с высокой вероятностью будущей депрессии?

00:07:55.761 --> 00:07:59.137
Сейчас у них нет депрессии, 
но в будущем вероятность высока.

00:07:59.673 --> 00:08:03.589
Что, если система начнёт отсеивать женщин,
чья вероятность забеременеть

00:08:03.589 --> 00:08:06.119
через год или два выше,
но они не беременны сейчас?

00:08:06.844 --> 00:08:12.480
Если начнёт нанимать агрессивных людей, 
потому что это норма для вашей компании?

00:08:13.063 --> 00:08:15.864
Этого не определить, глядя
на процентное соотношение полов.

00:08:15.888 --> 00:08:17.510
Эти показатели могут быть в норме.

00:08:17.510 --> 00:08:20.971
Так как это машинное обучение, 
а не традиционное программирование,

00:08:20.995 --> 00:08:25.902
тут нет переменной
«более высокий риск депрессии»,

00:08:25.926 --> 00:08:27.759
«высокий риск беременности»,

00:08:27.783 --> 00:08:29.517
или «агрессивный парень».

00:08:29.995 --> 00:08:33.674
Мало того, что вы не знаете, 
как ваша система делает выводы,

00:08:33.698 --> 00:08:36.021
вы даже не знаете, откуда что берётся.

00:08:36.045 --> 00:08:37.291
Это чёрный ящик.

00:08:37.315 --> 00:08:40.502
Он может прогнозировать,
но мы не понимаем принцип его работы.

NOTE Paragraph

00:08:40.502 --> 00:08:42.855
Я спросила: 
«Какие у вас меры предосторожности,

00:08:42.879 --> 00:08:46.552
чтобы убедиться, что чёрный ящик 
не делает ничего сомнительного?»

00:08:48.863 --> 00:08:52.741
Она посмотрела на меня, как будто я 
только что отдавила хвосты 10 щенкам.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Смех)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
Она посмотрела на меня и сказала: 


00:08:56.556 --> 00:09:00.889
«Я не хочу слышать ни слова об этом».

00:09:01.458 --> 00:09:03.492
Она повернулась и пошла прочь.

00:09:03.794 --> 00:09:05.600
Имейте в виду — она не грубила мне.

00:09:05.600 --> 00:09:11.882
Позиция очевидна: то, что я не знаю — 
не моя проблема, отвяжись, стрелы из глаз.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(Смех)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
Такая система 
может быть менее предвзятой,

00:09:17.725 --> 00:09:19.828
чем сами менеджеры в каком-то смысле.

00:09:19.852 --> 00:09:21.998
В этом может быть финансовая выгода.

00:09:22.573 --> 00:09:24.223
Но это также может привести

00:09:24.247 --> 00:09:28.995
к неуклонному и скрытому
выдавливанию с рынка труда

00:09:29.019 --> 00:09:31.542
людей с более высоким 
риском развития депрессии.

00:09:31.753 --> 00:09:34.349
Мы хотим построить такое общество,

00:09:34.373 --> 00:09:36.658
даже не осознавая, что мы делаем,

00:09:36.682 --> 00:09:40.646
потому что отдали право принятия решений
машинам, которых до конца не понимаем?

NOTE Paragraph

00:09:41.265 --> 00:09:43.113
Следующая проблема:

00:09:43.314 --> 00:09:47.766
эти системы часто обучаются на данных,
произведённых нашими действиями —

00:09:47.790 --> 00:09:49.606
человеческим поведением.

00:09:50.188 --> 00:09:53.996
Возможно, они просто 
отражают наши предубеждения,

00:09:54.020 --> 00:09:57.613
и эти системы могут 
собирать наши пристрастия

00:09:57.637 --> 00:09:58.950
и усиливать их,

00:09:58.974 --> 00:10:00.392
показывая нам их вновь,

00:10:00.416 --> 00:10:01.878
а мы говорим себе:

00:10:01.902 --> 00:10:05.019
«Мы просто проводим объективные, 
непредвзятые вычисления».

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
Исследователи обнаружили что в Google

00:10:10.134 --> 00:10:15.447
женщины реже, чем мужчины, видят 
объявления о высокооплачиваемой работе.

00:10:16.463 --> 00:10:18.993
Набирая в поисковике
афро-американские имена,

00:10:19.017 --> 00:10:23.723
вероятность увидеть объявления 
криминального характера будет выше,

00:10:23.747 --> 00:10:25.314
даже там, где криминала нет.

00:10:26.693 --> 00:10:30.242
Скрытая необъективность
и алгоритмы чёрного ящика,

00:10:30.266 --> 00:10:34.239
которые исследователи 
иногда выявляют, а иногда нет,

00:10:34.263 --> 00:10:36.924
могут иметь далеко идущие последствия.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
В Висконсине подсудимый был приговорён 
к шести годам лишения свободы

00:10:42.141 --> 00:10:43.496
за уклонение от полиции.

00:10:44.824 --> 00:10:46.010
Может, вы не знаете,

00:10:46.034 --> 00:10:50.032
но эти алгоритмы всё чаще используются 
в вынесении приговоров.

00:10:50.056 --> 00:10:53.261
Он хотел узнать,
как всё это рассчитывается?

00:10:53.795 --> 00:10:55.460
Это коммерческий чёрный ящик.


00:10:55.484 --> 00:10:59.689
Компания отказалась обсуждать
свой алгоритм на открытом заседании суда.

00:11:00.396 --> 00:11:05.928
Но следственная некоммерческая организация
ProPublica проверила алгоритм,

00:11:05.952 --> 00:11:07.968
используя данные из Интернета,

00:11:07.992 --> 00:11:10.308
и обнаружила, 
что результаты необъективны,

00:11:10.332 --> 00:11:13.961
способность прогнозирования ужасная, 
немного лучше, чем случайность.

00:11:13.985 --> 00:11:18.401
Система классифицирует чернокожих 
обвиняемых как будущих преступников

00:11:18.425 --> 00:11:22.320
в два раза чаще, чем белых обвиняемых.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
Рассмотрим следующий случай:

00:11:26.103 --> 00:11:29.955
Эта девушка опаздывала, чтобы забрать
свою крёстную сестру

00:11:29.979 --> 00:11:32.054
из школы в округе Броуард, штат Флорида.

00:11:32.757 --> 00:11:35.113
Они с подругой бежали по улице.

00:11:35.137 --> 00:11:39.236
Тут они заметили незапертые 
велосипед и скутер на крыльце

00:11:39.260 --> 00:11:40.892
и по глупости взяли их.

00:11:40.916 --> 00:11:43.515
Когда они отъезжали, 
вышла женщина и крикнула:

00:11:43.539 --> 00:11:45.744
«Эй! Это велосипед моего ребёнка!»

00:11:45.768 --> 00:11:49.062
Они его бросили и ушли, 
но их арестовали.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Она была не права, она сглупила, 
но ей было всего 18 лет.

00:11:52.747 --> 00:11:55.291
У неё была пара 
малолетних правонарушений.

00:11:55.808 --> 00:12:00.993
В то же время этот мужчина был 
арестован за кражу в магазине Home Depot,

00:12:01.017 --> 00:12:03.941
примерно на сумму 85 долларов —
такое же мелкое преступление.

00:12:04.766 --> 00:12:09.325
Но у него за спиной было 
две судимости за вооружённый грабеж.

00:12:09.955 --> 00:12:13.437
Алгоритм посчитал, 
что её показатель риска выше, чем его.

00:12:14.746 --> 00:12:18.620
Спустя пару лет ProPublica выяснили, 
что она больше не совершала преступлений.

00:12:18.644 --> 00:12:21.194
Но зато ей было сложно найти 
работу, имея судимость.

00:12:21.218 --> 00:12:23.294
Тогда как этот мужчина стал рецидивистом,

00:12:23.318 --> 00:12:27.154
и в настоящее время отбывает восьмилетний 
срок за своё последнее преступление.

00:12:28.088 --> 00:12:31.457
Очевидно, мы должны проверять
наши чёрные ящики,

00:12:31.481 --> 00:12:34.096
чтобы они не получили 
бесконтрольную власть.

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
(Аплодисменты)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Проверка и контроль важны, 
но они не решают всех проблем.

00:12:42.353 --> 00:12:45.101
Вспомните мощный алгоритм
ленты новостей на Facebook —

00:12:45.125 --> 00:12:49.968
знаете, тот, который оценивает всё 
и решает, что именно вам показывать

00:12:49.992 --> 00:12:52.606
от ваших друзей и до страниц,
на которые вы подписаны.

00:12:52.898 --> 00:12:55.173
Показать вам ещё одну картинку младенца?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Смех)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
Грустный комментарий от знакомого?

00:12:59.449 --> 00:13:01.305
Важную, но непростую новость?

00:13:01.329 --> 00:13:02.811
Тут нет единого ответа.

00:13:02.835 --> 00:13:05.494
Facebook оптимизирует 
вашу деятельность на сайте:

00:13:05.518 --> 00:13:06.933
лайки, ссылки, комментарии.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
В августе 2014 года

00:13:10.888 --> 00:13:13.550
в Фергюсоне, штат Миссури
вспыхнули протесты

00:13:13.574 --> 00:13:17.991
после того, как белый полицейский
убил афро-американского подростка

00:13:18.015 --> 00:13:19.585
при невыясненных обстоятельствах.

00:13:19.974 --> 00:13:21.981
Новости о протестах заполонили

00:13:22.005 --> 00:13:24.690
мой алгоритмически
нефильтрованный Twitter,

00:13:24.714 --> 00:13:26.664
но в моём Facebook их не было.

00:13:26.912 --> 00:13:28.916
Может, это из-за моих друзей в Facebook?

00:13:28.940 --> 00:13:30.972
Я отключила алгоритм Facebook,

00:13:31.472 --> 00:13:34.320
что было сложно, так как Facebook хочет,

00:13:34.344 --> 00:13:36.380
чтобы вы были под контролем алгоритма.

00:13:36.404 --> 00:13:38.642
Я увидела, что мои друзья
обсуждали эту тему.

00:13:38.666 --> 00:13:40.929
Просто алгоритм не показывал это мне.

00:13:40.929 --> 00:13:44.261
Я изучила этот вопрос и выяснила,
что это распространённая проблема.

NOTE Paragraph

00:13:44.261 --> 00:13:47.812
Новость про Фергюсон 
была неудобна для алгоритма.

00:13:47.812 --> 00:13:49.383
Эта новость не наберёт лайки.

00:13:49.383 --> 00:13:50.849
Кто будет лайкать это?

00:13:51.500 --> 00:13:53.706
Это даже сложно комментировать.

00:13:53.730 --> 00:13:55.101
Без лайков и комментариев

00:13:55.125 --> 00:13:58.417
алгоритм, вероятно, показывал 
новость ещё меньшему кругу людей,

00:13:58.441 --> 00:13:59.983
поэтому мы не видели это.

00:14:00.796 --> 00:14:02.174
Вместо этого на той же неделе

00:14:02.198 --> 00:14:04.496
алгоритм Facebook выделил это —

00:14:04.520 --> 00:14:06.730
кампания «испытание ведром ледяной воды».

00:14:06.730 --> 00:14:10.642
Важное дело: выливаем ведро со льдом, 
жертвуем на благотворительность — супер.

00:14:10.642 --> 00:14:12.810
Это было очень удобно для алгоритма.

00:14:13.219 --> 00:14:15.832
Машина решила за нас.

00:14:15.856 --> 00:14:19.353
Очень важный, но трудный разговор,

00:14:19.377 --> 00:14:20.932
возможно, был бы замят,

00:14:20.956 --> 00:14:23.652
будь Facebook единственным каналом.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
Наконец, эти системы могут делать ошибки,

00:14:27.938 --> 00:14:30.674
которые не похожи на ошибки людей.

00:14:30.698 --> 00:14:33.620
Помните Уотсона,
искусственный интеллект IBM,

00:14:33.644 --> 00:14:36.772
который разгромил соперников-людей
на телевикторине Jeopardy?

00:14:37.131 --> 00:14:38.559
Он был отличным игроком.

00:14:38.583 --> 00:14:42.152
Тогда, во время финала игры
Уотсону задали вопрос:

00:14:42.389 --> 00:14:45.591
«Его крупнейший аэропорт назван 
в честь героя Второй мировой войны,

00:14:45.615 --> 00:14:48.067
а второй — в честь битвы
Второй мировой войны».

NOTE Paragraph

00:14:48.067 --> 00:14:49.439
(Музыка Final Jeopardy)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
Чикаго.

00:14:50.788 --> 00:14:52.538
Два человека ответили правильно.

00:14:52.697 --> 00:14:57.045
Уотсон ответил «Торонто» —

00:14:57.069 --> 00:14:58.887
в категории городов США!

00:14:59.596 --> 00:15:02.497
Мощнейшая система сделала ошибку,

00:15:02.521 --> 00:15:06.172
которую человек никогда бы не сделал, 
даже второклассник бы не ошибся.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
Искусственный интеллект 
может ошибиться там,

00:15:09.956 --> 00:15:13.056
где человек не допустит ошибку,

00:15:13.080 --> 00:15:16.030
там, где мы не ожидаем
ошибку и не готовы к ней.

00:15:16.054 --> 00:15:19.692
Жалко не получить работу тому, 
кто для неё подходит,

00:15:19.716 --> 00:15:23.663
но ещё хуже, если это произошло
из-за переполнения стека

00:15:23.663 --> 00:15:24.899
в какой-то подпрограмме.

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
(Смех)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
В мае 2010 года

00:15:29.336 --> 00:15:33.380
произошёл обвал рынка Уолл-стрит
по вине метода передачи данных

00:15:33.404 --> 00:15:36.432
в алгоритме Уолл-стрит «сбыт»,

00:15:36.456 --> 00:15:40.640
что снизило стоимость бумаг 
на триллион долларов на 36 минут.

00:15:41.352 --> 00:15:44.679
Даже подумать страшно, какие
последствия может иметь «ошибка»

00:15:44.679 --> 00:15:48.322
в контексте автономного летального оружия.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
У людей всегда предвзятый взгляд на вещи.

00:15:53.708 --> 00:15:55.884
Лица, принимающие решения, и контролёры;

00:15:55.908 --> 00:15:59.401
в судах, в новостях, на войне ...

00:15:59.425 --> 00:16:02.463
люди совершают ошибки —
именно это я и имею в виду.

00:16:02.487 --> 00:16:06.008
Мы не можем избежать сложных вопросов.

00:16:06.596 --> 00:16:10.112
Мы не можем переложить 
свои обязанности на машины.

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
(Аплодисменты)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
Искусственный интеллект не даёт нам
права переложить вопросы этики на машину.

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
Эксперт по данным Фред Бененсон
называет это «математической чисткой».

00:16:26.147 --> 00:16:27.536
Нам нужно совсем другое.

00:16:27.560 --> 00:16:32.948
Нам необходимы пристальное внимание, 
контроль и оценка алгоритмов.

00:16:33.380 --> 00:16:36.578
У нас должна быть
алгоритмическая отчётность,

00:16:36.602 --> 00:16:39.047
проверка и достаточная прозрачность.

00:16:39.380 --> 00:16:42.614
Мы должны признать, что, добавив
математику и вычисления

00:16:42.638 --> 00:16:45.608
к запутанным человеческим делам,

00:16:45.632 --> 00:16:48.016
мы не получим объективности;

00:16:48.040 --> 00:16:51.673
скорее, сложность человеческих 
отношений вторгнется в алгоритмы.

00:16:52.148 --> 00:16:55.635
Да, мы можем, и мы должны 
использовать вычисления

00:16:55.659 --> 00:16:57.673
для поиска лучших решений.

00:16:57.697 --> 00:17:03.029
Мы также должны нести моральную
ответственность и принимать решения,

00:17:03.053 --> 00:17:05.871
успользуя алгоритмы в этих рамках,

00:17:05.895 --> 00:17:10.830
а не как средство отказа от обязательств, 
чтобы передать наши обязанности

00:17:10.854 --> 00:17:13.308
друг другу, как один человек другому.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
Искусственный интеллект уже здесь.

00:17:16.440 --> 00:17:19.861
Это значит, что мы должны 
ещё больше придерживаться

00:17:19.885 --> 00:17:22.032
человеческих ценностей и этики.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Спасибо.

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
(Аплодисменты)