0:00:00.739,0:00:04.631
Я начала работать программистом

0:00:04.725,0:00:06.841
в первый год учёбы в колледже,

0:00:06.865,0:00:08.372
практически подростком.

0:00:08.699,0:00:10.771
Вскоре после того, как я начала работать —

0:00:10.771,0:00:12.255
писать программное обеспечение,

0:00:12.799,0:00:16.434
один из работающих в компании [br]менеджеров подошёл ко мне

0:00:16.458,0:00:17.726
и прошептал:

0:00:18.229,0:00:21.090
«Он понимает, когда я вру?»

0:00:21.806,0:00:23.883
В комнате никого больше не было.

0:00:25.032,0:00:29.421
«Кто он? И почему ты шепчешь?»

0:00:30.266,0:00:33.373
Менеджер указал на компьютер.

0:00:33.397,0:00:36.493
«Он может понять, когда я вру?»

0:00:37.613,0:00:41.975
Кстати, у этого менеджера[br]был роман с секретаршей.

0:00:41.999,0:00:43.111
(Смех)

0:00:43.135,0:00:45.191
А а была ещё подростком.

0:00:45.447,0:00:47.466
Поэтому я шёпотом крикнула ему:

0:00:47.490,0:00:51.114
«Да, компьютер может понять,[br]когда вы лжёте».

0:00:51.138,0:00:52.944
(Смех)

0:00:52.968,0:00:55.891
Я пошутила, но оказалось,[br]что это была не шутка.

0:00:55.915,0:00:59.183
Теперь существуют вычислительные системы,

0:00:59.207,0:01:02.755
которые могут определить ваше[br]эмоциональное состояние и даже ложь,

0:01:02.779,0:01:04.823
обрабатывая выражения человеческих лиц.

0:01:05.248,0:01:09.401
Рекламодатели и правительства [br]очень заинтересованы.

0:01:10.319,0:01:12.181
Я стала программистом,

0:01:12.205,0:01:15.828
потому что я была одержимым[br]математикой и наукой ребёнком.

0:01:15.942,0:01:19.050
Но в какой-то момент я узнала [br]о существовании ядерного оружия

0:01:19.074,0:01:22.026
и всерьёз задумалась о научной этике.

0:01:22.050,0:01:23.254
Меня это беспокоило.

0:01:23.278,0:01:25.919
Однако из-за семейных обстоятельств

0:01:25.943,0:01:29.241
мне пришлось начать [br]работать как можно скорее.

0:01:29.265,0:01:32.564
Так что я подумала: «Эй, мне просто [br]надо выбрать техническую область,

0:01:32.588,0:01:34.384
где я смогу легко получить работу,

0:01:34.408,0:01:38.556
и где мне не придётся иметь [br]дело со сложными этическими вопросами».

0:01:39.022,0:01:40.551
Так что я выбрала компьютеры.

0:01:40.575,0:01:41.679
(Смех)

0:01:41.703,0:01:45.113
Ха, ха, ха! Все смеются надо мной.

0:01:45.137,0:01:47.891
В наши дни компьютерные [br]учёные создают платформы,

0:01:47.915,0:01:52.124
которые контролируют то, [br]что миллиард человек видит каждый день.

0:01:53.052,0:01:56.874
Они разрабатывают автомобили, [br]которые могли бы решить, кого задавить.

0:01:57.707,0:02:00.920
Они даже разрабатывают машины и оружие,

0:02:00.944,0:02:03.229
которые могут убивать людей на войне.

0:02:03.253,0:02:06.024
Здесь вопросы этики повсюду.

0:02:07.183,0:02:09.241
Искусственный интеллект уже здесь.

0:02:09.823,0:02:13.297
Мы уже используем вычислительную[br]технику для принятия каких угодно решений,

0:02:13.321,0:02:15.207
и даже для создания новых решений.

0:02:15.231,0:02:20.403
Мы задаём компьютерам вопросы, [br]на которые нет единого правильного ответа:

0:02:20.427,0:02:21.629
субъективные вопросы,

0:02:21.653,0:02:23.978
открытые и вопросы оценочного характера.

0:02:24.002,0:02:25.760
Мы задавали такие вопросы, как:

0:02:25.784,0:02:27.554
«Кого стоит нанять в компанию?»

0:02:28.096,0:02:30.855
«Какое обновление и от какого [br]друга мы должны видеть?»

0:02:30.879,0:02:33.475
«Кто из осуждённых [br]скорее всего станет рецидивистом?»

0:02:33.514,0:02:36.568
«Какие новости или фильмы [br]рекомендовать людям?»

0:02:36.592,0:02:39.964
Да, мы используем компьютеры [br]уже продолжительное время,

0:02:39.988,0:02:41.505
но это совсем другое.

0:02:41.529,0:02:43.596
Это исторический поворот,

0:02:43.620,0:02:48.957
потому что базис для вычисления [br]принятия субъективных решений,

0:02:48.981,0:02:54.401
отличается от того, что используется для [br]сборки самолётов, строительства мостов

0:02:54.425,0:02:55.684
или полётов на Луну.

0:02:56.449,0:02:59.708
Самолёты стали безопаснее?[br]Мосты больше не падают?

0:02:59.732,0:03:03.524
Здесь у нас есть [br]достаточно чёткие критерии

0:03:03.524,0:03:06.493
и законы природы, [br]на которые мы можем положиться.

0:03:06.517,0:03:09.911
Но нет чётких критериев

0:03:09.935,0:03:13.898
для принятия решений [br]в запутанных людских делах.

0:03:13.922,0:03:18.159
Ещё больше усложняет задачу [br]программное обеспечение,

0:03:18.183,0:03:21.956
становящееся менее прозрачным [br]и более сложным и мощным.

0:03:22.542,0:03:24.582
За последнее десятилетие

0:03:24.606,0:03:27.335
развитие сложных алгоритмов[br]достигло больших успехов.

0:03:27.359,0:03:29.349
Они могут распознавать человеческие лица.

0:03:29.985,0:03:32.040
Они могут расшифровывать почерк.

0:03:32.266,0:03:34.502
Выявить мошенничество[br]с кредитными картами

0:03:34.526,0:03:35.715
или блокировать спам,

0:03:35.739,0:03:37.776
они могут переводить с других языков.

0:03:37.800,0:03:40.374
Они могут выявлять опухоли[br]в рентгенографии.

0:03:40.398,0:03:43.053
Они могут обыгрывать нас в шахматы и в Го.

0:03:43.264,0:03:47.768
Большáя часть этого прогресса достигнута[br]с помощью «машинного обучения».

0:03:48.175,0:03:51.362
Машинное обучение отличается[br]от традиционного программирования,

0:03:51.386,0:03:54.971
где вы даёте компьютеру подробные, [br]точные, чёткие инструкции.

0:03:55.378,0:03:59.560
Это больше похоже, как будто мы [br]скармливаем компьютеру много данных,

0:03:59.584,0:04:01.240
в том числе бессистемных данных,

0:04:01.264,0:04:03.542
как те, что мы создаём [br]в нашей цифровой жизни.

0:04:03.566,0:04:06.296
И система сама учится[br]систематизировать эти данные.

0:04:06.669,0:04:08.195
Особенно важно то,

0:04:08.219,0:04:12.599
что эти системы не работают [br]по логике поиска единого ответа.

0:04:12.623,0:04:15.582
Они не дают однозначного ответа,[br]они основаны на вероятности:

0:04:15.606,0:04:19.089
«Этот ответ, вероятно, [br]похож на то, что вы ищете».

0:04:20.023,0:04:23.093
Плюс этого метода в том,[br]что он очень перспективный.

0:04:23.117,0:04:25.193
Глава систем ИИ Google назвал его

0:04:25.217,0:04:27.414
«нерационально высокая[br]эффективность данных».

0:04:27.791,0:04:29.144
Минус в том,

0:04:29.738,0:04:32.809
что мы не знаем, [br]что именно система выучила.

0:04:32.833,0:04:34.420
В этом мощь системы.

0:04:34.946,0:04:38.744
Это не похоже на то,[br]как давать указания компьютеру;

0:04:39.200,0:04:43.264
это больше похоже [br]на обучение машины-щенка,

0:04:43.288,0:04:45.659
которого мы не понимаем и не контролируем.

0:04:46.362,0:04:47.913
В этом наша проблема.

0:04:48.427,0:04:52.689
Плохо, когда система искусственного[br]интеллекта понимает что-то неправильно.

0:04:52.713,0:04:56.253
И также плохо, когда система[br]понимает что-то правильно,

0:04:56.277,0:05:00.055
потому что мы не знаем, что есть что,[br]когда дело касается субъективой проблемы.

0:05:00.055,0:05:02.268
Мы не знаем, о чём эта штука думает.

0:05:03.493,0:05:07.176
Рассмотрим алгоритм приёма на работу —

0:05:08.123,0:05:12.434
система для найма людей[br]с использованием машинного обучения.

0:05:13.052,0:05:16.631
Такая система будет обучаться [br]по данным о предыдущих сотрудниках

0:05:16.655,0:05:19.246
и будет искать и нанимать людей,

0:05:19.270,0:05:22.308
похожих на нынешних самых эффективных [br]сотрудников компании.

0:05:22.814,0:05:23.967
Звучит хорошо.

0:05:23.991,0:05:25.990
Однажды я была на конференции

0:05:26.014,0:05:29.359
для руководителей, менеджеров по персоналу

0:05:29.359,0:05:30.369
и топ-менеджеров,

0:05:30.393,0:05:31.992
использующих такую систему найма.

0:05:31.992,0:05:33.622
Все были очень воодушевлены.

0:05:33.646,0:05:38.299
Они думали, что это сделает процесс[br]найма более объективным, менее предвзятым,

0:05:38.323,0:05:41.323
даст женщинам и меньшинствам [br]больше шансов

0:05:41.347,0:05:43.535
в отличие от предвзято[br]настроенных менеджеров.

0:05:43.559,0:05:46.402
Найм сотрудников построен на предвзятости.

0:05:47.099,0:05:48.284
Я знаю.

0:05:48.308,0:05:51.313
На одной из моих первых работ[br]в качестве программиста

0:05:51.337,0:05:55.205
моя непосредственная начальница[br]иногда подходила ко мне

0:05:55.229,0:05:58.982
очень рано утром или очень поздно днём

0:05:59.006,0:06:02.068
и говорила: «Зейнеп, пойдём обедать!»

0:06:02.724,0:06:04.891
Я была озадачена странным выбором времени.

0:06:04.915,0:06:07.044
Обед в 4 часа дня?

0:06:07.068,0:06:10.162
Бесплатный ланч; денег у меня нет. [br]Я всегда ходила.

0:06:10.618,0:06:12.685
Позже я поняла, что происходит.

0:06:12.709,0:06:17.255
Мои непосредственные руководители [br]не признались вышестоящему руководству,

0:06:17.279,0:06:20.982
что программист, которого они наняли[br]на серьёзный проект — девушка подросток,

0:06:20.982,0:06:24.346
которая ходит на работу[br]в джинсах и кроссовках.

0:06:24.784,0:06:27.540
Я хорошо выполняла работу,[br]я просто выглядела неподобающе,

0:06:27.540,0:06:29.239
была неправильного возраста и пола.

0:06:29.239,0:06:32.469
Так что найм без учёта пола и расы,

0:06:32.493,0:06:34.618
конечно, звучит для меня[br]как хорошая идея.

0:06:35.031,0:06:38.372
Но с этими системами [br]всё сложнее, и вот почему:

0:06:38.968,0:06:44.713
Сейчас вычислительные системы [br]могут узнать всю информацию о вас

0:06:44.713,0:06:46.905
по крошкам, что вы оставляете [br]в цифровом виде,

0:06:46.905,0:06:49.012
даже если вы не разглашаете[br]такую информацию.

0:06:49.506,0:06:52.433
Они могут вычислить [br]вашу сексуальную ориентацию,

0:06:52.994,0:06:54.300
ваши черты характера,

0:06:54.859,0:06:56.492
ваши политические пристрастия.

0:06:56.830,0:07:00.705
Они могут составлять прогнозы[br]с высоким уровнем точности.

0:07:01.242,0:07:04.170
Помните, даже для информации,[br]которую вы даже не разглашаете.

0:07:04.170,0:07:05.555
Это предположения.

0:07:05.579,0:07:08.840
У меня есть подруга, которая [br]разрабатывает такие системы

0:07:08.864,0:07:12.505
для прогнозирования вероятности [br]клинической или послеродовой депрессии

0:07:12.529,0:07:14.275
по данным из социальных сетей.

0:07:14.676,0:07:16.103
Результаты впечатляют.

0:07:16.492,0:07:19.849
Её система может предсказать[br]вероятность депрессии

0:07:19.873,0:07:23.776
до появления каких-либо симптомов —

0:07:23.800,0:07:25.173
за несколько месяцев.

0:07:25.197,0:07:27.443
Симптомов нет, а прогноз есть.

0:07:27.467,0:07:32.279
Она надеется, что программа будет [br]использоваться для профилактики. Отлично!

0:07:32.911,0:07:34.951
Теперь представьте это в контексте найма.

0:07:35.877,0:07:39.213
На той конференции[br]для управляющих персоналом

0:07:39.213,0:07:43.806
я подошла к менеджеру высокого уровня [br]в очень крупной компании,

0:07:43.830,0:07:48.408
и спросила её: [br]«Что, если система без вашего ведома,

0:07:48.432,0:07:54.981
начнёт отсеивать людей [br]с высокой вероятностью будущей депрессии?

0:07:55.761,0:07:59.137
Сейчас у них нет депрессии, [br]но в будущем вероятность высока.

0:07:59.673,0:08:03.589
Что, если система начнёт отсеивать женщин,[br]чья вероятность забеременеть

0:08:03.589,0:08:06.119
через год или два выше,[br]но они не беременны сейчас?

0:08:06.844,0:08:12.480
Если начнёт нанимать агрессивных людей, [br]потому что это норма для вашей компании?

0:08:13.063,0:08:15.864
Этого не определить, глядя[br]на процентное соотношение полов.

0:08:15.888,0:08:17.510
Эти показатели могут быть в норме.

0:08:17.510,0:08:20.971
Так как это машинное обучение, [br]а не традиционное программирование,

0:08:20.995,0:08:25.902
тут нет переменной[br]«более высокий риск депрессии»,

0:08:25.926,0:08:27.759
«высокий риск беременности»,

0:08:27.783,0:08:29.517
или «агрессивный парень».

0:08:29.995,0:08:33.674
Мало того, что вы не знаете, [br]как ваша система делает выводы,

0:08:33.698,0:08:36.021
вы даже не знаете, откуда что берётся.

0:08:36.045,0:08:37.291
Это чёрный ящик.

0:08:37.315,0:08:40.502
Он может прогнозировать,[br]но мы не понимаем принцип его работы.

0:08:40.502,0:08:42.855
Я спросила: [br]«Какие у вас меры предосторожности,

0:08:42.879,0:08:46.552
чтобы убедиться, что чёрный ящик [br]не делает ничего сомнительного?»

0:08:48.863,0:08:52.741
Она посмотрела на меня, как будто я [br]только что отдавила хвосты 10 щенкам.

0:08:52.765,0:08:54.013
(Смех)

0:08:54.037,0:08:56.078
Она посмотрела на меня и сказала: [br]

0:08:56.556,0:09:00.889
«Я не хочу слышать ни слова об этом».

0:09:01.458,0:09:03.492
Она повернулась и пошла прочь.

0:09:03.794,0:09:05.600
Имейте в виду — она не грубила мне.

0:09:05.600,0:09:11.882
Позиция очевидна: то, что я не знаю — [br]не моя проблема, отвяжись, стрелы из глаз.

0:09:11.906,0:09:13.152
(Смех)

0:09:13.862,0:09:17.701
Такая система [br]может быть менее предвзятой,

0:09:17.725,0:09:19.828
чем сами менеджеры в каком-то смысле.

0:09:19.852,0:09:21.998
В этом может быть финансовая выгода.

0:09:22.573,0:09:24.223
Но это также может привести

0:09:24.247,0:09:28.995
к неуклонному и скрытому[br]выдавливанию с рынка труда

0:09:29.019,0:09:31.542
людей с более высоким [br]риском развития депрессии.

0:09:31.753,0:09:34.349
Мы хотим построить такое общество,

0:09:34.373,0:09:36.658
даже не осознавая, что мы делаем,

0:09:36.682,0:09:40.646
потому что отдали право принятия решений[br]машинам, которых до конца не понимаем?

0:09:41.265,0:09:43.113
Следующая проблема:

0:09:43.314,0:09:47.766
эти системы часто обучаются на данных,[br]произведённых нашими действиями —

0:09:47.790,0:09:49.606
человеческим поведением.

0:09:50.188,0:09:53.996
Возможно, они просто [br]отражают наши предубеждения,

0:09:54.020,0:09:57.613
и эти системы могут [br]собирать наши пристрастия

0:09:57.637,0:09:58.950
и усиливать их,

0:09:58.974,0:10:00.392
показывая нам их вновь,

0:10:00.416,0:10:01.878
а мы говорим себе:

0:10:01.902,0:10:05.019
«Мы просто проводим объективные, [br]непредвзятые вычисления».

0:10:06.314,0:10:08.991
Исследователи обнаружили что в Google

0:10:10.134,0:10:15.447
женщины реже, чем мужчины, видят [br]объявления о высокооплачиваемой работе.

0:10:16.463,0:10:18.993
Набирая в поисковике[br]афро-американские имена,

0:10:19.017,0:10:23.723
вероятность увидеть объявления [br]криминального характера будет выше,

0:10:23.747,0:10:25.314
даже там, где криминала нет.

0:10:26.693,0:10:30.242
Скрытая необъективность[br]и алгоритмы чёрного ящика,

0:10:30.266,0:10:34.239
которые исследователи [br]иногда выявляют, а иногда нет,

0:10:34.263,0:10:36.924
могут иметь далеко идущие последствия.

0:10:37.958,0:10:42.117
В Висконсине подсудимый был приговорён [br]к шести годам лишения свободы

0:10:42.141,0:10:43.496
за уклонение от полиции.

0:10:44.824,0:10:46.010
Может, вы не знаете,

0:10:46.034,0:10:50.032
но эти алгоритмы всё чаще используются [br]в вынесении приговоров.

0:10:50.056,0:10:53.261
Он хотел узнать,[br]как всё это рассчитывается?

0:10:53.795,0:10:55.460
Это коммерческий чёрный ящик.[br]

0:10:55.484,0:10:59.689
Компания отказалась обсуждать[br]свой алгоритм на открытом заседании суда.

0:11:00.396,0:11:05.928
Но следственная некоммерческая организация[br]ProPublica проверила алгоритм,

0:11:05.952,0:11:07.968
используя данные из Интернета,

0:11:07.992,0:11:10.308
и обнаружила, [br]что результаты необъективны,

0:11:10.332,0:11:13.961
способность прогнозирования ужасная, [br]немного лучше, чем случайность.

0:11:13.985,0:11:18.401
Система классифицирует чернокожих [br]обвиняемых как будущих преступников

0:11:18.425,0:11:22.320
в два раза чаще, чем белых обвиняемых.

0:11:23.891,0:11:25.455
Рассмотрим следующий случай:

0:11:26.103,0:11:29.955
Эта девушка опаздывала, чтобы забрать[br]свою крёстную сестру

0:11:29.979,0:11:32.054
из школы в округе Броуард, штат Флорида.

0:11:32.757,0:11:35.113
Они с подругой бежали по улице.

0:11:35.137,0:11:39.236
Тут они заметили незапертые [br]велосипед и скутер на крыльце

0:11:39.260,0:11:40.892
и по глупости взяли их.

0:11:40.916,0:11:43.515
Когда они отъезжали, [br]вышла женщина и крикнула:

0:11:43.539,0:11:45.744
«Эй! Это велосипед моего ребёнка!»

0:11:45.768,0:11:49.062
Они его бросили и ушли, [br]но их арестовали.

0:11:49.086,0:11:52.723
Она была не права, она сглупила, [br]но ей было всего 18 лет.

0:11:52.747,0:11:55.291
У неё была пара [br]малолетних правонарушений.

0:11:55.808,0:12:00.993
В то же время этот мужчина был [br]арестован за кражу в магазине Home Depot,

0:12:01.017,0:12:03.941
примерно на сумму 85 долларов —[br]такое же мелкое преступление.

0:12:04.766,0:12:09.325
Но у него за спиной было [br]две судимости за вооружённый грабеж.

0:12:09.955,0:12:13.437
Алгоритм посчитал, [br]что её показатель риска выше, чем его.

0:12:14.746,0:12:18.620
Спустя пару лет ProPublica выяснили, [br]что она больше не совершала преступлений.

0:12:18.644,0:12:21.194
Но зато ей было сложно найти [br]работу, имея судимость.

0:12:21.218,0:12:23.294
Тогда как этот мужчина стал рецидивистом,

0:12:23.318,0:12:27.154
и в настоящее время отбывает восьмилетний [br]срок за своё последнее преступление.

0:12:28.088,0:12:31.457
Очевидно, мы должны проверять[br]наши чёрные ящики,

0:12:31.481,0:12:34.096
чтобы они не получили [br]бесконтрольную власть.

0:12:34.120,0:12:36.999
(Аплодисменты)

0:12:38.087,0:12:42.329
Проверка и контроль важны, [br]но они не решают всех проблем.

0:12:42.353,0:12:45.101
Вспомните мощный алгоритм[br]ленты новостей на Facebook —

0:12:45.125,0:12:49.968
знаете, тот, который оценивает всё [br]и решает, что именно вам показывать

0:12:49.992,0:12:52.606
от ваших друзей и до страниц,[br]на которые вы подписаны.

0:12:52.898,0:12:55.173
Показать вам ещё одну картинку младенца?

0:12:55.197,0:12:56.393
(Смех)

0:12:56.417,0:12:59.013
Грустный комментарий от знакомого?

0:12:59.449,0:13:01.305
Важную, но непростую новость?

0:13:01.329,0:13:02.811
Тут нет единого ответа.

0:13:02.835,0:13:05.494
Facebook оптимизирует [br]вашу деятельность на сайте:

0:13:05.518,0:13:06.933
лайки, ссылки, комментарии.

0:13:08.168,0:13:10.864
В августе 2014 года

0:13:10.888,0:13:13.550
в Фергюсоне, штат Миссури[br]вспыхнули протесты

0:13:13.574,0:13:17.991
после того, как белый полицейский[br]убил афро-американского подростка

0:13:18.015,0:13:19.585
при невыясненных обстоятельствах.

0:13:19.974,0:13:21.981
Новости о протестах заполонили

0:13:22.005,0:13:24.690
мой алгоритмически[br]нефильтрованный Twitter,

0:13:24.714,0:13:26.664
но в моём Facebook их не было.

0:13:26.912,0:13:28.916
Может, это из-за моих друзей в Facebook?

0:13:28.940,0:13:30.972
Я отключила алгоритм Facebook,

0:13:31.472,0:13:34.320
что было сложно, так как Facebook хочет,

0:13:34.344,0:13:36.380
чтобы вы были под контролем алгоритма.

0:13:36.404,0:13:38.642
Я увидела, что мои друзья[br]обсуждали эту тему.

0:13:38.666,0:13:40.929
Просто алгоритм не показывал это мне.

0:13:40.929,0:13:44.261
Я изучила этот вопрос и выяснила,[br]что это распространённая проблема.

0:13:44.261,0:13:47.812
Новость про Фергюсон [br]была неудобна для алгоритма.

0:13:47.812,0:13:49.383
Эта новость не наберёт лайки.

0:13:49.383,0:13:50.849
Кто будет лайкать это?

0:13:51.500,0:13:53.706
Это даже сложно комментировать.

0:13:53.730,0:13:55.101
Без лайков и комментариев

0:13:55.125,0:13:58.417
алгоритм, вероятно, показывал [br]новость ещё меньшему кругу людей,

0:13:58.441,0:13:59.983
поэтому мы не видели это.

0:14:00.796,0:14:02.174
Вместо этого на той же неделе

0:14:02.198,0:14:04.496
алгоритм Facebook выделил это —

0:14:04.520,0:14:06.730
кампания «испытание ведром ледяной воды».

0:14:06.730,0:14:10.642
Важное дело: выливаем ведро со льдом, [br]жертвуем на благотворительность — супер.

0:14:10.642,0:14:12.810
Это было очень удобно для алгоритма.

0:14:13.219,0:14:15.832
Машина решила за нас.

0:14:15.856,0:14:19.353
Очень важный, но трудный разговор,

0:14:19.377,0:14:20.932
возможно, был бы замят,

0:14:20.956,0:14:23.652
будь Facebook единственным каналом.

0:14:24.117,0:14:27.914
Наконец, эти системы могут делать ошибки,

0:14:27.938,0:14:30.674
которые не похожи на ошибки людей.

0:14:30.698,0:14:33.620
Помните Уотсона,[br]искусственный интеллект IBM,

0:14:33.644,0:14:36.772
который разгромил соперников-людей[br]на телевикторине Jeopardy?

0:14:37.131,0:14:38.559
Он был отличным игроком.

0:14:38.583,0:14:42.152
Тогда, во время финала игры[br]Уотсону задали вопрос:

0:14:42.389,0:14:45.591
«Его крупнейший аэропорт назван [br]в честь героя Второй мировой войны,

0:14:45.615,0:14:48.067
а второй — в честь битвы[br]Второй мировой войны».

0:14:48.067,0:14:49.439
(Музыка Final Jeopardy)

0:14:49.582,0:14:50.764
Чикаго.

0:14:50.788,0:14:52.538
Два человека ответили правильно.

0:14:52.697,0:14:57.045
Уотсон ответил «Торонто» —

0:14:57.069,0:14:58.887
в категории городов США!

0:14:59.596,0:15:02.497
Мощнейшая система сделала ошибку,

0:15:02.521,0:15:06.172
которую человек никогда бы не сделал, [br]даже второклассник бы не ошибся.

0:15:06.823,0:15:09.932
Искусственный интеллект [br]может ошибиться там,

0:15:09.956,0:15:13.056
где человек не допустит ошибку,

0:15:13.080,0:15:16.030
там, где мы не ожидаем[br]ошибку и не готовы к ней.

0:15:16.054,0:15:19.692
Жалко не получить работу тому, [br]кто для неё подходит,

0:15:19.716,0:15:23.663
но ещё хуже, если это произошло[br]из-за переполнения стека

0:15:23.663,0:15:24.899
в какой-то подпрограмме.

0:15:24.923,0:15:26.502
(Смех)

0:15:26.526,0:15:29.312
В мае 2010 года

0:15:29.336,0:15:33.380
произошёл обвал рынка Уолл-стрит[br]по вине метода передачи данных

0:15:33.404,0:15:36.432
в алгоритме Уолл-стрит «сбыт»,

0:15:36.456,0:15:40.640
что снизило стоимость бумаг [br]на триллион долларов на 36 минут.

0:15:41.352,0:15:44.679
Даже подумать страшно, какие[br]последствия может иметь «ошибка»

0:15:44.679,0:15:48.322
в контексте автономного летального оружия.

0:15:49.894,0:15:53.684
У людей всегда предвзятый взгляд на вещи.

0:15:53.708,0:15:55.884
Лица, принимающие решения, и контролёры;

0:15:55.908,0:15:59.401
в судах, в новостях, на войне ...

0:15:59.425,0:16:02.463
люди совершают ошибки —[br]именно это я и имею в виду.

0:16:02.487,0:16:06.008
Мы не можем избежать сложных вопросов.

0:16:06.596,0:16:10.112
Мы не можем переложить [br]свои обязанности на машины.

0:16:10.676,0:16:14.884
(Аплодисменты)

0:16:17.089,0:16:21.536
Искусственный интеллект не даёт нам[br]права переложить вопросы этики на машину.

0:16:22.742,0:16:26.123
Эксперт по данным Фред Бененсон[br]называет это «математической чисткой».

0:16:26.147,0:16:27.536
Нам нужно совсем другое.

0:16:27.560,0:16:32.948
Нам необходимы пристальное внимание, [br]контроль и оценка алгоритмов.

0:16:33.380,0:16:36.578
У нас должна быть[br]алгоритмическая отчётность,

0:16:36.602,0:16:39.047
проверка и достаточная прозрачность.

0:16:39.380,0:16:42.614
Мы должны признать, что, добавив[br]математику и вычисления

0:16:42.638,0:16:45.608
к запутанным человеческим делам,

0:16:45.632,0:16:48.016
мы не получим объективности;

0:16:48.040,0:16:51.673
скорее, сложность человеческих [br]отношений вторгнется в алгоритмы.

0:16:52.148,0:16:55.635
Да, мы можем, и мы должны [br]использовать вычисления

0:16:55.659,0:16:57.673
для поиска лучших решений.

0:16:57.697,0:17:03.029
Мы также должны нести моральную[br]ответственность и принимать решения,

0:17:03.053,0:17:05.871
успользуя алгоритмы в этих рамках,

0:17:05.895,0:17:10.830
а не как средство отказа от обязательств, [br]чтобы передать наши обязанности

0:17:10.854,0:17:13.308
друг другу, как один человек другому.

0:17:13.807,0:17:16.416
Искусственный интеллект уже здесь.

0:17:16.440,0:17:19.861
Это значит, что мы должны [br]ещё больше придерживаться

0:17:19.885,0:17:22.032
человеческих ценностей и этики.

0:17:22.056,0:17:23.210
Спасибо.

0:17:23.234,0:17:28.254
(Аплодисменты)