0:00:00.975,0:00:02.571
Алгоритмы повсюду.

0:00:04.111,0:00:07.236
Они сортируют людей, отделяя[br]победителей от проигравших.

0:00:08.019,0:00:10.283
Победители получают желаемую работу

0:00:10.307,0:00:12.050
или выгодное кредитное предложение.

0:00:12.074,0:00:14.725
Неудачники даже не получают[br]шанса на собеседование

0:00:15.590,0:00:17.367
или платят больше за страхование.

0:00:18.197,0:00:21.746
Нас «считывают» по секретным формулам,[br]которые мы зачастую не понимаем,

0:00:22.675,0:00:25.892
без возможности обжалования решения.

0:00:27.240,0:00:28.536
Назревает вопрос:

0:00:28.560,0:00:31.473
что, если эти алгоритмы ошибочны?

0:00:33.090,0:00:35.140
Для построения алгоритма[br]вам нужны две вещи:

0:00:35.164,0:00:37.145
вам нужны данные о прошлых событиях

0:00:37.169,0:00:38.730
и определение понятия «успех» —

0:00:38.754,0:00:41.211
того, к чему вы стремитесь[br]и на что надеетесь.

0:00:41.235,0:00:46.272
Вы обучаете алгоритм,[br]наблюдая за результатом.

0:00:46.296,0:00:49.715
Алгоритм вычисляет всё то,[br]что связано с успехом.

0:00:49.739,0:00:52.202
Какая ситуация приводит к успеху?

0:00:52.881,0:00:54.643
Каждый из нас использует алгоритмы.

0:00:54.667,0:00:57.385
Мы просто не записываем их[br]в виде формул и кодов.

0:00:57.409,0:00:58.757
Приведу пример.

0:00:58.781,0:01:02.097
Я использую алгоритм каждый день,[br]когда готовлю еду для своей семьи.

0:01:02.121,0:01:03.597
Данные, которые я использую, —

0:01:04.394,0:01:06.053
это ингредиенты у меня на кухне,

0:01:06.077,0:01:07.604
моё время,

0:01:07.628,0:01:08.861
мои цели,

0:01:08.885,0:01:10.594
и я организовываю эти данные.

0:01:10.618,0:01:14.869
Я не считаю эти пакетики лапши пищей.[br]

0:01:14.893,0:01:16.762
(Смех)

0:01:16.786,0:01:18.631
Вот моё определение успеха:

0:01:18.655,0:01:21.314
блюдо удалось, если мои дети едят овощи.

0:01:22.181,0:01:25.035
Мой младший сын думает по-другому.

0:01:25.059,0:01:27.847
Для него успех — это если он[br]получит много Нутеллы.

0:01:29.179,0:01:31.405
Но определяю успех я.

0:01:31.429,0:01:34.136
Я главная. Именно моё мнение [br]имеет значение.

0:01:34.160,0:01:36.835
Это первое правило алгоритмов.

0:01:36.859,0:01:40.039
Алгоритмы — это мнения, встроенные в код.

0:01:41.562,0:01:45.225
Это отличается от того, как большинство[br]людей воспринимают алгоритмы.

0:01:45.249,0:01:49.753
Алгоритмы для них объективны,[br]истинны и научны.

0:01:50.387,0:01:52.086
Это маркетинговый трюк.

0:01:53.269,0:01:55.394
Этот трюк используют

0:01:55.418,0:01:58.572
для того, чтобы запугать вас алгоритмами,

0:01:58.596,0:02:02.257
чтобы вы доверяли им и боялись их,

0:02:02.281,0:02:04.299
как вы доверяете математике и боитесь еë.

0:02:05.567,0:02:10.397
Опасно вкладывать слепую веру [br]в «большие данные».

0:02:11.684,0:02:15.057
Это Кири Соареш.[br]Она директор средней школы в Бруклине.

0:02:15.081,0:02:17.667
В 2011 году она рассказала,[br]что её учителей оценивали

0:02:17.691,0:02:20.418
с помощью сложного секретного алгоритма —

0:02:20.442,0:02:21.931
«модели добавленной стоимости».

0:02:22.505,0:02:25.597
Я сказала ей: «Выясни-ка,[br]что это за формула и покажи мне,

0:02:25.621,0:02:27.162
я попробую объяснить еë тебе».

0:02:27.186,0:02:29.327
Она сказала: «Ну, я хотела[br]получить формулу,

0:02:29.351,0:02:32.123
но в отделе образования мне сказали,[br]что это математика,

0:02:32.147,0:02:33.693
и я не ничего пойму».

0:02:35.266,0:02:36.604
Ситуация ухудшается.

0:02:36.628,0:02:40.158
Газета «Нью-Йорк Пост», согласно[br]Закона о свободе информации,

0:02:40.182,0:02:43.141
опубликовала инфо с именами[br]всех учителей и их баллами

0:02:43.165,0:02:45.947
в попытке пристыдить их.

0:02:47.084,0:02:50.944
Когда я сама попыталась получить формулы[br]и исходный код,

0:02:50.968,0:02:53.117
мне их не дали.

0:02:53.141,0:02:54.377
Мне отказали.

0:02:54.401,0:02:55.575
Позже я узнала,

0:02:55.599,0:02:58.465
что никто в Нью-Йорке[br]не имеет доступа к этой формуле.

0:02:58.489,0:02:59.794
Никто её не понимал.

0:03:01.929,0:03:05.153
Пока за дело не взялся кто-то [br]умный — Гари Рубинштейн.

0:03:05.177,0:03:08.798
Он обнаружил, что 665 учителей[br]в базе данных Нью-Йорка

0:03:08.822,0:03:10.688
имели две оценки.

0:03:10.712,0:03:12.593
Это могло бы быть, если они преподают

0:03:12.617,0:03:15.056
математику в седьмом и восьмом классах.

0:03:15.080,0:03:16.618
Он решил создать график.

0:03:16.642,0:03:18.635
Каждая точка представляет собой учителя.[br]

0:03:19.104,0:03:21.483
(Смех)

0:03:21.507,0:03:23.028
Что это?

0:03:23.052,0:03:24.329
(Смех)

0:03:24.353,0:03:27.799
Это нельзя было использовать[br]для индивидуального оценивания.

0:03:27.823,0:03:29.749
Это почти что генератор случайных чисел.

0:03:29.773,0:03:32.719
(Аплодисменты)

0:03:32.743,0:03:33.905
Однако так и было.

0:03:33.929,0:03:35.105
Это Сара Высоцки.

0:03:35.129,0:03:37.304
Её уволили вместе с 205 другими учителями

0:03:37.328,0:03:39.990
из школы в Вашингтоне округа Колумбия,

0:03:40.014,0:03:42.923
даже не смотря на отличные рекомендации[br]от директора её школы

0:03:42.947,0:03:44.375
и родителей учеников.

0:03:45.390,0:03:47.422
Я знаю, о чём думают многие из вас,

0:03:47.446,0:03:49.933
особенно специалисты ИТ, ИИ-эксперты.

0:03:49.957,0:03:54.183
Вы думаете: «Ну, я бы никогда не создал[br]такой непоследовательный алгоритм».

0:03:54.853,0:03:56.536
Но алгоритм может не сработать,

0:03:56.560,0:04:01.158
и даже благие намерения могут иметь[br]глубоко разрушительный эффект.

0:04:02.531,0:04:04.910
И в то время как самолёт[br]с ошибками в проекте

0:04:04.934,0:04:06.935
упадëт на землю, и все это увидят,

0:04:06.959,0:04:08.809
алгоритм с ошибками

0:04:10.245,0:04:14.110
может работать долгое время,[br]бесшумно давая волю хаосу.

0:04:15.748,0:04:17.318
Это Роджер Айлз.[br]

0:04:17.342,0:04:19.342
(Смех)

0:04:20.524,0:04:22.912
Он основал Fox News в 1996 году.

0:04:23.346,0:04:26.017
Более 20 женщин жаловались[br]на сексуальные домогательства.

0:04:26.041,0:04:29.276
Они сказали, что им не дали возможности[br]преуспеть в Fox News.

0:04:29.300,0:04:31.820
Его сняли и в прошлом году, но понятно,

0:04:31.844,0:04:34.514
что проблемы так и остались нерешёнными.

0:04:35.654,0:04:37.054
Это вызывает вопрос:

0:04:37.078,0:04:39.962
что должны делать Fox News,[br]чтобы начать всё сначала?

0:04:41.245,0:04:44.286
Что, если бы они заменили процесс найма

0:04:44.310,0:04:45.964
машинным алгоритмом?

0:04:45.988,0:04:47.583
Неплохо, не так ли?

0:04:47.607,0:04:48.907
Подумайте об этом.

0:04:48.931,0:04:51.036
Данные, какими будут данные?

0:04:51.060,0:04:56.007
Разумно было бы проанализировать 21 год[br]опыта приёма на работу в Fox News.

0:04:56.031,0:04:57.533
Разумно.

0:04:57.557,0:04:59.495
Как насчёт определения успеха?

0:04:59.921,0:05:01.245
Разумным было бы выбрать

0:05:01.269,0:05:03.047
тех, кто преуспевает в Fox News?

0:05:03.071,0:05:06.651
Я думаю, тех, кто скажем,[br]проработал там четыре года

0:05:06.675,0:05:08.329
и получил продвижение хотя бы один раз.

0:05:08.816,0:05:10.377
Звучит разумно.

0:05:10.401,0:05:12.755
А затем алгоритм[br]можно было бы натренировать.

0:05:12.779,0:05:16.656
Он мог бы искать людей,[br]которые способны достичь успеха,

0:05:17.219,0:05:21.537
узнать, какие из претендентов на должность[br]были успешными в прошлом.

0:05:21.561,0:05:22.855
По этому определению.

0:05:24.200,0:05:25.975
Подумайте о том, что произошло бы,

0:05:25.999,0:05:28.554
если применить эту формулу[br]ко всем претендентам.

0:05:29.119,0:05:30.748
Женщин можно сразу исключить,

0:05:31.663,0:05:35.593
потому что среди них немного тех,[br]кто достиг успеха в прошлом.

0:05:39.752,0:05:42.289
Алгоритмы не обеспечивают справедливости.

0:05:42.313,0:05:45.007
Если вы безропотно,[br]слепо применяете алгоритмы,

0:05:45.031,0:05:46.513
они не обеспечат честность.

0:05:46.537,0:05:48.665
Они повторяют наш прошлый опыт,

0:05:48.689,0:05:49.872
наши шаблоны.

0:05:49.896,0:05:51.835
Они автоматизируют статус-кво.

0:05:52.718,0:05:55.107
Было бы здорово, если бы[br]у нас был идеальный мир,

0:05:55.905,0:05:57.217
но у нас его нет.

0:05:57.241,0:06:01.343
Кстати, большинство компаний[br]обошлись без судебных процессов,

0:06:02.446,0:06:05.034
но учёным в данных компаниях

0:06:05.058,0:06:07.247
велено следить за данными,

0:06:07.271,0:06:09.414
чтобы сосредоточиться на их точности.

0:06:10.273,0:06:11.654
Подумайте, что это значит.

0:06:11.678,0:06:15.705
Поскольку все мы не лишены предвзятости, [br]данные могут кодифицировать сексизм

0:06:15.729,0:06:17.565
или другие формы дискриминации.

0:06:19.488,0:06:20.909
Вот мысленный эксперимент,

0:06:20.933,0:06:22.442
потому что мне они нравятся:

0:06:23.574,0:06:26.549
общество с полной сегрегацией —

0:06:28.247,0:06:31.575
расовое разделение во всех [br]городах, всех районах.

0:06:31.599,0:06:34.636
Мы отправляем полицию только[br]в окрестности меньшинств

0:06:34.660,0:06:36.053
расследовать преступления.

0:06:36.451,0:06:38.670
Данные об аресте будут очень предвзятыми.

0:06:39.851,0:06:42.426
А что, если, мы нашли бы специалистов

0:06:42.450,0:06:46.611
и заплатили им за прогноз[br]места следующего преступления?

0:06:47.275,0:06:48.762
Окрестность меньшинств.

0:06:49.285,0:06:52.410
Или же за прогнозирование[br]следующего преступника?

0:06:52.888,0:06:54.283
Кто-то из меньшинств.

0:06:55.949,0:06:59.490
Специалисты обработки данных хвалятся тем,[br]насколько гениальны и точны

0:06:59.514,0:07:00.811
их модели,

0:07:00.835,0:07:02.134
и они правы.

0:07:03.951,0:07:08.566
Теперь реальность не настолько радикальна,[br]но у нас есть серьёзное разделение

0:07:08.590,0:07:09.877
во многих городах,

0:07:09.901,0:07:11.794
и у нас есть много доказательств

0:07:11.818,0:07:14.506
предвзятости[br]в политической и судебной системах.

0:07:15.632,0:07:18.447
И мы прогнозируем горячие точки —

0:07:18.471,0:07:20.001
места преступлений.

0:07:20.401,0:07:24.267
И мы на самом деле предсказываем[br]преступления отдельных лиц,

0:07:24.291,0:07:26.061
преступные действия индивидов.

0:07:26.972,0:07:30.935
Новостной ресурс ProPublica[br]недавно рассмотрел

0:07:30.959,0:07:32.983
один из алгоритмов — «риск рецидива»,

0:07:33.007,0:07:34.170
как его называют,

0:07:34.194,0:07:37.388
который используется во Флориде[br]при вынесения приговора судьями.

0:07:38.411,0:07:41.996
Бернар, чернокожий человек слева, [br]получил 10 из 10.

0:07:43.179,0:07:45.186
Дилан, справа, — 3 из 10.

0:07:45.210,0:07:47.711
10 из 10 — это высокий риск.[br]3 из 10 — низкий риск.

0:07:48.598,0:07:50.983
Они оба были привлечены[br]за хранение наркотиков.

0:07:51.007,0:07:52.161
Они оба имели аресты,

0:07:52.185,0:07:54.991
но у Дилана было уголовное преступление,

0:07:55.015,0:07:56.191
а у Бернарда нет.

0:07:57.818,0:08:00.884
Это имеет значение, потому[br]что чем выше оценка,

0:08:00.908,0:08:04.381
тем больше вероятность того, что вам[br]дадут более длительный срок.

0:08:06.294,0:08:07.588
Что происходит?

0:08:08.526,0:08:09.858
«Отмывание» данных. [br]

0:08:10.930,0:08:15.357
Это процесс сокрытия правды

0:08:15.381,0:08:17.202
в «чёрном ящике» алгоритмов,

0:08:17.226,0:08:18.516
алгоритмов объективных

0:08:19.320,0:08:20.888
и заслуживающих одобрения. [br]

0:08:23.118,0:08:25.503
Они секретны, важны и разрушительны.

0:08:25.527,0:08:28.014
Я придумала термин для них:

0:08:28.038,0:08:30.037
«оружие математического уничтожения».

0:08:30.061,0:08:31.625
(Смех)

0:08:31.649,0:08:34.703
(Аплодисменты)

0:08:34.727,0:08:37.081
Они повсюду, и это не ошибка.

0:08:37.695,0:08:41.418
Частные компании строят

0:08:41.442,0:08:42.834
частные алгоритмы для себя.

0:08:43.214,0:08:46.428
Даже алгоритмы для учителей и полиции

0:08:46.452,0:08:48.321
были построены частными компаниями

0:08:48.345,0:08:50.576
и проданы государственным учреждениям.

0:08:50.600,0:08:52.473
Они называют это своим «секретом» —

0:08:52.497,0:08:54.625
вот почему они не рассказывают ничего.

0:08:54.649,0:08:56.869
Это также частная власть.

0:08:57.924,0:09:02.619
Они пользуются преимуществом,[br]обеспеченным секретностью.

0:09:05.114,0:09:07.928
Так как всё частное

0:09:07.962,0:09:09.260
и присутствует конкуренция,

0:09:09.280,0:09:11.560
свободный рынок — это выход.

0:09:11.584,0:09:12.833
Но это не так.

0:09:12.857,0:09:15.977
В этой несправедливости — куча денег.

0:09:17.127,0:09:20.496
И мы не рациональны[br]с точки зрения экономики.

0:09:21.031,0:09:22.323
Мы все предвзяты.

0:09:22.960,0:09:26.337
Мы все расисты и фанатики, к сожалению,

0:09:26.361,0:09:28.380
часто подсознательно.

0:09:29.352,0:09:32.433
Мы это знаем, но, в совокупности,

0:09:32.457,0:09:35.677
социологи демонстрируют это

0:09:35.701,0:09:37.366
своими экспериментами.

0:09:37.390,0:09:39.958
Они рассылают заявки[br]квалифицированных работников,

0:09:39.982,0:09:42.483
и по их именам можно понять,

0:09:42.507,0:09:44.213
белые они или чернокожие.

0:09:44.237,0:09:46.931
И результаты всегда разочаровывают.

0:09:47.510,0:09:49.281
Мы предвзяты

0:09:49.305,0:09:52.734
и внедряем предубеждения в алгоритмы,

0:09:52.758,0:09:54.570
отбирая данные.

0:09:54.594,0:09:57.337
Вот я решила не думать о лапше,

0:09:57.361,0:09:58.986
я решила, что это неприемлемо.

0:09:59.010,0:10:04.694
Но, доверяя собранным ранее данным

0:10:04.718,0:10:06.732
и выбирая своё определение успеха,

0:10:06.756,0:10:10.739
можно ли ожидать, что алгоритмы[br]окажутся непредвзятыми?

0:10:10.763,0:10:13.119
Нет. Мы должны их проверять.

0:10:14.015,0:10:15.964
Мы должны проверять их на справедливость.

0:10:15.984,0:10:18.609
Хорошей новостью является то,[br]что мы можем это сделать.

0:10:18.633,0:10:21.985
Алгоритмы можно допросить,

0:10:22.009,0:10:24.043
и они всегда скажут нам правду.

0:10:24.067,0:10:26.560
И мы можем их исправить.[br]Мы можем их улучшить.

0:10:26.584,0:10:28.959
Это алгоритмический аудит,

0:10:28.983,0:10:30.662
и я вам сейчас объясню.

0:10:30.686,0:10:32.882
Во-первых — проверка целостности данных.

0:10:34.132,0:10:37.539
Для алгоритма определения риска[br]рецидива, о котором я говорила ранее,

0:10:37.582,0:10:41.155
проверка целостности данных[br]означает принятие факта о том,

0:10:41.179,0:10:44.705
что в США белые и чёрные курят[br]марихуану одинаково,

0:10:44.729,0:10:47.214
но чернокожих чаще задерживают.

0:10:47.238,0:10:50.422
Вероятность ареста в 4–5 раз выше,[br]в зависимости от района.

0:10:51.317,0:10:54.143
Как это выглядит в других сферах права,

0:10:54.167,0:10:55.618
и как это можно объяснить?

0:10:56.162,0:10:59.201
Во-вторых — успех,

0:10:59.225,0:11:00.606
проверьте его.

0:11:00.630,0:11:03.382
Помните? Алгоритм принятия на работу?

0:11:03.406,0:11:06.571
У кого стаж четыре года[br]и одно продвижение?

0:11:06.595,0:11:08.364
Это — успешный сотрудник,

0:11:08.388,0:11:11.467
но это и тот, кого поддерживает[br]культура компании.

0:11:12.089,0:11:14.015
И это может быть довольно предвзятым.

0:11:14.039,0:11:16.104
Нам нужно разделять эти две вещи.

0:11:16.128,0:11:18.554
Вот слепое cобеседование

0:11:18.578,0:11:19.774
для примера.

0:11:19.798,0:11:22.554
Прослушивают людей, не видя их.

0:11:22.946,0:11:24.877
Я думаю о том,

0:11:24.901,0:11:28.318
что прослушивающие люди решили, что важно

0:11:28.342,0:11:30.371
для них, а что нет.

0:11:30.395,0:11:32.454
И больше они не отвлекаются на эту тему.

0:11:32.961,0:11:35.710
Когда начались «слепые оркестровые[br]прослушивания»,

0:11:35.734,0:11:39.178
число женщин в оркестрах[br]выросло в пять раз.

0:11:40.253,0:11:42.268
Затем мы должны учитывать точность.

0:11:43.233,0:11:46.967
Тут модель добавленной стоимости[br]для учителей провалилась бы сразу.

0:11:47.578,0:11:49.740
Конечно, нет идеальных алгоритмов,

0:11:50.620,0:11:54.225
поэтому мы должны учитывать[br]ошибки всех алгоритмов.

0:11:54.836,0:11:59.195
Когда бывают ошибки,[br]к кому эта модель не подходит?

0:11:59.850,0:12:01.568
Какова цена этой неудачи?

0:12:02.434,0:12:04.641
И, наконец, мы должны рассмотреть

0:12:05.973,0:12:08.159
долгосрочные эффекты алгоритмов,

0:12:08.866,0:12:11.073
петли обратной связи.

0:12:11.586,0:12:12.822
Это звучит абстрактно,

0:12:12.846,0:12:15.510
но представьте, если бы об этом[br]подумали творцы Facebook,

0:12:16.270,0:12:21.125
прежде чем они решили показать нам[br]публикации наших друзей.

0:12:21.761,0:12:24.995
У меня есть ещё два сообщения,[br]одно для ИТ специалистов.

0:12:25.450,0:12:28.859
Ребята, мы не должны быть судьями правды,

0:12:29.520,0:12:33.303
мы должны передавать этику

0:12:33.327,0:12:34.621
широкой общественности.[br]

0:12:35.579,0:12:37.712
(Аплодисменты)[br]

0:12:37.736,0:12:39.292
А для остальных, [br]

0:12:40.011,0:12:41.407
не специалистов ИТ:

0:12:41.431,0:12:42.929
это не математический тест.

0:12:43.632,0:12:44.980
Это политическая борьба.

0:12:46.587,0:12:50.494
Нужна отчётность собственников алгоритмов.

0:12:52.118,0:12:53.617
(Аплодисменты)

0:12:53.641,0:12:57.866
Эре слепой веры в «большие данные» конец!

0:12:57.890,0:12:59.057
Спасибо большое.

0:12:59.081,0:13:04.384
(Аплодисменты)