WEBVTT

00:00:00.975 --> 00:00:02.571
Алгоритмы повсюду.

00:00:04.111 --> 00:00:07.236
Они сортируют людей, отделяя
победителей от проигравших.

00:00:08.019 --> 00:00:10.283
Победители получают желаемую работу

00:00:10.307 --> 00:00:12.050
или выгодное кредитное предложение.

00:00:12.074 --> 00:00:14.725
Неудачники даже не получают
шанса на собеседование

00:00:15.590 --> 00:00:17.367
или платят больше за страхование.

00:00:18.197 --> 00:00:21.746
Нас «считывают» по секретным формулам,
которые мы зачастую не понимаем,

00:00:22.675 --> 00:00:25.892
без возможности обжалования решения.

00:00:27.240 --> 00:00:28.536
Назревает вопрос:

00:00:28.560 --> 00:00:31.473
что, если эти алгоритмы ошибочны?

NOTE Paragraph

00:00:33.090 --> 00:00:35.140
Для построения алгоритма
вам нужны две вещи:

00:00:35.164 --> 00:00:37.145
вам нужны данные о прошлых событиях

00:00:37.169 --> 00:00:38.730
и определение понятия «успех» —

00:00:38.754 --> 00:00:41.211
того, к чему вы стремитесь
и на что надеетесь.

00:00:41.235 --> 00:00:46.272
Вы обучаете алгоритм,
наблюдая за результатом.

00:00:46.296 --> 00:00:49.715
Алгоритм вычисляет всё то,
что связано с успехом.

00:00:49.739 --> 00:00:52.202
Какая ситуация приводит к успеху?

NOTE Paragraph

00:00:52.881 --> 00:00:54.643
Каждый из нас использует алгоритмы.

00:00:54.667 --> 00:00:57.385
Мы просто не записываем их
в виде формул и кодов.

00:00:57.409 --> 00:00:58.757
Приведу пример.

00:00:58.781 --> 00:01:02.097
Я использую алгоритм каждый день,
когда готовлю еду для своей семьи.

00:01:02.121 --> 00:01:03.597
Данные, которые я использую, —

00:01:04.394 --> 00:01:06.053
это ингредиенты у меня на кухне,

00:01:06.077 --> 00:01:07.604
моё время,

00:01:07.628 --> 00:01:08.861
мои цели,

00:01:08.885 --> 00:01:10.594
и я организовываю эти данные.

00:01:10.618 --> 00:01:14.869
Я не считаю эти пакетики лапши пищей.


NOTE Paragraph

00:01:14.893 --> 00:01:16.762
(Смех)

NOTE Paragraph

00:01:16.786 --> 00:01:18.631
Вот моё определение успеха:

00:01:18.655 --> 00:01:21.314
блюдо удалось, если мои дети едят овощи.

00:01:22.181 --> 00:01:25.035
Мой младший сын думает по-другому.

00:01:25.059 --> 00:01:27.847
Для него успех — это если он
получит много Нутеллы.

00:01:29.179 --> 00:01:31.405
Но определяю успех я.

00:01:31.429 --> 00:01:34.136
Я главная. Именно моё мнение 
имеет значение.

00:01:34.160 --> 00:01:36.835
Это первое правило алгоритмов.

NOTE Paragraph

00:01:36.859 --> 00:01:40.039
Алгоритмы — это мнения, встроенные в код.

00:01:41.562 --> 00:01:45.225
Это отличается от того, как большинство
людей воспринимают алгоритмы.

00:01:45.249 --> 00:01:49.753
Алгоритмы для них объективны,
истинны и научны.

00:01:50.387 --> 00:01:52.086
Это маркетинговый трюк.

00:01:53.269 --> 00:01:55.394
Этот трюк используют

00:01:55.418 --> 00:01:58.572
для того, чтобы запугать вас алгоритмами,

00:01:58.596 --> 00:02:02.257
чтобы вы доверяли им и боялись их,

00:02:02.281 --> 00:02:04.299
как вы доверяете математике и боитесь еë.

00:02:05.567 --> 00:02:10.397
Опасно вкладывать слепую веру 
в «большие данные».

NOTE Paragraph

00:02:11.684 --> 00:02:15.057
Это Кири Соареш.
Она директор средней школы в Бруклине.

00:02:15.081 --> 00:02:17.667
В 2011 году она рассказала,
что её учителей оценивали

00:02:17.691 --> 00:02:20.418
с помощью сложного секретного алгоритма —

00:02:20.442 --> 00:02:21.931
«модели добавленной стоимости».

00:02:22.505 --> 00:02:25.597
Я сказала ей: «Выясни-ка,
что это за формула и покажи мне,

00:02:25.621 --> 00:02:27.162
я попробую объяснить еë тебе».

00:02:27.186 --> 00:02:29.327
Она сказала: «Ну, я хотела
получить формулу,

00:02:29.351 --> 00:02:32.123
но в отделе образования мне сказали,
что это математика,

00:02:32.147 --> 00:02:33.693
и я не ничего пойму».

NOTE Paragraph

00:02:35.266 --> 00:02:36.604
Ситуация ухудшается.

00:02:36.628 --> 00:02:40.158
Газета «Нью-Йорк Пост», согласно
Закона о свободе информации,

00:02:40.182 --> 00:02:43.141
опубликовала инфо с именами
всех учителей и их баллами

00:02:43.165 --> 00:02:45.947
в попытке пристыдить их.

00:02:47.084 --> 00:02:50.944
Когда я сама попыталась получить формулы
и исходный код,

00:02:50.968 --> 00:02:53.117
мне их не дали.

00:02:53.141 --> 00:02:54.377
Мне отказали.

00:02:54.401 --> 00:02:55.575
Позже я узнала,

00:02:55.599 --> 00:02:58.465
что никто в Нью-Йорке
не имеет доступа к этой формуле.

00:02:58.489 --> 00:02:59.794
Никто её не понимал.

00:03:01.929 --> 00:03:05.153
Пока за дело не взялся кто-то 
умный — Гари Рубинштейн.

00:03:05.177 --> 00:03:08.798
Он обнаружил, что 665 учителей
в базе данных Нью-Йорка

00:03:08.822 --> 00:03:10.688
имели две оценки.

00:03:10.712 --> 00:03:12.593
Это могло бы быть, если они преподают

00:03:12.617 --> 00:03:15.056
математику в седьмом и восьмом классах.

00:03:15.080 --> 00:03:16.618
Он решил создать график.

00:03:16.642 --> 00:03:18.635
Каждая точка представляет собой учителя.


NOTE Paragraph

00:03:19.104 --> 00:03:21.483
(Смех)

NOTE Paragraph

00:03:21.507 --> 00:03:23.028
Что это?

NOTE Paragraph

00:03:23.052 --> 00:03:24.329
(Смех)

NOTE Paragraph

00:03:24.353 --> 00:03:27.799
Это нельзя было использовать
для индивидуального оценивания.

00:03:27.823 --> 00:03:29.749
Это почти что генератор случайных чисел.

NOTE Paragraph

00:03:29.773 --> 00:03:32.719
(Аплодисменты)

NOTE Paragraph

00:03:32.743 --> 00:03:33.905
Однако так и было.

00:03:33.929 --> 00:03:35.105
Это Сара Высоцки.

00:03:35.129 --> 00:03:37.304
Её уволили вместе с 205 другими учителями

00:03:37.328 --> 00:03:39.990
из школы в Вашингтоне округа Колумбия,

00:03:40.014 --> 00:03:42.923
даже не смотря на отличные рекомендации
от директора её школы

00:03:42.947 --> 00:03:44.375
и родителей учеников.

NOTE Paragraph

00:03:45.390 --> 00:03:47.422
Я знаю, о чём думают многие из вас,

00:03:47.446 --> 00:03:49.933
особенно специалисты ИТ, ИИ-эксперты.

00:03:49.957 --> 00:03:54.183
Вы думаете: «Ну, я бы никогда не создал
такой непоследовательный алгоритм».

00:03:54.853 --> 00:03:56.536
Но алгоритм может не сработать,

00:03:56.560 --> 00:04:01.158
и даже благие намерения могут иметь
глубоко разрушительный эффект.

00:04:02.531 --> 00:04:04.910
И в то время как самолёт
с ошибками в проекте

00:04:04.934 --> 00:04:06.935
упадëт на землю, и все это увидят,

00:04:06.959 --> 00:04:08.809
алгоритм с ошибками

00:04:10.245 --> 00:04:14.110
может работать долгое время,
бесшумно давая волю хаосу.

NOTE Paragraph

00:04:15.748 --> 00:04:17.318
Это Роджер Айлз.


NOTE Paragraph

00:04:17.342 --> 00:04:19.342
(Смех)

NOTE Paragraph

00:04:20.524 --> 00:04:22.912
Он основал Fox News в 1996 году.

00:04:23.346 --> 00:04:26.017
Более 20 женщин жаловались
на сексуальные домогательства.

00:04:26.041 --> 00:04:29.276
Они сказали, что им не дали возможности
преуспеть в Fox News.

00:04:29.300 --> 00:04:31.820
Его сняли и в прошлом году, но понятно,

00:04:31.844 --> 00:04:34.514
что проблемы так и остались нерешёнными.

00:04:35.654 --> 00:04:37.054
Это вызывает вопрос:

00:04:37.078 --> 00:04:39.962
что должны делать Fox News,
чтобы начать всё сначала?

NOTE Paragraph

00:04:41.245 --> 00:04:44.286
Что, если бы они заменили процесс найма

00:04:44.310 --> 00:04:45.964
машинным алгоритмом?

00:04:45.988 --> 00:04:47.583
Неплохо, не так ли?

00:04:47.607 --> 00:04:48.907
Подумайте об этом.

00:04:48.931 --> 00:04:51.036
Данные, какими будут данные?

00:04:51.060 --> 00:04:56.007
Разумно было бы проанализировать 21 год
опыта приёма на работу в Fox News.

00:04:56.031 --> 00:04:57.533
Разумно.

00:04:57.557 --> 00:04:59.495
Как насчёт определения успеха?

00:04:59.921 --> 00:05:01.245
Разумным было бы выбрать

00:05:01.269 --> 00:05:03.047
тех, кто преуспевает в Fox News?

00:05:03.071 --> 00:05:06.651
Я думаю, тех, кто скажем,
проработал там четыре года

00:05:06.675 --> 00:05:08.329
и получил продвижение хотя бы один раз.

00:05:08.816 --> 00:05:10.377
Звучит разумно.

00:05:10.401 --> 00:05:12.755
А затем алгоритм
можно было бы натренировать.

00:05:12.779 --> 00:05:16.656
Он мог бы искать людей,
которые способны достичь успеха,

00:05:17.219 --> 00:05:21.537
узнать, какие из претендентов на должность
были успешными в прошлом.

00:05:21.561 --> 00:05:22.855
По этому определению.

00:05:24.200 --> 00:05:25.975
Подумайте о том, что произошло бы,

00:05:25.999 --> 00:05:28.554
если применить эту формулу
ко всем претендентам.

00:05:29.119 --> 00:05:30.748
Женщин можно сразу исключить,

00:05:31.663 --> 00:05:35.593
потому что среди них немного тех,
кто достиг успеха в прошлом.

NOTE Paragraph

00:05:39.752 --> 00:05:42.289
Алгоритмы не обеспечивают справедливости.

00:05:42.313 --> 00:05:45.007
Если вы безропотно,
слепо применяете алгоритмы,

00:05:45.031 --> 00:05:46.513
они не обеспечат честность.

00:05:46.537 --> 00:05:48.665
Они повторяют наш прошлый опыт,

00:05:48.689 --> 00:05:49.872
наши шаблоны.

00:05:49.896 --> 00:05:51.835
Они автоматизируют статус-кво.

00:05:52.718 --> 00:05:55.107
Было бы здорово, если бы
у нас был идеальный мир,

00:05:55.905 --> 00:05:57.217
но у нас его нет.

00:05:57.241 --> 00:06:01.343
Кстати, большинство компаний
обошлись без судебных процессов,

00:06:02.446 --> 00:06:05.034
но учёным в данных компаниях

00:06:05.058 --> 00:06:07.247
велено следить за данными,

00:06:07.271 --> 00:06:09.414
чтобы сосредоточиться на их точности.

00:06:10.273 --> 00:06:11.654
Подумайте, что это значит.

00:06:11.678 --> 00:06:15.705
Поскольку все мы не лишены предвзятости, 
данные могут кодифицировать сексизм

00:06:15.729 --> 00:06:17.565
или другие формы дискриминации.

NOTE Paragraph

00:06:19.488 --> 00:06:20.909
Вот мысленный эксперимент,

00:06:20.933 --> 00:06:22.442
потому что мне они нравятся:

00:06:23.574 --> 00:06:26.549
общество с полной сегрегацией —

00:06:28.247 --> 00:06:31.575
расовое разделение во всех 
городах, всех районах.

00:06:31.599 --> 00:06:34.636
Мы отправляем полицию только
в окрестности меньшинств

00:06:34.660 --> 00:06:36.053
расследовать преступления.

00:06:36.451 --> 00:06:38.670
Данные об аресте будут очень предвзятыми.

00:06:39.851 --> 00:06:42.426
А что, если, мы нашли бы специалистов

00:06:42.450 --> 00:06:46.611
и заплатили им за прогноз
места следующего преступления?

00:06:47.275 --> 00:06:48.762
Окрестность меньшинств.

00:06:49.285 --> 00:06:52.410
Или же за прогнозирование
следующего преступника?

00:06:52.888 --> 00:06:54.283
Кто-то из меньшинств.

00:06:55.949 --> 00:06:59.490
Специалисты обработки данных хвалятся тем,
насколько гениальны и точны

00:06:59.514 --> 00:07:00.811
их модели,

00:07:00.835 --> 00:07:02.134
и они правы.

NOTE Paragraph

00:07:03.951 --> 00:07:08.566
Теперь реальность не настолько радикальна,
но у нас есть серьёзное разделение

00:07:08.590 --> 00:07:09.877
во многих городах,

00:07:09.901 --> 00:07:11.794
и у нас есть много доказательств

00:07:11.818 --> 00:07:14.506
предвзятости
в политической и судебной системах.

00:07:15.632 --> 00:07:18.447
И мы прогнозируем горячие точки —

00:07:18.471 --> 00:07:20.001
места преступлений.

00:07:20.401 --> 00:07:24.267
И мы на самом деле предсказываем
преступления отдельных лиц,

00:07:24.291 --> 00:07:26.061
преступные действия индивидов.

00:07:26.972 --> 00:07:30.935
Новостной ресурс ProPublica
недавно рассмотрел

00:07:30.959 --> 00:07:32.983
один из алгоритмов — «риск рецидива»,

00:07:33.007 --> 00:07:34.170
как его называют,

00:07:34.194 --> 00:07:37.388
который используется во Флориде
при вынесения приговора судьями.

00:07:38.411 --> 00:07:41.996
Бернар, чернокожий человек слева, 
получил 10 из 10.

00:07:43.179 --> 00:07:45.186
Дилан, справа, — 3 из 10.

00:07:45.210 --> 00:07:47.711
10 из 10 — это высокий риск.
3 из 10 — низкий риск.

00:07:48.598 --> 00:07:50.983
Они оба были привлечены
за хранение наркотиков.

00:07:51.007 --> 00:07:52.161
Они оба имели аресты,

00:07:52.185 --> 00:07:54.991
но у Дилана было уголовное преступление,

00:07:55.015 --> 00:07:56.191
а у Бернарда нет.

00:07:57.818 --> 00:08:00.884
Это имеет значение, потому
что чем выше оценка,

00:08:00.908 --> 00:08:04.381
тем больше вероятность того, что вам
дадут более длительный срок.

NOTE Paragraph

00:08:06.294 --> 00:08:07.588
Что происходит?

00:08:08.526 --> 00:08:09.858
«Отмывание» данных. 


00:08:10.930 --> 00:08:15.357
Это процесс сокрытия правды

00:08:15.381 --> 00:08:17.202
в «чёрном ящике» алгоритмов,

00:08:17.226 --> 00:08:18.516
алгоритмов объективных

00:08:19.320 --> 00:08:20.888
и заслуживающих одобрения. 


00:08:23.118 --> 00:08:25.503
Они секретны, важны и разрушительны.

00:08:25.527 --> 00:08:28.014
Я придумала термин для них:

00:08:28.038 --> 00:08:30.037
«оружие математического уничтожения».

NOTE Paragraph

00:08:30.061 --> 00:08:31.625
(Смех)

NOTE Paragraph

00:08:31.649 --> 00:08:34.703
(Аплодисменты)

NOTE Paragraph

00:08:34.727 --> 00:08:37.081
Они повсюду, и это не ошибка.

00:08:37.695 --> 00:08:41.418
Частные компании строят

00:08:41.442 --> 00:08:42.834
частные алгоритмы для себя.

00:08:43.214 --> 00:08:46.428
Даже алгоритмы для учителей и полиции

00:08:46.452 --> 00:08:48.321
были построены частными компаниями

00:08:48.345 --> 00:08:50.576
и проданы государственным учреждениям.

00:08:50.600 --> 00:08:52.473
Они называют это своим «секретом» —

00:08:52.497 --> 00:08:54.625
вот почему они не рассказывают ничего.

00:08:54.649 --> 00:08:56.869
Это также частная власть.

00:08:57.924 --> 00:09:02.619
Они пользуются преимуществом,
обеспеченным секретностью.

00:09:05.114 --> 00:09:07.928
Так как всё частное

00:09:07.962 --> 00:09:09.260
и присутствует конкуренция,

00:09:09.280 --> 00:09:11.560
свободный рынок — это выход.

00:09:11.584 --> 00:09:12.833
Но это не так.

00:09:12.857 --> 00:09:15.977
В этой несправедливости — куча денег.

NOTE Paragraph

00:09:17.127 --> 00:09:20.496
И мы не рациональны
с точки зрения экономики.

00:09:21.031 --> 00:09:22.323
Мы все предвзяты.

00:09:22.960 --> 00:09:26.337
Мы все расисты и фанатики, к сожалению,

00:09:26.361 --> 00:09:28.380
часто подсознательно.

00:09:29.352 --> 00:09:32.433
Мы это знаем, но, в совокупности,

00:09:32.457 --> 00:09:35.677
социологи демонстрируют это

00:09:35.701 --> 00:09:37.366
своими экспериментами.

00:09:37.390 --> 00:09:39.958
Они рассылают заявки
квалифицированных работников,

00:09:39.982 --> 00:09:42.483
и по их именам можно понять,

00:09:42.507 --> 00:09:44.213
белые они или чернокожие.

00:09:44.237 --> 00:09:46.931
И результаты всегда разочаровывают.

NOTE Paragraph

00:09:47.510 --> 00:09:49.281
Мы предвзяты

00:09:49.305 --> 00:09:52.734
и внедряем предубеждения в алгоритмы,

00:09:52.758 --> 00:09:54.570
отбирая данные.

00:09:54.594 --> 00:09:57.337
Вот я решила не думать о лапше,

00:09:57.361 --> 00:09:58.986
я решила, что это неприемлемо.

00:09:59.010 --> 00:10:04.694
Но, доверяя собранным ранее данным

00:10:04.718 --> 00:10:06.732
и выбирая своё определение успеха,

00:10:06.756 --> 00:10:10.739
можно ли ожидать, что алгоритмы
окажутся непредвзятыми?

00:10:10.763 --> 00:10:13.119
Нет. Мы должны их проверять.

00:10:14.015 --> 00:10:15.964
Мы должны проверять их на справедливость.

NOTE Paragraph

00:10:15.984 --> 00:10:18.609
Хорошей новостью является то,
что мы можем это сделать.

00:10:18.633 --> 00:10:21.985
Алгоритмы можно допросить,

00:10:22.009 --> 00:10:24.043
и они всегда скажут нам правду.

00:10:24.067 --> 00:10:26.560
И мы можем их исправить.
Мы можем их улучшить.

00:10:26.584 --> 00:10:28.959
Это алгоритмический аудит,

00:10:28.983 --> 00:10:30.662
и я вам сейчас объясню.

NOTE Paragraph

00:10:30.686 --> 00:10:32.882
Во-первых — проверка целостности данных.

00:10:34.132 --> 00:10:37.539
Для алгоритма определения риска
рецидива, о котором я говорила ранее,

00:10:37.582 --> 00:10:41.155
проверка целостности данных
означает принятие факта о том,

00:10:41.179 --> 00:10:44.705
что в США белые и чёрные курят
марихуану одинаково,

00:10:44.729 --> 00:10:47.214
но чернокожих чаще задерживают.

00:10:47.238 --> 00:10:50.422
Вероятность ареста в 4–5 раз выше,
в зависимости от района.

00:10:51.317 --> 00:10:54.143
Как это выглядит в других сферах права,

00:10:54.167 --> 00:10:55.618
и как это можно объяснить?

NOTE Paragraph

00:10:56.162 --> 00:10:59.201
Во-вторых — успех,

00:10:59.225 --> 00:11:00.606
проверьте его.

00:11:00.630 --> 00:11:03.382
Помните? Алгоритм принятия на работу?

00:11:03.406 --> 00:11:06.571
У кого стаж четыре года
и одно продвижение?

00:11:06.595 --> 00:11:08.364
Это — успешный сотрудник,

00:11:08.388 --> 00:11:11.467
но это и тот, кого поддерживает
культура компании.

00:11:12.089 --> 00:11:14.015
И это может быть довольно предвзятым.

00:11:14.039 --> 00:11:16.104
Нам нужно разделять эти две вещи.

00:11:16.128 --> 00:11:18.554
Вот слепое cобеседование

00:11:18.578 --> 00:11:19.774
для примера.

00:11:19.798 --> 00:11:22.554
Прослушивают людей, не видя их.

00:11:22.946 --> 00:11:24.877
Я думаю о том,

00:11:24.901 --> 00:11:28.318
что прослушивающие люди решили, что важно

00:11:28.342 --> 00:11:30.371
для них, а что нет.

00:11:30.395 --> 00:11:32.454
И больше они не отвлекаются на эту тему.

00:11:32.961 --> 00:11:35.710
Когда начались «слепые оркестровые
прослушивания»,

00:11:35.734 --> 00:11:39.178
число женщин в оркестрах
выросло в пять раз.

NOTE Paragraph

00:11:40.253 --> 00:11:42.268
Затем мы должны учитывать точность.

00:11:43.233 --> 00:11:46.967
Тут модель добавленной стоимости
для учителей провалилась бы сразу.

00:11:47.578 --> 00:11:49.740
Конечно, нет идеальных алгоритмов,

00:11:50.620 --> 00:11:54.225
поэтому мы должны учитывать
ошибки всех алгоритмов.

00:11:54.836 --> 00:11:59.195
Когда бывают ошибки,
к кому эта модель не подходит?

00:11:59.850 --> 00:12:01.568
Какова цена этой неудачи?

NOTE Paragraph

00:12:02.434 --> 00:12:04.641
И, наконец, мы должны рассмотреть

00:12:05.973 --> 00:12:08.159
долгосрочные эффекты алгоритмов,

00:12:08.866 --> 00:12:11.073
петли обратной связи.

00:12:11.586 --> 00:12:12.822
Это звучит абстрактно,

00:12:12.846 --> 00:12:15.510
но представьте, если бы об этом
подумали творцы Facebook,

00:12:16.270 --> 00:12:21.125
прежде чем они решили показать нам
публикации наших друзей.

NOTE Paragraph

00:12:21.761 --> 00:12:24.995
У меня есть ещё два сообщения,
одно для ИТ специалистов.

00:12:25.450 --> 00:12:28.859
Ребята, мы не должны быть судьями правды,

00:12:29.520 --> 00:12:33.303
мы должны передавать этику

00:12:33.327 --> 00:12:34.621
широкой общественности.


NOTE Paragraph

00:12:35.579 --> 00:12:37.712
(Аплодисменты)


NOTE Paragraph

00:12:37.736 --> 00:12:39.292
А для остальных, 


00:12:40.011 --> 00:12:41.407
не специалистов ИТ:

00:12:41.431 --> 00:12:42.929
это не математический тест.

00:12:43.632 --> 00:12:44.980
Это политическая борьба.

00:12:46.587 --> 00:12:50.494
Нужна отчётность собственников алгоритмов.

NOTE Paragraph

00:12:52.118 --> 00:12:53.617
(Аплодисменты)

NOTE Paragraph

00:12:53.641 --> 00:12:57.866
Эре слепой веры в «большие данные» конец!

NOTE Paragraph

00:12:57.890 --> 00:12:59.057
Спасибо большое.

NOTE Paragraph

00:12:59.081 --> 00:13:04.384
(Аплодисменты)