Епоха сліпої віри у великі дані має підійти до кінця
-
0:01 - 0:03Алгоритми є повсюди.
-
0:04 - 0:07Вони сортують і відрізняють
переможців від переможених. -
0:08 - 0:10Переможці отримують роботу
-
0:10 - 0:12чи вигідні умови
оформлення кредитки. -
0:12 - 0:15Переможені не доходять
навіть до співбесіди, -
0:16 - 0:17або платять більше за страхування.
-
0:18 - 0:22Нас обчислюють секретними формулами,
які ми не розуміємо, -
0:23 - 0:26і до яких часто не можна подати
апеляційні скарги. -
0:27 - 0:29Тому виникає питання:
-
0:29 - 0:31а якщо припустити,
що алгоритми неправильні? -
0:33 - 0:35Для побудови алгоритму потрібні дві речі:
-
0:35 - 0:37потрібні дані про те,
що сталося у минулому, -
0:37 - 0:39і визначення успіху,
-
0:39 - 0:41те, чого ви прагнете
і на що часто сподіваєтеся. -
0:41 - 0:46Ви навчаєте алгоритм,
розмірковуючи, з'ясовуючи. -
0:46 - 0:50Алгоритм з'ясовує,
що асоціюється із успіхом. -
0:50 - 0:52Яка ситуація призводить до успіху?
-
0:53 - 0:55Усі люди вживають алгоритми.
-
0:55 - 0:57Вони просто не записують їх
у вигляді коду. -
0:57 - 0:59Я наведу вам приклад.
-
0:59 - 1:02Я щодня вживаю алгоритм,
щоб приготувати їсти для сім'ї. -
1:02 - 1:04Дані, що я використовую,
-
1:04 - 1:06це інгредієнти в мене на кухні,
-
1:06 - 1:08скільки часу я маю,
-
1:08 - 1:09наскільки я захоплена,
-
1:09 - 1:11і я - куратор цих даних.
-
1:11 - 1:15Я не зараховую маленькі пакетики
локшини рамен до їжі. -
1:15 - 1:17(Сміх)
-
1:17 - 1:19Ось моє визначення успіху:
-
1:19 - 1:21страва успішна,
якщо мої діти їдять овочі. -
1:22 - 1:25Дайте вирішувати моєму молодшому
синові, і все буде інакше. -
1:25 - 1:28Для нього успіх - це якщо вдається
з'їсти багато Нутелли. -
1:29 - 1:31Але я визначаю, що таке успіх.
-
1:31 - 1:34Я вирішую. Моя точка зору має значення.
-
1:34 - 1:37Ось таким є перше правило алгоритмів.
-
1:37 - 1:40Алгоритми - це точки зору,
вбудовані у код. -
1:42 - 1:45Це дуже відрізняється від того, що
більшість людей думає про алгоритми. -
1:45 - 1:50Вони думають, що алгоритми об'єктивні,
правдиві і науково обґрунтовані. -
1:50 - 1:52Це маркетингові хитрощі.
-
1:53 - 1:55Це також будуть маркетингові хитрощі,
-
1:55 - 1:59якщо вам будуть погрожувати алгоритмами,
-
1:59 - 2:02будуть примушувати вас довіряти
алгоритмам та боятися їх, -
2:02 - 2:04бо ви довіряєте математиці та боїтеся її.
-
2:06 - 2:10Чимало речей може піти не так, як треба,
коли ми сліпо довіряємо великим даним. -
2:12 - 2:15Це Кірі Соарс. Вона - директор
школи старших класів у Брукліні. -
2:15 - 2:18У 2011 р. вона розповіла мені,
що її вчителів оцінювали -
2:18 - 2:20за складним секретним алгоритмом
-
2:20 - 2:23під назвою
"модель з розширеними функціями". -
2:23 - 2:26Я сказала їй: "З'ясуй, що це за формула,
покажи її мені. -
2:26 - 2:27Я тобі її поясню".
-
2:27 - 2:29Вона сказала: "Я намагалася
отримати формулу, -
2:29 - 2:32але моя знайома у міносвіти
сказала мені, що то математика, -
2:32 - 2:34і що мені цього не зрозуміти".
-
2:35 - 2:37Далі буде гірше.
-
2:37 - 2:40"Нью-Йорк Пост" надіслала запит згідно
із Законом про свободу інформації, -
2:40 - 2:43отримала імена усіх вчителів
та усі їх оцінки, -
2:43 - 2:46і потім вони опублікували це
задля присоромлення вчителів. -
2:47 - 2:51Коли я намагалася тими ж методами
одержати формули, початковий код, -
2:51 - 2:53мені сказали, що я не можу цього зробити.
-
2:53 - 2:54Мені відмовили.
-
2:54 - 2:56Пізніше я дізналася,
-
2:56 - 2:58що ніхто у місті Нью-Йорк
не мав доступу до цієї формули. -
2:58 - 3:00Ніхто її не розумів.
-
3:02 - 3:05Потім до цього долучилася
одна мудра людина, Гері Рубінштейн. -
3:05 - 3:09Він знайшов 665 вчителів з тої статті
у "Нью-Йорк Пост", -
3:09 - 3:11вчителів, що, власне, мали дві оцінки.
-
3:11 - 3:13Так могло статися, якщо вони викладали
-
3:13 - 3:15математику у сьомому класі
і математику у восьмому. -
3:15 - 3:17Він вирішив відобразити їх дані.
-
3:17 - 3:19Кожна крапка репрезентує вчителя.
-
3:19 - 3:21(Сміх)
-
3:22 - 3:23Що це таке?
-
3:23 - 3:24(Сміх)
-
3:24 - 3:28Це ніколи не слід було використовувати
для індивідуальної оцінки. -
3:28 - 3:30Це майже як генератор випадкових чисел.
-
3:30 - 3:33(Оплески)
-
3:33 - 3:34Але це було використано.
-
3:34 - 3:35Це - Сара Висоцкі.
-
3:35 - 3:37Її звільнили, разом із
205 іншими вчителями, -
3:37 - 3:40зі шкільного району м.Вашингтон
в окрузі Колумбія, -
3:40 - 3:43хоча вона мала прекрасні рекомендації
від її директора -
3:43 - 3:44та батьків її дітей.
-
3:45 - 3:47Я знаю, про що зараз думає
багато із вас, -
3:47 - 3:50зокрема фахівці з обробки даних
і штучного інтелекту. -
3:50 - 3:54Ви думаєте: "Ну, я б ніколи не створив
алгоритм з такими протиріччями". -
3:55 - 3:57Але алгоритми можуть піти не за планом,
-
3:57 - 4:01навіть мати надзвичайно нищівні наслідки,
незважаючи на добрі наміри. -
4:03 - 4:05В той час, як літак,
що був погано спроектований, -
4:05 - 4:07врізається у землю, і всі це бачать,
-
4:07 - 4:09алгоритм, що був погано розроблений,
-
4:10 - 4:14може довго функціонувати
і тихенько завдавати шкоди. -
4:16 - 4:17Це - Роджер Ейлс.
-
4:17 - 4:19(Сміх)
-
4:21 - 4:23Він заснував Fox News у 1996 р.
-
4:23 - 4:26Понад 20 жінок поскаржилися
на сексуальні домагання. -
4:26 - 4:29Вони казали, що їм не дозволяли
досягати успіхів у Fox News. -
4:29 - 4:32Минулого року його вигнали,
але ми нещодавно побачили, -
4:32 - 4:35що проблеми все одно існують.
-
4:36 - 4:37Виникає питання:
-
4:37 - 4:40що повинна зробити Fox News,
щоб почати нову сторінку? -
4:41 - 4:44А якщо б вони замість свого процесу
найму працівників вживали -
4:44 - 4:46алгоритм машинного навчання?
-
4:46 - 4:48Непогана ідея, правда?
-
4:48 - 4:49Подумайте про це.
-
4:49 - 4:51Дані, які в нас були б дані?
-
4:51 - 4:56Резонно розглянути відгуки на вакансії
у Fox News за останній 21 рік. -
4:56 - 4:58Резонно.
-
4:58 - 4:59А як ми визначимо успіх?
-
5:00 - 5:01Резонно було б обрати,
-
5:01 - 5:03ну, хто є успішним у Fox News?
-
5:03 - 5:07Скажімо, та людина,
що пробула там чотири роки, -
5:07 - 5:08і яка хоч раз отримала підвищення.
-
5:09 - 5:10Резонне визначення.
-
5:10 - 5:13А потім ми б навчали алгоритм.
-
5:13 - 5:17Його б навчали шукати людей, вивчати,
що призвело до успіху, -
5:17 - 5:22якого роду відгуки про вакансії
призводили до успіху -
5:22 - 5:23за цим визначенням.
-
5:24 - 5:26Подумайте, що сталося би
по відношенню -
5:26 - 5:29до теперішнього
банку даних про кандидатів. -
5:29 - 5:31Алгоритм відфільтрував би жінок,
-
5:32 - 5:36бо вони не виглядають, як люди,
що були успішними у минулому. -
5:40 - 5:42Алгоритми не забезпечують справедливість,
-
5:42 - 5:45якщо ви застосовуєте алгоритми
безтурботно і всліпу. -
5:45 - 5:47Це не гарантія справедливості.
-
5:47 - 5:49Вони повторюють наші минулі
методики роботи, -
5:49 - 5:50наші шаблони.
-
5:50 - 5:52Вони автоматизують статус-кво.
-
5:53 - 5:55Як було б добре, якщо б
ми жили в ідеальному світі, -
5:56 - 5:57але ми в ньому не живемо.
-
5:57 - 6:01Додам, що більшість компаній не має
прикрих правових спорів, -
6:02 - 6:05але науковцям з даних у тих компаніях
-
6:05 - 6:07кажуть слідкувати за даними,
-
6:07 - 6:09концентруватися на точності.
-
6:10 - 6:12Подумайте, що це означає.
-
6:12 - 6:16Оскільки усі ми маємо упередження,
вони можуть кодувати сексизм -
6:16 - 6:18чи інший вид нетерпимості.
-
6:19 - 6:21Інтелектуальний експеримент,
-
6:21 - 6:22бо вони мені подобаються:
-
6:24 - 6:27повністю сегреговане суспільство -
-
6:28 - 6:32расова сегрегація в усіх містах,
усіх кварталах, -
6:32 - 6:35і поліцію посилають лиш до
кварталів, де проживає меншість, -
6:35 - 6:36щоб шукати там злочинців.
-
6:36 - 6:39Дані про арешти були б дуже упередженими.
-
6:40 - 6:42А якщо, окрім того,
ми знайшли б науковців з даних -
6:42 - 6:47і платили б науковцям за передбачення,
де буде скоєно наступний злочин? -
6:47 - 6:49У кварталі, де проживає меншість.
-
6:49 - 6:52Чи передбачити, хто буде
наступним злочинцем? -
6:53 - 6:54Людина з меншості.
-
6:56 - 6:59Науковці хвалилися б про те,
наскільки чудовою і точною -
7:00 - 7:01є їх модель,
-
7:01 - 7:02і вони були б праві.
-
7:04 - 7:09В реальному житті немає таких крайнощів,
але ми маємо суттєву сегрегацію -
7:09 - 7:10у великих і малих містах,
-
7:10 - 7:12і маємо досить доказів
-
7:12 - 7:15щодо упередженості поліції
і судової системи. -
7:16 - 7:18І ми справді передбачаємо гарячі точки,
-
7:18 - 7:20місця, де буде скоєно злочини.
-
7:20 - 7:24І це факт, що ми передбачаємо
індивідуальні злочинні дії, -
7:24 - 7:26злочинність окремих людей.
-
7:27 - 7:31Інформагентство ProPublica нещодавно
провело розслідування щодо -
7:31 - 7:33одного з алгоритмів
"ризику рецидивізму", -
7:33 - 7:34так вони називаються,
-
7:34 - 7:37що використовують судді у Флориді,
коли виносять вирок. -
7:38 - 7:42Бернард, зліва, темношкірий,
отримав рейтинг 10 з 10. -
7:43 - 7:45Ділан, справа, 3 з 10.
-
7:45 - 7:4810 з 10, високий ризик.
3 з 10, низький ризик. -
7:49 - 7:51Їх обох заарештували за
зберігання наркотиків. -
7:51 - 7:52В них кримінальне минуле,
-
7:52 - 7:55але Ділан скоїв тяжкий злочин,
-
7:55 - 7:56а Бернард - ні.
-
7:58 - 8:01Це має значення, бо
чим вищий в тебе ризик, -
8:01 - 8:04тим ймовірніше, що ти отримаєш
довший термін покарання. -
8:06 - 8:08Що ж відбувається?
-
8:09 - 8:10Відмивання даних.
-
8:11 - 8:15Це процес, коли технологи ховають
неприємну правду -
8:15 - 8:17всередині алгоритмів типу "чорний ящик"
-
8:17 - 8:19і називають їх об'єктивними;
-
8:19 - 8:21називають їх меритократичними.
-
8:23 - 8:26Коли ці алгоритми секретні,
важливі та нищівні, -
8:26 - 8:28я створила для них термін:
-
8:28 - 8:30"зброя математичного знищення".
-
8:30 - 8:32(Сміх)
-
8:32 - 8:35(Оплески)
-
8:35 - 8:37Вони повсюди,
і це не помилково. -
8:38 - 8:41Це приватні компанії,
що будують приватні алгоритми -
8:41 - 8:43для приватного зиску.
-
8:43 - 8:46Навіть приклади, що я навела,
для вчителів і державної поліції, -
8:46 - 8:48приватні компанії побудували їх
-
8:48 - 8:51і продали державним установам.
-
8:51 - 8:52Вони кажуть, що це їх
"секретний соус", -
8:52 - 8:55тому вони не можуть
розповісти нам про нього. -
8:55 - 8:57Це також вплив приватних інтересів.
-
8:58 - 9:03Вони отримують зиск, маючи владу
над незбагненним. -
9:05 - 9:08Позаяк це все приватні компанії,
ви можете припустити, -
9:08 - 9:09що існує конкуренція,
-
9:09 - 9:12можливо, вільний ринок
вирішить цю проблему. -
9:12 - 9:13Ні, не вирішить.
-
9:13 - 9:16На несправедливості можна заробити
чимало грошей. -
9:17 - 9:20До того ж, ми не є
економічними раціональними агентами. -
9:21 - 9:22У нас у всіх є упередження.
-
9:23 - 9:26Ми всі до певної міри нетерпимі расисти,
хоч нам це і не подобається, -
9:26 - 9:28ми самі не знаємо, до якої міри.
-
9:29 - 9:32Однак ми знаємо, що так
загалом і є, -
9:32 - 9:36бо соціологи систематично
демонструють це -
9:36 - 9:37у експериментах, що вони проводять,
-
9:37 - 9:40коли вони надсилають низку
відгуків на вакансії, -
9:40 - 9:42однакові кваліфікації, але у деяких
"білі" імена, -
9:43 - 9:44а в інших імена, як у темношкірих,
-
9:44 - 9:47і результати завжди невтішні,
завжди. -
9:48 - 9:49Отже, ми маємо упередження,
-
9:49 - 9:53і ми вбудовуємо ці упередження
в алгоритми, -
9:53 - 9:55обираючи, які дани потрібно збирати,
-
9:55 - 9:57так само, як я вирішила
не думати про локшину рамен - -
9:57 - 9:59я вирішила, що це малозначуще.
-
9:59 - 10:05Але коли ми довіряємо даним,
що вловлюють практику, що склалася, -
10:05 - 10:07і обираємо визначення успіху,
-
10:07 - 10:11як ми можемо очікувати, що алгоритми
будуть без несправностей? -
10:11 - 10:13Не можемо. Ми повинні перевіряти їх.
-
10:14 - 10:16Перевіряти їх на справедливість.
-
10:16 - 10:19На щастя, ми можемо
перевіряти їх на справедливість. -
10:19 - 10:22Алгоритми можна розпитувати,
-
10:22 - 10:24і вони щоразу казатимуть
нам правду. -
10:24 - 10:27І ми можемо виправити їх.
Ми можемо покращити їх. -
10:27 - 10:29Я називаю це "алгоритмічним аудитом",
-
10:29 - 10:31і я вам зараз його поясню.
-
10:31 - 10:33По-перше, перевірка цілісності даних.
-
10:34 - 10:37Повертаючись до алгоритму
риску рецидивізму, -
10:38 - 10:41перевірка цілісності даних означала б,
що нам довелося б змиритися із фактом, -
10:41 - 10:45що у США білі і темношкірі
обкурені однаково, -
10:45 - 10:47однак темношкірих заарештовують
набагато частіше - -
10:47 - 10:50у чотири-п'ять разів частіше,
залежно від району. -
10:51 - 10:54Як ця упередженість виглядає
в інших кримінальних категоріях, -
10:54 - 10:56і як ми приймаємо її до уваги?
-
10:56 - 10:59По-друге, нам слід подумати про
визначення успіху, -
10:59 - 11:01проводити аудит визначення.
-
11:01 - 11:03Пригадуєте алгоритм
щодо прийняття на роботу? -
11:03 - 11:07Той, хто утримується на роботі чотири роки
і раз отримує підвищення? -
11:07 - 11:08Ну так, це успішний працівник,
-
11:08 - 11:11але це також працівник, котрого підтримує
організаційна культура. -
11:12 - 11:14Однак і тут може бути
багато упередження. -
11:14 - 11:16Нам треба розрізняти тих дві речі.
-
11:16 - 11:19Давайте брати приклад
з прослуховування всліпу -
11:19 - 11:20на роль в окрестрі,
-
11:20 - 11:23Це коли люди на прослуховуванні
є за листом паперу. -
11:23 - 11:25На чому я хочу тут зосередитись:
-
11:25 - 11:28люди, котрі прослуховують кандидатів,
вирішили, що важливе, -
11:28 - 11:30і вирішили, що неважливе,
-
11:30 - 11:32і їх це не відволікає.
-
11:33 - 11:36Коли розпочалися прослуховування вліпу,
-
11:36 - 11:39кількість жінок в оркестрах
зросла у п'ять разів. -
11:40 - 11:42Потім нам потрібно розглянути точність.
-
11:43 - 11:47Ось тут модель з розширеними функціями
для вчителів одразу б провалилася. -
11:48 - 11:50Звісно, що не існує ідеальних алгоритмів,
-
11:51 - 11:54тому нам треба приймати до уваги помилки
у кожному алгоритмі. -
11:55 - 11:59Як часто там трапляються помилки,
і кого підведе ця модель? -
12:00 - 12:02Якою є ціна цього провалу?
-
12:02 - 12:05І наприкінці, нам потрібно
прийняти до уваги -
12:06 - 12:08довготермінові ефекти алгоритмів,
-
12:09 - 12:11ланцюги зворотного зв'язку, що виникають.
-
12:12 - 12:13Звучить абстрактно,
-
12:13 - 12:16але уявіть, якщо інженери Facebook
прийняли б це до уваги, -
12:16 - 12:21перш ніж вони вирішили показувати нам
лише те, що постять наші друзі. -
12:22 - 12:25В мене є ще дві думки, що я хочу донести,
одна для науковців з даних. -
12:25 - 12:29Науковці з даних: нам не слід бути
арбітрами правди. -
12:30 - 12:33Нам слід бути перекладачами
етичних дискусій, що відбуваються -
12:33 - 12:35у ширшому суспільстві.
-
12:36 - 12:38(Оплески)
-
12:38 - 12:39А щодо решти з вас,
-
12:40 - 12:41не-науковців з даних:
-
12:41 - 12:43це не тест з математики.
-
12:44 - 12:45Це політична боротьба.
-
12:47 - 12:50Ми повинні вимагати підзвітності
від наших алгоритмічних можновладців. -
12:52 - 12:54(Оплески)
-
12:54 - 12:58Епоха сліпої віри у великі дані
має підійти до кінця. -
12:58 - 12:59Дуже вам дякую.
-
12:59 - 13:04(Оплески)
- Title:
- Епоха сліпої віри у великі дані має підійти до кінця
- Speaker:
- Кеті О'Ніл
- Description:
-
Алгоритми вирішують, хто отримає позику, хто отримає співбесіду на роботу, хто отримає страхування та багато чого іншого - але вони автоматично не забезпечують справедливість. Математик і науковець з даних Кеті О'Ніл створила термін, що описує секретні, важливі та шкідливі алгоритми: "зброя математичного знищення". Дізнайтеся більше про наміри, що приховані за формулами.
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 13:18
Khrystyna Romashko approved Ukrainian subtitles for The era of blind faith in big data must end | ||
Khrystyna Romashko accepted Ukrainian subtitles for The era of blind faith in big data must end | ||
Khrystyna Romashko edited Ukrainian subtitles for The era of blind faith in big data must end | ||
Khrystyna Romashko edited Ukrainian subtitles for The era of blind faith in big data must end | ||
Khrystyna Romashko edited Ukrainian subtitles for The era of blind faith in big data must end | ||
Tanya Avramenko edited Ukrainian subtitles for The era of blind faith in big data must end | ||
Tanya Avramenko edited Ukrainian subtitles for The era of blind faith in big data must end | ||
Tanya Avramenko edited Ukrainian subtitles for The era of blind faith in big data must end |