Отже, я почала працювати
програмісткою,

коли навчалась на першому курсі коледжу

і була, по суті, ще тінейджеркою.

Після того, як я почала працювати,

пишучи програмне забезпечення,

менеджер, який теж там працював,
підійшов до мене

і прошепотів:

"Чи може він сказати, що я брешу?"

У кабінеті крім нас нікого не було.

"Хто може сказати, що ти брешеш?
І чому ми говоримо пошепки?"

Менеджер показав пальцем 
на комп'ютер.

"Чи може він сказати, що я брешу?"

Річ у тім, що в мого колеги був 
роман із секретаркою.

(Сміх)

А я все ще була тінейджеркою.

Тому голосно прошепотіла:

"Так, комп'ютер може сказати,
що ти брешеш".

(Сміх)

Ну, я сміялась, але насправді
сміялась над собою.

Сьогодні існують комп'ютерні системи,

які можуть розпізнати емоції
і навіть брехню,

опрацювавши обличчя людини.

Рекламодавці і навіть влада
в цьому дуже зацікавлені.

Я стала програмісткою,

тому, що була однією з тих дітей,
які шаленіли від точних наук.

Але десь у процесі я дізналась
про ядерну зброю,

і мене справді схвилювало 
питання наукової етики.

Я була стривожена.

Однак через сімейні обставини

мені також треба було 
почати працювати якнайшвидше.

Тому я подумала: "Ей, обирай
технічну сферу,

де можна легко знайти роботу

і де не треба мати справу з 
болісними етичними проблемами".

Тому я обрала комп'ютери.

(Сміх)

Ха-ха-ха!
Всі наді мною сміялися.

Сьогодні програмісти будують платформи,

які регулюють те, що мільйони людей
щодня бачать.

Вони удосконалюють автомобілі,
які можуть вирішити, кого переїхати.

Вони навіть конструюють машини і зброю,

які можуть вбивати людей на війні.

Це все одно проблема моралі.

Це машинний інтелект.

Сьогодні ми використовуємо комп'ютеризацію,
щоб ухвалювати будь-які рішення,

а також для нових рішень.

Ми ставимо запитання машинам,
які не мають чітких правильних відповідей,

суб'єктивних,

відкритих і заснованих
на ідеях цінностей.

Ми ставимо запитання на кшталт:

"Кого компанії варто найняти?"

"Новини якого друга потрібно показати?"

"Який злочинець може
знову порушити закон?"

"Яку новину або фільм
слід рекомендувати людям?"

Так, ми постійно 
використовували комп'ютери,

але це інше.

Це історичний поворот,

адже не можна передати комп'ютерам
відповідальність за такі суб'єктивні рішення,

так як передаємо за управління літаками,
будування мостів,

польоти на Місяць.

Хіба літаки безпечніші?
Мости не хиталися і не падали?

У нас є загальноприйняті, 
цілком зрозумілі критерії порівняння,

і є закони природи, які нами керують.

У нас немає таких підстав та критеріїв,

щоб ухвалювати рішення стосовно
брудних людських справ.

Програмне забезпечення стає потужнішим,
щоб зробити деякі речі складнішими,

але водночас стає прозорішим 
і заплутанішим.

За останніх десять років

заплутані алгоритми досягли
великого успіху.

Вони можуть розпізнавати обличчя людей.

Можуть розшифрувати почерк.

Можуть знайти кредитних шахраїв,

блокувати спам,

перекладати з мови на мову.

Вони можуть виявити пухлини на рентгені.

Обіграти людей в шахи чи "Ґо".

Велика частина цього прогресу
прийшла з методу "машинного навчання".

Машинне навчання відрізняється від 
традиційного програмування,

коли ви даєте комп'ютеру детальні,
точні, досконалі інструкції.

Це більше схоже на те, коли ви берете
систему і наповнюєте її інформацією,

зокрема неструктурованою,

схожою на ту, що ми генеруємо
у цифровому житті.

І система вчиться на обробці 
цієї інформації.

Також важливо,

що системи не виконують завдання, пов'язані
із необхідністю знайти єдину відповідь.

Вони не дають просту відповідь,
виходячи з теорії імовірностей.

"Ось щось схоже на те,
що ви шукаєте".

Тепер позитивний аспект:
цей метод справді потужний.

Директор Google's AI systems називає його

"ірраціональною ефективністю даних".

Мінусом є те,

що ми насправді не розуміємо,
про що дізнається система.

Насправді, в цьому сила системи.

Це не схоже на ситуацію, коли
ми даємо комп'ютеру інструкції,

а, скоріше, на формування
маленької машинної істоти,

яку ми насправді не розуміємо і 
не контролюємо.

Тому це наша проблема.

Проблемно, коли система штучного 
інтелекту засвоює інформацію неправильно.

Також проблемно, коли вона засвоює
інформацію правильно,

тому що ми не знаємо, хто є хто,
коли це суб'єктивна проблема.

Ми не знаємо, про що ця річ думає.

Розглянемо алгоритм найму на роботу -

система, яку застосовують для найму людей,
використовує системи машинного навчання.

Така система підготовлена
на даних попередніх працівників

і навчена шукати і наймати

людей, подібних до найкращих
працівників компанії.

Звучить добре.

Одного разу я відвідала конференцію,

яку проводили керівники відділів кадрів
та члени правління,

люди на високих посадах,

які використовують такі системи.

Вони були в захопленні.

Вони думали, що це зробить прийом на
роботу більш об'єктивним, менш упередженим,

і дасть жінкам і представникам меншин
більше шансів,

ніж упереджені менеджери.

Найм людей на роботу - 
справа упереджена.

Я знаю.

На одній із перших компаній,
де я програмувала,

моя безпосередня керівничка 
деколи підходила до мене

рано-вранці або пізно ввечері,

і казала: "Зейнеп, ідемо обідати!"

Я була здивована дивним вибором часу.

16:00. Обід?

Ці сумнівні обіди мене ледь не розорили.
Але я завжди йшла.

Пізніше я усвідомила, що відбувалося.

Мої безпосередні начальники не могли
зізнатися вищому керівництву,

що найняли для серйозної роботи 
дівчинку-підлітка,

яка на роботу ходить у джинсах і кедах.

Я добре працювала, 
але виглядала неправильно

і була неправильного віку і статі.

Тому найм без врахування статі і раси

безсумнівно мені підходив.

Але з такими системами цей процес 
ще заплутаніший, і ось чому:

останнім часом комп'ютерні системи можуть
зробити будь-які висновки про вас,

враховуючи цифрові дрібниці,

навіть якщо ви про ці висновки
не підозрюєте.

Вони можуть робити висновки про 
сексуальну орієнтацію,

персональні якості,

політичні погляди.

Вони можуть передбачати
з високим рівнем точності.

Пам'ятайте - речі, про які
ви навіть не підозрюєте.

Це припущення.

У мене є подруга, яка удосконалює
такі системи,

щоб передбачити ймовірність
клінічної чи післяпологової депресії,

аналізуючи соціальні мережі.

Результати вражаючі.

ЇЇ система може передбачити
ймовірність депресії

за місяці перед проявом симптомів -

за місяці.

Передбачення без симптомів.

Вона сподівається, що систему застосують
для втручання на ранній стадії. Чудово!

Розгляньте це в контексті найму на роботу.

На конференції керівників кадрових служб

я спілкувалася з топ-менеджеркою
дуже великої компанії

і сказала їй: "А якщо без вашого відома

система видаляє людей з високою
ймовірністю появи депресії?

Наразі вони не пригнічені, але можливо
стануть такими в майбутньому.

Що як вона видаляє жінок, які, 
можливо, завагітніють

за кілька наступних років,
але не вагітні зараз?

Що як вона наймає на роботу агресивних 
людей через корпоративну культуру?"

Ви не можете цього сказати, дивлячись на 
гендерний баланс.

Їх можна врівноважити.

І так як це машинне навчання,
а не традиційне програмування,

немає змінних ярликів на кшталт:
"високий ризик депресії",

"високий ризик вагітності"

чи "шкала агресивності".

Ви не тільки не знаєте, що саме система
візьме до уваги,

ви навіть не знаєте,
де це починати шукати.

Це чорна скринька.

Система має силу передбачення,
але ви її не розумієте.

Я запитала: 
"Які запобіжні заходи у вас є,

щоб упевнитись, що ця чорна скринька
не робить нічого підозрілого?"

Вона подивилась на мене так, ніби
я наступила щеняті на хвіст.

(Сміх)

Пильно подивилася на мене і сказала:

"Я більше не хочу нічого про це чути".

А тоді повернулася і пішла геть.

Зауважте - вона була вихована.

Було зрозуміло: те, чого я не знаю -
не моя проблема. Іди геть; вбивчий погляд.

(Сміх)

Деколи такі системи можуть бути 
менш упереджені,

ніж керівники відділів кадрів.

І це може бути матеріально виправдано.

Але також це може призвести

до постійного і приховуваного виштовхування
з ринку праці

людей з високим ризиком розвитку
депресії.

Це таке суспільство,
яке ми хочемо будувати,

навіть не знаючи, що ми це зробили,

тому що ми доручили ухвалення рішень
машинам, яких повністю не розуміємо.

Є й інша проблема:

часто ці програми базуються на
інформації, пов'язаній з нашими діями,

на людських враженнях.

Вони можуть відображати
наші упередження,

можуть їх засвоїти

і підсилити

і повернути їх проти нас,

тоді як ми кажемо:

"Ми робимо об'єктивний,
нейтральний розрахунок".

Дослідники виявили, що в Google

жінкам рідше пропонують оголошення
про високооплачувану роботу.

І під час пошуку афро-американських імен

частіше з'являються рекламні оголошення
про кримінальні історії,

які навіть не стосуються пошуку.

Такі приховані упередження
і алгоритми "чорної скриньки",

що їх дослідники деколи виявляють,
а деколи ми про них навіть не знаємо,

можуть мати життєвоважливі наслідки.

У Вісконсині підсудний був засуджений
до шести років у в'язниці

за непокору поліції.

Можливо, ви цього не знаєте,

але алгоритми все частіше використовують 
для визначення міри покарання.

Він хотів знати,
як визначили цей показник.

Вигідна "чорна скринька".

Компанію, яка відмовилась від цього 
алгоритму, викликали на судове засідання.

Некомерційна слідча компанія ProPublica
перевірила той самий алгоритм

з публічними даними, які вони могли знайти,

і з'ясувала, що такі висновки
були необ'єктивні,

а здатність передбачення була мізерна,
мало відрізнялася від випадковості

і помилково маркувала чорношкірих
обвинувачуваних, як майбутніх злочинців,

в двічі частіше, ніж білих 
обвинувачуваних.

Розглянемо такий випадок:

ця дівчина трохи запізно приїхала 
забирати свою сестру

зі школи в окрузі Бровард, Флорида,

і бігла по вулиці
зі своїми друзями.

Вони помітили неприщіпнутий на замок 
дитячий велосипед і самокат на терасі

і здуру стрибнули на нього.

Коли вони втікали, вийшла жінка
і сказала:

"Ей! Це велосипед моєї дитини!"

Вони кинули велосипед і втікли,
але їх арештували.

Дівчина вчинила неправильно і нерозважливо,
але ж їй було всього 18.

Вона скоїла декілька 
незначних правопорушень.

Тим часом цього чоловіка арештували за
крадіжку в магазині Home Depot -

він вкрав речей на 85 доларів,
такий же маленький злочин.

Але до цього його двічі засудили
за збройні напади.

Однак алгоритм визначив, що вона 
небезпечніша за нього.

Через два роки ProPublica з'ясувала,
що вона знову порушила закон.

І з такими даними їй було важко
отримати роботу.

З іншого боку, той чоловік 
знову порушив закон

і тепер відбуває восьмирічний термін
за останній злочин.

Нам треба перевірити ці "чорні скриньки"

і не наділяти їх такою
неперевіреною силою.

(Оплески)

Перевірки - це дуже важливо,
але вони не розв'язують всіх наших проблем.

Розглянемо потужний алгоритм
стрічки новин у Фейсбуці -

той, що упорядковує все і вирішує,
що вам показати

з усіх сторінок, на які ви підписані.

Розказати про ще одну "дитячу картину"?

(Сміх)

Сумний пост знайомого?

Важлива, але неприємна новина?

Немає правильної відповіді.

Фейсбук враховує активність на сайті:

лайки, репости, коментарі.

У серпні 2014

почалися протести у місті Ферґюсон,
штат Міссуррі,

після того. як білий поліцейський вбив
афро-американського підлітка

за незрозумілих обставин.

Новини про ці протести заполонили

мою невідфільтровану стрічку
новин у Твіттері,

але їх не було на моєму Фейсбуці.

Справа у моїх друзях на Фейсбуці?

Алгоритм Фейсбука вибив мене з колії,

він складний, тому що Фейсбук підтримує
бажання

знаходитися під контролем алгоритму,

і бачити, що мої друзі говорили про це.

Це саме те, що алгоритм не показав мені.

Я досліджувала цю проблему, і виявилось, що
вона досить поширена.

Історія про Ферґюсон не подобалась
алгоритму.

Її не "лайкали".

Хто вподобає такий запис?

Її навіть непросто прокоментувати.

Без вподобань і коментарів

алгоритм показував цей запис
жменьці людей,

тому ми його не побачили.

Навпаки, того тижня

алгоритм Фейсбука виділяв те,

що називають Ice Bucket Challenge.

Суспільно значуща справа: обливаєш себе 
холодною водою заради благодійності.

Але це дуже подобалось алгоритму.

За нас це рішення прийняла машина.

Дуже важливе, але заплутане обговорення

могло бути придушене,

якби Фейсбук мав лише одну стрічку новин.

Зрештою, ці системи 
можуть помилятися

так, як цього не допустить 
людський ресурс.

Пам'ятаєте систему штучного 
інтелекту Watson,

що витирала підлогу, змагаючись з
людьми на телегрі Jeopardy?

Вона була чудовим гравцем.

Але у фіналі Watson запитали:

"Його найбільший аеропорт назвали
на честь героя Другої світової війни,

а другий за розміром - на честь
битви Другої світової війни".

(Музика з фіналу Jeopardy)

Чикаго.

Дві людини відповіли правильно.

Натомість Watson відповів
"Торонто" -

і це в категорії міст США!

Вражаючі системи також робили помилки,

яких людина ніколи не допустила б,
яких не зробив би навіть другокласник.

Штучний інтелект може провалитися так,

як люди зазвичай не помиляються,

так, як ми не будемо сподіватися
і не будемо до цього готові.

Кепсько не отримати роботу,
до якої підходить твоя кваліфікація,

але ще гірше не отримати її через
переповнення стека

в якійсь програмі.

(Сміх)

У травні 2010

різкий обвал на Волл-Стріт, спричинений
циклом зворотнього зв'язку

в "торговому" алгоритмі,

знищив трильйон доларів
за 36 хвилин.

Я навіть не хочу думати,
що "помилка" означає

в контексті атомної системи
летального озброєння.

Так, люди завжди досить упереджені.

Ті, хто ухвалює рішення і цензори

в судах, у новинах, на війні...

вони помиляються;
але у цьому й річ.

Ми не можемо уникнути цих
заплутаних питань.

Ми не можемо перекладати відповідальність
на машини.

(Оплески)

Штучний інтелект не дає нам
картку "звільнення від моральних норм".

Фахівець з обробки даних Фред Бененсон
називає це математичною чисткою.

Нам треба щось протилежне.

Нам треба удосконалювати підозри,
вивчення і дослідження алгоритмів.

Треба впевнитись, що у нас є
алгоритмічна звітність,

перевірка і повноцінна прозорість.

Треба прийняти те, що залучення
комп'ютерів до безладних

людських справ, заснованих на цінностях,

не гарантують об'єктивності;

алгоритмам, навпаки, передалася 
заплутаність людських справ.

Так, нам можна і треба використовувати
комп'ютери,

щоб ухвалювати кращі рішення.

Але ми маємо підкорятися моральній
відповідальності за вироки суду

і використовувати алгоритми 
максимум як структуру,

а не як засіб відмовитися і перекласти
відповідальність

на когось ще, як людина на людину.

Штучний інтелект тут.

І це означає, що ми мусимо триматись
ще сильніше

за людські цінності і людську мораль.

Дякую.

(Оплески)