Искусственный интеллект усиливает важность человеческой этики

Искусственный интеллект уже здесь, и мы уже используем его для принятия субъективных решений. Сложность системы ИИ продолжает увеличиваться, что делает его трудным для понимания и контроля. В этой предостерегающей лекции техно-социолог Зейнеп Тюфекчи объясняет, как умные машины могут совершать ошибки, не соответствующие человеческим, поэтому мы не ожидаем их и мы не готовы к ним. «Мы не можем передать свои обязанности машинам», — говорит она. «Мы должны крепче держаться человеческих ценностей и этики».

Я начала работать программистом

в первый год учёбы в колледже,

практически подростком.

Вскоре после того, как я начала работать —

писать программное обеспечение,

один из работающих в компании
менеджеров подошёл ко мне

и прошептал:

«Он понимает, когда я вру?»

В комнате никого больше не было.

«Кто он? И почему ты шепчешь?»

Менеджер указал на компьютер.

«Он может понять, когда я вру?»

Кстати, у этого менеджера
был роман с секретаршей.

(Смех)

А а была ещё подростком.

Поэтому я шёпотом крикнула ему:

«Да, компьютер может понять,
когда вы лжёте».

(Смех)

Я пошутила, но оказалось,
что это была не шутка.

Теперь существуют вычислительные системы,

которые могут определить ваше
эмоциональное состояние и даже ложь,

обрабатывая выражения человеческих лиц.

Рекламодатели и правительства
очень заинтересованы.

Я стала программистом,

потому что я была одержимым
математикой и наукой ребёнком.

Но в какой-то момент я узнала
о существовании ядерного оружия

и всерьёз задумалась о научной этике.

Меня это беспокоило.

Однако из-за семейных обстоятельств

мне пришлось начать
работать как можно скорее.

Так что я подумала: «Эй, мне просто
надо выбрать техническую область,

где я смогу легко получить работу,

и где мне не придётся иметь
дело со сложными этическими вопросами».

Так что я выбрала компьютеры.

(Смех)

Ха, ха, ха! Все смеются надо мной.

В наши дни компьютерные
учёные создают платформы,

которые контролируют то,
что миллиард человек видит каждый день.

Они разрабатывают автомобили,
которые могли бы решить, кого задавить.

Они даже разрабатывают машины и оружие,

которые могут убивать людей на войне.

Здесь вопросы этики повсюду.

Искусственный интеллект уже здесь.

Мы уже используем вычислительную
технику для принятия каких угодно решений,

и даже для создания новых решений.

Мы задаём компьютерам вопросы,
на которые нет единого правильного ответа:

субъективные вопросы,

открытые и вопросы оценочного характера.

Мы задавали такие вопросы, как:

«Кого стоит нанять в компанию?»

«Какое обновление и от какого
друга мы должны видеть?»

«Кто из осуждённых
скорее всего станет рецидивистом?»

«Какие новости или фильмы
рекомендовать людям?»

Да, мы используем компьютеры
уже продолжительное время,

но это совсем другое.

Это исторический поворот,

потому что базис для вычисления
принятия субъективных решений,

отличается от того, что используется для
сборки самолётов, строительства мостов

или полётов на Луну.

Самолёты стали безопаснее?
Мосты больше не падают?

Здесь у нас есть
достаточно чёткие критерии

и законы природы,
на которые мы можем положиться.

Но нет чётких критериев

для принятия решений
в запутанных людских делах.

Ещё больше усложняет задачу
программное обеспечение,

становящееся менее прозрачным
и более сложным и мощным.

За последнее десятилетие

развитие сложных алгоритмов
достигло больших успехов.

Они могут распознавать человеческие лица.

Они могут расшифровывать почерк.

Выявить мошенничество
с кредитными картами

или блокировать спам,

они могут переводить с других языков.

Они могут выявлять опухоли
в рентгенографии.

Они могут обыгрывать нас в шахматы и в Го.

Большáя часть этого прогресса достигнута
с помощью «машинного обучения».

Машинное обучение отличается
от традиционного программирования,

где вы даёте компьютеру подробные,
точные, чёткие инструкции.

Это больше похоже, как будто мы
скармливаем компьютеру много данных,

в том числе бессистемных данных,

как те, что мы создаём
в нашей цифровой жизни.

И система сама учится
систематизировать эти данные.

Особенно важно то,

что эти системы не работают
по логике поиска единого ответа.

Они не дают однозначного ответа,
они основаны на вероятности:

«Этот ответ, вероятно,
похож на то, что вы ищете».

Плюс этого метода в том,
что он очень перспективный.

Глава систем ИИ Google назвал его

«нерационально высокая
эффективность данных».

Минус в том,

что мы не знаем,
что именно система выучила.

В этом мощь системы.

Это не похоже на то,
как давать указания компьютеру;

это больше похоже
на обучение машины-щенка,

которого мы не понимаем и не контролируем.

В этом наша проблема.

Плохо, когда система искусственного
интеллекта понимает что-то неправильно.

И также плохо, когда система
понимает что-то правильно,

потому что мы не знаем, что есть что,
когда дело касается субъективой проблемы.

Мы не знаем, о чём эта штука думает.

Рассмотрим алгоритм приёма на работу —

система для найма людей
с использованием машинного обучения.

Такая система будет обучаться
по данным о предыдущих сотрудниках

и будет искать и нанимать людей,

похожих на нынешних самых эффективных
сотрудников компании.

Звучит хорошо.

Однажды я была на конференции

для руководителей, менеджеров по персоналу

и топ-менеджеров,

использующих такую систему найма.

Все были очень воодушевлены.

Они думали, что это сделает процесс
найма более объективным, менее предвзятым,

даст женщинам и меньшинствам
больше шансов

в отличие от предвзято
настроенных менеджеров.

Найм сотрудников построен на предвзятости.

Я знаю.

На одной из моих первых работ
в качестве программиста

моя непосредственная начальница
иногда подходила ко мне

очень рано утром или очень поздно днём

и говорила: «Зейнеп, пойдём обедать!»

Я была озадачена странным выбором времени.

Обед в 4 часа дня?

Бесплатный ланч; денег у меня нет.
Я всегда ходила.

Позже я поняла, что происходит.

Мои непосредственные руководители
не признались вышестоящему руководству,

что программист, которого они наняли
на серьёзный проект — девушка подросток,

которая ходит на работу
в джинсах и кроссовках.

Я хорошо выполняла работу,
я просто выглядела неподобающе,

была неправильного возраста и пола.

Так что найм без учёта пола и расы,

конечно, звучит для меня
как хорошая идея.

Но с этими системами
всё сложнее, и вот почему:

Сейчас вычислительные системы
могут узнать всю информацию о вас

по крошкам, что вы оставляете
в цифровом виде,

даже если вы не разглашаете
такую информацию.

Они могут вычислить
вашу сексуальную ориентацию,

ваши черты характера,

ваши политические пристрастия.

Они могут составлять прогнозы
с высоким уровнем точности.

Помните, даже для информации,
которую вы даже не разглашаете.

Это предположения.

У меня есть подруга, которая
разрабатывает такие системы

для прогнозирования вероятности
клинической или послеродовой депрессии

по данным из социальных сетей.

Результаты впечатляют.

Её система может предсказать
вероятность депрессии

до появления каких-либо симптомов —

за несколько месяцев.

Симптомов нет, а прогноз есть.

Она надеется, что программа будет
использоваться для профилактики. Отлично!

Теперь представьте это в контексте найма.

На той конференции
для управляющих персоналом

я подошла к менеджеру высокого уровня
в очень крупной компании,

и спросила её:
«Что, если система без вашего ведома,

начнёт отсеивать людей
с высокой вероятностью будущей депрессии?

Сейчас у них нет депрессии,
но в будущем вероятность высока.

Что, если система начнёт отсеивать женщин,
чья вероятность забеременеть

через год или два выше,
но они не беременны сейчас?

Если начнёт нанимать агрессивных людей,
потому что это норма для вашей компании?

Этого не определить, глядя
на процентное соотношение полов.

Эти показатели могут быть в норме.

Так как это машинное обучение,
а не традиционное программирование,

тут нет переменной
«более высокий риск депрессии»,

«высокий риск беременности»,

или «агрессивный парень».

Мало того, что вы не знаете,
как ваша система делает выводы,

вы даже не знаете, откуда что берётся.

Это чёрный ящик.

Он может прогнозировать,
но мы не понимаем принцип его работы.

Я спросила:
«Какие у вас меры предосторожности,

чтобы убедиться, что чёрный ящик
не делает ничего сомнительного?»

Она посмотрела на меня, как будто я
только что отдавила хвосты 10 щенкам.

(Смех)

Она посмотрела на меня и сказала:

«Я не хочу слышать ни слова об этом».

Она повернулась и пошла прочь.

Имейте в виду — она не грубила мне.

Позиция очевидна: то, что я не знаю —
не моя проблема, отвяжись, стрелы из глаз.

(Смех)

Такая система
может быть менее предвзятой,

чем сами менеджеры в каком-то смысле.

В этом может быть финансовая выгода.

Но это также может привести

к неуклонному и скрытому
выдавливанию с рынка труда

людей с более высоким
риском развития депрессии.

Мы хотим построить такое общество,

даже не осознавая, что мы делаем,

потому что отдали право принятия решений
машинам, которых до конца не понимаем?

Следующая проблема:

эти системы часто обучаются на данных,
произведённых нашими действиями —

человеческим поведением.

Возможно, они просто
отражают наши предубеждения,

и эти системы могут
собирать наши пристрастия

и усиливать их,

показывая нам их вновь,

а мы говорим себе:

«Мы просто проводим объективные,
непредвзятые вычисления».

Исследователи обнаружили что в Google

женщины реже, чем мужчины, видят
объявления о высокооплачиваемой работе.

Набирая в поисковике
афро-американские имена,

вероятность увидеть объявления
криминального характера будет выше,

даже там, где криминала нет.

Скрытая необъективность
и алгоритмы чёрного ящика,

которые исследователи
иногда выявляют, а иногда нет,

могут иметь далеко идущие последствия.

В Висконсине подсудимый был приговорён
к шести годам лишения свободы

за уклонение от полиции.

Может, вы не знаете,

но эти алгоритмы всё чаще используются
в вынесении приговоров.

Он хотел узнать,
как всё это рассчитывается?

Это коммерческий чёрный ящик.

Компания отказалась обсуждать
свой алгоритм на открытом заседании суда.

Но следственная некоммерческая организация
ProPublica проверила алгоритм,

используя данные из Интернета,

и обнаружила,
что результаты необъективны,

способность прогнозирования ужасная,
немного лучше, чем случайность.

Система классифицирует чернокожих
обвиняемых как будущих преступников

в два раза чаще, чем белых обвиняемых.

Рассмотрим следующий случай:

Эта девушка опаздывала, чтобы забрать
свою крёстную сестру

из школы в округе Броуард, штат Флорида.

Они с подругой бежали по улице.

Тут они заметили незапертые
велосипед и скутер на крыльце

и по глупости взяли их.

Когда они отъезжали,
вышла женщина и крикнула:

«Эй! Это велосипед моего ребёнка!»

Они его бросили и ушли,
но их арестовали.

Она была не права, она сглупила,
но ей было всего 18 лет.

У неё была пара
малолетних правонарушений.

В то же время этот мужчина был
арестован за кражу в магазине Home Depot,

примерно на сумму 85 долларов —
такое же мелкое преступление.

Но у него за спиной было
две судимости за вооружённый грабеж.

Алгоритм посчитал,
что её показатель риска выше, чем его.

Спустя пару лет ProPublica выяснили,
что она больше не совершала преступлений.

Но зато ей было сложно найти
работу, имея судимость.

Тогда как этот мужчина стал рецидивистом,

и в настоящее время отбывает восьмилетний
срок за своё последнее преступление.

Очевидно, мы должны проверять
наши чёрные ящики,

чтобы они не получили
бесконтрольную власть.

(Аплодисменты)

Проверка и контроль важны,
но они не решают всех проблем.

Вспомните мощный алгоритм
ленты новостей на Facebook —

знаете, тот, который оценивает всё
и решает, что именно вам показывать

от ваших друзей и до страниц,
на которые вы подписаны.

Показать вам ещё одну картинку младенца?

(Смех)

Грустный комментарий от знакомого?

Важную, но непростую новость?

Тут нет единого ответа.

Facebook оптимизирует
вашу деятельность на сайте:

лайки, ссылки, комментарии.

В августе 2014 года

в Фергюсоне, штат Миссури
вспыхнули протесты

после того, как белый полицейский
убил афро-американского подростка

при невыясненных обстоятельствах.

Новости о протестах заполонили

мой алгоритмически
нефильтрованный Twitter,

но в моём Facebook их не было.

Может, это из-за моих друзей в Facebook?

Я отключила алгоритм Facebook,

что было сложно, так как Facebook хочет,

чтобы вы были под контролем алгоритма.

Я увидела, что мои друзья
обсуждали эту тему.

Просто алгоритм не показывал это мне.

Я изучила этот вопрос и выяснила,
что это распространённая проблема.

Новость про Фергюсон
была неудобна для алгоритма.

Эта новость не наберёт лайки.

Кто будет лайкать это?

Это даже сложно комментировать.

Без лайков и комментариев

алгоритм, вероятно, показывал
новость ещё меньшему кругу людей,

поэтому мы не видели это.

Вместо этого на той же неделе

алгоритм Facebook выделил это —

кампания «испытание ведром ледяной воды».

Важное дело: выливаем ведро со льдом,
жертвуем на благотворительность — супер.

Это было очень удобно для алгоритма.

Машина решила за нас.

Очень важный, но трудный разговор,

возможно, был бы замят,

будь Facebook единственным каналом.

Наконец, эти системы могут делать ошибки,

которые не похожи на ошибки людей.

Помните Уотсона,
искусственный интеллект IBM,

который разгромил соперников-людей
на телевикторине Jeopardy?

Он был отличным игроком.

Тогда, во время финала игры
Уотсону задали вопрос:

«Его крупнейший аэропорт назван
в честь героя Второй мировой войны,

а второй — в честь битвы
Второй мировой войны».

(Музыка Final Jeopardy)

Чикаго.

Два человека ответили правильно.

Уотсон ответил «Торонто» —

в категории городов США!

Мощнейшая система сделала ошибку,

которую человек никогда бы не сделал,
даже второклассник бы не ошибся.

Искусственный интеллект
может ошибиться там,

где человек не допустит ошибку,

там, где мы не ожидаем
ошибку и не готовы к ней.

Жалко не получить работу тому,
кто для неё подходит,

но ещё хуже, если это произошло
из-за переполнения стека

в какой-то подпрограмме.

(Смех)

В мае 2010 года

произошёл обвал рынка Уолл-стрит
по вине метода передачи данных

в алгоритме Уолл-стрит «сбыт»,

что снизило стоимость бумаг
на триллион долларов на 36 минут.

Даже подумать страшно, какие
последствия может иметь «ошибка»

в контексте автономного летального оружия.

У людей всегда предвзятый взгляд на вещи.

Лица, принимающие решения, и контролёры;

в судах, в новостях, на войне ...

люди совершают ошибки —
именно это я и имею в виду.

Мы не можем избежать сложных вопросов.

Мы не можем переложить
свои обязанности на машины.

(Аплодисменты)

Искусственный интеллект не даёт нам
права переложить вопросы этики на машину.

Эксперт по данным Фред Бененсон
называет это «математической чисткой».

Нам нужно совсем другое.

Нам необходимы пристальное внимание,
контроль и оценка алгоритмов.

У нас должна быть
алгоритмическая отчётность,

проверка и достаточная прозрачность.

Мы должны признать, что, добавив
математику и вычисления

к запутанным человеческим делам,

мы не получим объективности;

скорее, сложность человеческих
отношений вторгнется в алгоритмы.

Да, мы можем, и мы должны
использовать вычисления

для поиска лучших решений.

Мы также должны нести моральную
ответственность и принимать решения,

успользуя алгоритмы в этих рамках,

а не как средство отказа от обязательств,
чтобы передать наши обязанности

друг другу, как один человек другому.

Искусственный интеллект уже здесь.

Это значит, что мы должны
ещё больше придерживаться

человеческих ценностей и этики.

Спасибо.

(Аплодисменты)