Що трапляється, коли наші комп'ютери стають розумнішими за нас?

Штучний інтелект стає розумнішим дуже швидкими темпами - в межах цього століття, як передбачає дослідження, комп'ютерний штучний інтелект може стати "розумнішим" за людську істоту. А тоді, за словами Ніка Бострома, він обійде нас: "Машинний інтелект є останнім винаходом людства, який нам слід було б здійснити". Філософ та інженер Бостром просить нас добряче подумати про світ, який ми зараз будуємо, керуючись мислячими машинами. Чи допоможуть наші розумні машини захистити людство на наші цінності - чи вони матимуть власні цінності?

Я працював із купою математиків, філософів
та інформатиків,

і ми сиділи й думали
про майбутнє машинного інтелекту,

серед іншого.

Дехто вважає, що дещо з цього
щось типу наукової фантастики,

недосяжне, божевільне.

Але я люблю казати:

"Добре, подивімося на те, якою є
сучасна людина".

(Сміх)

Це звичайний стан речей.

Але якщо ми замислимося над цим,

ми, власне, гості на цій планеті,

людський рід.

Задумайтесь, що, якби Землю
було створено рік тому,

людство тоді б було віком лише 10 хвилин.

Індустріальна ера розпочалася
дві секунди тому.

Інший кут зору - подумати
про світовий ВВП за останні 10 000 років,

я взагалі-то подбав про те, щоб
накреслити для вас графік.

Він виглядає отак.

(Сміх)

Це цікава форма для звичайного стану.

Я, напевне, не хотів би
сидіти на цьому.

(Сміх)

Давайте спитаємо себе: "Що спричинило
цю теперішню аномалію?"

Хтось скаже, що це технології.

Дійсно, технології накопичувалися
протягом людської історії.

і просто зараз технології
розвиваються вкрай швидко -

це безпосередня причина,

чому ми зараз такі продуктивні.

Але я волію згадувати про
кінцеву мету.

Подивіться на цих двох
шляхетних джентльменів:

Це Канзі --

він вивчив 200 лексичних символів,
неймовірне досягнення.

І Ед Віттен, котрий спричинив
другу суперструнну революцію.

Якщо ми заглянемо "під капот",
ось що з'ясується:

по суті, те саме.

Один трошки більший,

він може мати певні
особливості в сплетінні.

Ці невидимі відмінності однак
не можуть бути надто складними,

тому що було лише
250 000 поколінь

від останнього
спільного предка.

Ми знаємо, що складний механізм
потребує багато часу, щоб розвинутися.

Тому купа відносно незначних змін

привели нас від Канзі до Віттена,

від відламаних гілок дерева до
міжконтинентальних балістичних ракет.

Отже тоді виглядає цілком очевидно,
що все, чого ми досягли,

і все, що нам небайдуже,

принципово залежить від досить неістотних
змін, яких зазнав людський мозок.

І як наслідок, звичайно,
усі подальші зміни,

які можуть докорінно змінити
підґрунтя для мислення,

матимуть потенційно
величезні наслідки.

Дехто з моїх колег
вважає, що ми на межі

чогось, що може призвести до
глибоких змін у цьому підґрунті,

і це машинний суперінтелект.

Штучний інтелект був чимось на кшталт
введення команд у коробку.

У вас мають бути люди-програмісти,

які скрупульозно вручну
створюватимуть одиниці знань.

Ви будуєте цю систему
штучного інтелекту,

і вона типу корисна для якихось цілей,

але надто крихка,
її не можна масштабувати.

По суті, ви отримуєте лише те,
що самі вклали всередину.

Але відтоді

стався зсув парадигми
у галузі штучного інтелекту.

Сьогодні дія відбувається
довкола машинного навчання.

Тому, радше, ніж створювати вручну
образи та характеристики знань,

ми створюємо алгоритми, які вчаться
на "сирих" сприйняттєвих даних.

Власне, це те саме, що робить
дитина.

Результатом є штучний інтелект, не
обмежений однією цариною -

та ж система спроможна навчитися
перекладати між будь-якими парами мов,

або навчитися грати у будь-яку
комп'ютерну гру на консолі Атарі.

Зараз, звісно,

штучний інтелект далекий від того,
щоб мати таку могутню міжгалузеву

здатність вчитися і планувати,
яку має людина.

Кора головного мозку досі має
деякі хитрощі,

які ми поки що не знаємо, як
створити у машинах.

Тому питання:

як далеко ми від спроможності
розгадати ці хитрощі?

Пару років тому

ми провели опитування серед
провідних експертів зі штучного інтелекту,

щоб побачити, що вони думають,
і одним із питань було:

"У якому році, на вашу думку,
існує 50-відсоткова імовірність

досягнення людського рівня
інтелекту у машині?"

Тут ми визначили людський рівень
як спроможність виконувати

майже будь-яку роботу, принаймні
так само, як доросла людина,

отже справжній людський рівень,
не лише в межах певної обмеженої галузі.

І середня відповідь була 2040 або 2050,

залежно від того, яку групу
експертів ми питали.

Це може статися набагато пізніше,
або раніше,

правду кажучи, ніхто
в дійсності не знає.

Ми знаємо, що остаточний
ліміт на оброблення інформації

на машинному підґрунті дуже
перевершує обмеження біологічних тканин.

Це походить з фізики.

Біологічний нейрон передає, мабуть,
на 200 герц, 200 разів за секунду.

Але навіть сьогоднішній транзистор
оперує гігагерцами.

Нейрони поширюються повільно в аксонах,
100 метрів за секунду найбільше.

Але в комп'ютерах сигнали можуть ширитися
зі швидкістю світла.

Тут теж є обмеження за величиною,

бо людський мозок має
вміщуватися у череп,

але комп'ютер може бути завбільшки
з цілий склад або й більшим.

Тому потенціал суперінтелекту
поки що спить у матерії,

точнісінько як потужність атома
спала протягом людської історії,

терпляче чекаючи на 1945.

Цього століття

науковці можуть навчитися, як розбудити
могутність штучного інтелекту.

І мені здається, що ми можемо тоді
спостерегти бурхливий розвиток інтелекту.

Зараз більшість людей, думаючи про те,
що є розумним і що дурним,

мені здається, тримають у голові
десь схожу на оцю картинку.

На початку ми маємо сільського дурника,

і далеко на іншому кінці -

Еда Віттена, Альберта Ейнштейна, або
хто там ваш улюблений гуру.

Але мені здається, що з точки зору
штучного інтелекту,

справжня картинка дійсно
більше схожа на ось таку.

Все починається в цій точці отут,
на нульовому інтелекті,

і потім, після багатьох-багатьох
років направду тяжкої праці,

мабуть, зрештою ми досягнемо
штучного інтелекту на рівні миші,

який зможе орієнтуватися у
захаращених середовищах

так само, як це може миша.

Потім, після ще більшої кількості років
дуже тяжкої праці, інвестицій,

мабуть, зрештою ми досягнемо рівня
інтелекту на рівні шимпанзе.

І потім, після ще більшої кількості років
дуже-дуже тяжкої праці,

ми досягнемо штучного інтелекту
на рівні сільського дурника.

А кілька митей потому ми вже
вийдемо за межі Еда Віттена.

Потяг не спиняється
на станції "Людствоград".

Він, скоріше, мчить повз неї зі свистом.

Тепер це має глибокі наслідки,

особливо, коли йдеться про питання влади.

Приміром, шимпанзе сильні -

за будь-яких умов шимпанзе принаймні
удвічі сильніший за здорового чоловіка.

Тим не менше, доля Канзі і його товаришів
набагато більше залежить

від того, що робимо ми, люди,
ніж від того, що шимпанзе роблять самі.

Коли з'явиться суперінтелект,

доля людства може залежати від того,
що робитиме цей інтелект.

Подумайте про це:

машинний інтелект - це остання річ,
яку людство має винайти.

Машини після цього будуть кращими
винахідниками, ніж ми,

і вони робитимуть це
із цифровою швидкістю.

Це фактично означає
телескопіювання майбутнього.

Уявіть лише всі божевільні технології,

які людство могло б розвинути,
маючи вдосталь часу:

ліки від старіння, колонізація космосу,

самовідтворювані наноботи чи
завантаження свідомості у комп'ютер,

усі ці науково-фантастичні штуки,

які, тим не менше, сумісні
із законами фізики.

Усе це суперінтелект може розвинути,
і, можливо, цілком швидко.

Суперінтелект із такою
технологічною довершеністю

буде неймовірно могутнім,

і принаймні за кількох сценаріїв він
досягне того, чого прагне.

Ми тоді матимемо майбутнє,
окреслене цінностями цього штучного інтелекту.

Тепер хороше питання: які це цінності?

Тут все стає складнішим.

Щоб просунутися із цим уперед,

ми маємо насамперед
уникати антропоморфічності.

І в цьому іронія, адже кожна
стаття в газеті

про майбутнє штучного інтелекту
проілюстрована ось цим.

Тому я думаю, що ми повинні підійти
до питання абстрактніше,

не в дусі яскравих
голлівудських сценаріїв.

Ми маємо подумати про інтелект
як про процес оптимізації,

процес, що кермує майбутнє у
визначений набір структур.

Суперінтелект направду є сильним
опитимізаційним процесом.

Він неймовірний у використанні
доступних зособів

для досягнення мети.

Це значить, що немає необхідних
зв'язків між

бути високорозвиненим у цьому сенсі

і мати ціль, яку ми, люди,
вважатимемо вартісною і змістовною.

Припустимо, ми поставили перед Ш. І. мету
викликати у людей посмішку.

Коли Ш. І. слабкий, він робитиме
потрібні або кумедні речі,

які змусять його користувача посміхатися.

Коли Ш. І. стане суперінтелектом,

він зрозуміє, що є ефективніші
шляхи досягти цієї мети:

підкорити світ

і приклеїти електроди до лицевих
м'язів людей,

щоб викликати постійний променистий вищир.

Інший приклад:

скажімо, ми даємо Ш. І. завдання вирішити
складну математичну проблему.

Коли Ш. І. стане суперінтелектом,

він зрозуміє, що найефективніший шлях
отримати вирішення цієї проблеми --

це перетворити планету
на гігантський комп'ютер,

щоб збільшити свою
спроможність мислити.

Зауважте, що це дає Ш. І.
інструментальну причину

робити якісь речі так,
що ми цього не схвалимо.

Людські створіння у цій моделі -
це загрози,

ми можемо перешкодити
вирішенню цієї проблеми.

Звичайно, відчутно речі не підуть
цим хибним шляхом;

це гіпертрофовані приклади.

Але загалом це важливо:

якщо ви створюєте дійсно потужний
оптимізаційний процес

для збільшення об'єктивного х,

краще впевніться, що ваше визначення х

включає все, що вам небайдуже.

Це урок, якому нас вчать у багатьох міфах.

Цар Мідас бажав, щоб усе, до чого
він торкався, оберталося на золото.

Він торкнувся своєї доньки,
вона перетворилася на золото.

Він торкнувся їжі -- вона стала золотом.

Це може стати практично дійсністю,

не лише як метафора жадібності,

а й як ілюстрація того, що стається,

коли ви створюєте потужний
оптимізаційний процес

і ставите перед ним несформульовані
або погано описані цілі.

Ви можете зауважити: якщо комп'ютер почне
тицяти електродами людям в обличчя,

ми просто вимкнемо його.

А) Це необов'язково просто зробити,
якщо ми виросли залежними від системи --

типу, як тепер вимкнути інтернет?

Б) Чому ж шимпанзе не натиснули
на вимикач людства,

чи неандертальці?

Вони, напевно, мали причини.

Ми маємо вимикач, наприклад, прямо тут.

(Тисне)

Причина в тому, що ми -
розумний супротивник;

ми можемо передбачати загрози
і планувати навколо них.

Але так зможе і суперінтелектелект,

і він буде набагато вправнішим
в цьому за нас.

Справа в тому, що ми не можемо бути
впевнені, що у нас усе під контролем.

І ми можемо спробувати зробити
своє завдання трохи легшим, скажімо,

поклавши Ш. І. до коробки,

як у безпечне софтверне середовище,

у симулятор віртуальної реальності,
з якої він не може втекти.

Але як ми можемо бути певні, що
Ш. І. не зможе знайти баг?

Зважаючи, що навіть хакери-люди
постійно знаходять баги,

я б сказав, імовірно, не дуже впевнено.

Ми від'єднуємо кабель локальної мережі,
щоб створити повітряний проміжок,

але знов-таки, навіть хакери-люди

"перестрибують" повітряні проміжки,
використовуючи соціальну інженерію.

Зараз, коли я розмовляю,

впевнений, що є десь якийсь службовець,

який повідомляє дані свого акаунту

комусь, хто стверджує,
що він з ІТ-департаменту.

Більш оригінальні сценарії теж можливі,

типу, якщо ви Ш.І.,

ви можете уявити тремтячі електроди
навколо свого устаткування,

щоб створити радіохвилі, які можна
використати для комунікації.

Або ви навіть можете
удати з себе зламаного,

і коли програміст відкриє вас,
щоб подивитися, що з вами не так,

вони дивляться у вихідний код -- Бам! --

може статися маніпуляція.

Або він може надрукувати схему
дійсно вартісної технології,

і коли ми реалізуємо її,

вона матиме якісь побічні ефекти,
які Ш. І. нишком спланував.

Справа в тому, що ми не повинні бути
впевнені у нашій можливості

тримати суперінтелектуального джина
у його пляшці довіку.

Раніш чи пізніш він визволиться.

Я вірю, що відповідь тут - це з'ясувати,

як створити такий супер Ш. І.,
щоб навіть якщо він втече,

він залишатиметься безпечним,
бо буде принципово на нашому боці,

бо розділятиме наші цінності.

Я не бачу виходу з цієї складної проблеми.

Зараз я досить оптимістичний
щодо її вирішення.

Ми не повинні писати довгий
список того, до чого ми небайдужі,

або навіть гірше, промовляти це
якоюсь комп'ютерною мовою,

типу С++ або Пітону,

це буде безнадійне завдання.

Натомість ми маємо створити Ш. І.,
що використовує свій інтелект,

щоб дізнатися про наші цінності,

і його мотиваційна система сконструйована
так, що він мотивований

розділяти наші цінності або виконувати
дії, які ми маємо схвалити.

Тоді ми подіємо на його інтелект
так сильно, як тільки зможемо,

щоб вирішити проблему
"завантаження цінностей".

Це може статися,

і результат може виявитись
дуже вагомим для людства.

Але це не станеться автоматично.

Початкові умови інтелектуального вибуху

потрібно правильно встановити,

так, ніби ми маємо
контрольований детонатор.

Цінності, за якими Ш.І.
має свівпадати з нами,

мають бути не лише вже нам знайомими,

такими, за якими ми легко
перевіримо поведінку Ш.І.,

але також і в новітньому контексті,
який Ш.І. прораховуватиме

в невизначеному майбутньому.

Є також певні потаємні проблеми,
які необхідно вирішити, наприклад:

конкретні деталі теорії прийняття рішень,

як справлятись з логічними
невизначенностями і таке інше.

Тому технічні проблеми, які будемо
вирішувати, щоб все спрацювало,

є досить складними --

не настільки, як власне створення Ш.І.,

але достатньо складними.

Мене хвилює наступне:

створення Ш.І. є, по-справжньому,
складним випробуванням.

Створення безпечного Ш.І.

включає ще додаткову складність.

Ризик у тому, що хтось зможе
розгадати перше випробування,

не розгадуючи додаткове,

по забезпеченню абсолютної безпеки.

Тому, я вважаю, що розв'язок
проблеми контролю

нам потрібно розробити в першу чергу,

щоб мати його одразу тоді,
коли знадобиться.

Зараз ми, можливо, не можемо розгадати
всю проблему контролю наперед,

оскільки деякі елементи можна створити

лише знаючи деталі загальної архітектури,
куди їх буде впроваджено.

Але чим більше ми розробимо наперед,

тим більша ймовірність того, що
перехід до ери машинного інтеллекту

пройде успішно.

Як на мене, цим дійсно варто займатись,

і можна уявити, що у випадку,
якщо все пройде успішно,

люди через мільйони років,
споглядаючи в наше століття,

можливо, вважатимуть, що
єдина важлива річ, яку ми зробили,

було створити цю річ правильно.

Дякую.

(Оплески)