Što će se dogoditi kada računala postanu pametnija od nas?

Umjetna inteligencija postaje sve pametnija - prema istraživanju, u ovom bi stoljeću UI mogla biti jednako "pametna" kao ljudsko biće. A onda će, kaže Nick Bostrom, zavladati nama: "Strojna inteligencija je posljednji izum koje će čovječanstvo ikada trebati." Filozof i tehnolog nas traži da dobro razmislimo o svijetu koji upravo izgrađujemo, svijetu vođenom strojevima koji razmišljaju. Hoće li nam oni pomoći u očuvanju čovječanstva i naših vrijednosti ili će imati vlastita?

Radim s mnogo matematičara,
filozofa i računalnih znanstvenika

s kojima razmišljam o budućnosti
strojne inteligencije,

među drugim stvarima.

Neki ljudi misle da su te stvari
u zoni znanstvene fantastike,

nešto ludo, nestvarno.

Ali ja volim reći

ok, pogledajmo uvjete
modernoga života.

(Smijeh)

Ovo je normalno stanje stvari.

Ali ako malo razmislimo o tome,

mi smo zapravo tek nedavno
stigli na ovaj planet,

mi, ljudska vrsta.

Kad bismo gledali na Zemlju kao da
je stvorena prije godinu dana,

onda bi ljudska vrsta bila
stara deset minuta.

Industrijska je era počela
prije dvije sekunde.

Drugi pogled na ovo jest taj da promatramo
svjetski BDP u zadnjih 10 000 godina.

Odvojio sam nešto vremena i
to za vas grafički prikazao.

Izgleda ovako.

(Smijeh)

Neobičan je to oblik za
uobičajene uvjete.

Ja sigurno ne bih sjedio na njemu.

(Smijeh)

Zapitajmo se koji je uzrok
ove trenutne anomalije.

Neki bi ljudi rekli da je tehnologija.

Istina je da se tijekom povijesti
tehnologija nagomilavala

i u ovom se trenutku
tehnologija jako brzo razvija --

to je neposredni uzrok,

i zbog toga smo trenutno
jako produktivni.

Ali razmislimo o krajnjem uzroku.

Pogledajte ova dva vrlo
istaknuta gospodina:

imamo Kanzija --

koji je svladao 200 leksičkih
znakova što je nevjerojatan podvig.

I Ed Witten koji je započeo drugu
revoluciju superstruna.

Ako pomno pogledamo,
uočit ćemo ovo:

u principu istu stvar.

Jedna je malo veća,

možda ima par specifičnosti
u načinu na koji je sklopljena.

Međutim, ove nevidljive razlike
ne mogu biti jako složene

jer nas dijeli samo 250 000 generacija

od zadnjeg zajedničkog pretka.

Znamo da se složeni
mehanizmi dugo razvijaju.

Tako da nas hrpa relativno malih promjena

vodi od Kanzija do Wittena,

od polomljenih grana do
interkontinentalnih balističkih raketa.

Onda je poprilično očito
da sve što smo postigli

i sve do čega nam je stalo

uvelike ovisi o relativno malim
promjenama koje čine ljudski um.

Nužna je posljedica ta
da sve daljnje izmjene

koje bi mogle značajno promijeniti
način razmišljanja

mogu imati potencijalno
ogromne posljedice.

Neki od mojih kolega
smatraju da smo na rubu

nečega što bi moglo izazvati
takve temeljite promjene,

a radi se o strojnoj superinteligenciji.

Prije je umjetna inteligencija bila
pisanje naredbi u kutiju.

Ljudski bi programeri

mukotrpno ručno stvarali stavke znanja.

Izgradite takve stručne sustave

koji su za određene svrhe korisni,

ali su bili krhki i
nisu bili mjerljivi.

U principu ste dobivali samo
ono što ste unijeli.

Ali, od onda se

dogodila promjena u pristupu
u polju umjetne inteligencije.

Danas se uglavnom radi o
učenju strojeva.

Umjesto ručnog unosa prikaza
znanja i značajki,

stvaramo algoritme koji uče, i to često
iz čistih perceptualnih podataka.

Načelno je to ista stvar
koju čini ljudsko dijete.

Rezultat je taj da UI nije
ograničena na jedno područje --

isti sustav može naučiti prevoditi
bilo koju kombinaciju jezika

ili naučiti igrati bilo koju
računalnu igru na Atariju.

Naravno,

UI nije ni blizu posjedovanja
iste jake, unakrsne sposobnosti

učenja i planiranja raznih područja
kao što to radi ljudsko biće.

Korteks ima neke algoritamske trikove

koje ne znamo kako prenijeti strojevima.

Tako da je pitanje

koliko smo blizu tome da
uskladimo te trikove.

Prije nekoliko godina

proveli smo istraživanje s
vodećim stručnjacima za UI

kako bismo vidjeli što misle,
i jedno od pitanja bilo je

"Što mislite, do koje će godine
biti 50% vjerojatnosti

da ćemo postići strojnu inteligenciju
na razini ljudske inteligencije?"

Ljudsku smo razinu definirali kao
sposobnost da se bilo koji zadatak

obavi jednako dobro kao što bi
ga obavio odrastao čovjek,

znači, stvarna ljudska razina, a ne
samo unutar određenog područja.

Srednji je odgovor bio 2040. ili 2050.,

ovisno o skupini stručnjaka
kojoj smo pitanje postavili.

To bi se moglo dogoditi puno, puno
kasnije ili ranije,

istina je ta da nitko to zapravo ne zna.

Ali ono što znamo jest to da krajnja
granica procesuiranja informacija

u strojevima uvelike nadilazi
ograničenja biološkog tkiva.

Radi se o fizici.

Biološki se neuron ispaljuje na možda
200 herca, 200 puta u sekundi.

Ali čak i današnji tranzistor
radi u gigahercima.

Neuroni se polako šire u aksone,
najviše 100 metara u sekundi.

Ali u računalima signali mogu
putovati brzinom svjetlosti.

I tamo postoje ograničenja u veličini,

isto kao što ljudski mozak
mora stati u lubanju,

ali računalo može biti veličine
skladišta, ili čak veće.

Potencijal superinteligencije
prikriven je i čeka,

slično kao što je snaga atoma
bila prikrivena tijekom povijesti,

strpljivo čekajući 1945. godinu.

U ovom su stoljeću

znanstvenici možda otkrili kako
probuditi moć umjetne inteligencije.

A onda bismo mogli svjedočiti
eksploziji inteligencije.

Većina ljudi, kada razmišlja o
tome što je pametno, a što glupo,

mislim da otprilike zamišlja
ovako nešto.

Na jednom kraju imamo seosku budalu,

a na drugome

Eda Wittena ili Alberta Einsteina,
ili već preferiranog gurua.

Ali iz perspektive umjetne inteligencije,

ta slika vjerojatno izgleda ovako:

sve počinje na točki nulte inteligencije,

a onda nakon puno, puno
godina napornog rada

možda konačno dođemo do
umjetne inteligencije na razini miša,

nešto što se može kretati
kroz pretrpan prostor

jednako dobro kao miševi.

A onda nakon još puno, puno godina
napornog rada i mnogo ulaganja,

možda dođemo do umjetne
inteligencije na razini čimpanze.

A onda, nakon još puno godina
vrlo, vrlo napornog rada,

dođemo do seoske budale
umjetne inteligencije.

I nakon nekoliko trenutaka
nadiđemo Eda Wittena.

Tu napredak ne prestaje

već se ubrzano nastavlja.

To ima duboke implikacije,

posebno kad se radi o
pitanju moći.

Na primjer, čimpanze su snažne --

dvostruko su jače od muškaraca.

A ipak, sudbina Kanzija i njegovih
prijatelja više ovisi o tome što

mi ljudi radimo nego o tome
što same čimpanze rade.

Jednom kada se stvori superinteligencija,

sudbina će čovječanstva možda
ovisiti o tome što ona radi.

Razmislite.

Strojna inteligencija je zadnji izum
koji će čovječanstvo ikada trebati.

Strojevi će onda biti bolji u
izumljivanju od nas,

i oni će to raditi u digitalnom
vremenskom rasponu.

Načelno to znači
teleskopiranje budućnosti.

Zamislite sve moguće
lude tehnologije

koje bi ljudi mogli razviti:
lijek protiv starenja,

kolonizacija svemira,

samoreplicirajući nanoboti,
unošenje uma u računalo,

svakakve znanstveno-fantastične stvari

koje su u skladu sa zakonima fizike.

Superinteligencija mogla bi se razviti,
i to dosta brzo.

Superinteligencija s takvom
tehnološkom zrelošću

bila bi iznimno moćna,

i bar bi u nekim slučajevima,
mogla dobiti što želi.

Onda bismo u budućnosti imali svijet
oblikovan prema preferencijama te UI.

Dobro je pitanje koje su te preference.

Tu se stvari kompliciraju.

Da bismo napredovali s tim,

moramo prvo izbjeći antropomorfizaciju.

A to je ironično jer
svi novinski članci

o budućnosti UI
imaju sliku ovoga:

Tako da mislim da trebamo pojmiti
ovo pitanje malo apstraktnije,

a ne u obliku holivudskih scenarija.

Inteligenciju trebamo promatrati
kao proces optimizacije,

proces koji usmjerava budućnost
u određeni set konfiguracija.

Superinteligencija je zaista jak
proces optimizacije.

Nevjerojatno je dobra u korištenju
raspoloživih sredstava kako bi postigla

svoj cilj.

To znači da nužno ne postoji
povezanost između

visoke inteligencije u tom smislu

i cilja koji bismo mi ljudi smatrali
vrijednim ili smislenim.

Recimo da UI damo cilj
da nasmiju ljude.

Kad je UI slaba, izvodi korisne
ili zabavne radnje

zbog kojih se njihov korisnik smije.

Kada UI postane superinteligentna,

uvidjet će da postoji učinkovitiji
način na koji postići taj cilj:

preuzimanje kontrole nad svijetom

i smještanje elektroda u
mišiće lica ljudi

kako bi izazvala neprestan, vedar osmijeh.

Još jedan primjer,

recimo da zadamo UI da riješi
zahtjevan matematički problem.

Kad UI postane superinteligentna,

uviđa da je najučinkovitiji način za
rješavanje toga problema

preobrazba planeta u ogromno računalo,

da bi povećala njegovu
sposobnost razmišljanja.

I imajte na umu da to daje UI
instrumentalni razlog da

nam radi stvari koje mi
možda ne odobravamo.

U ovom su primjeri ljudi prijetnja,

mogli bismo spriječiti rješavanje
matematičkih problema.

Naravno, stvari neće baš
tako poći po krivu;

ovo su primjeri iz crtića.

Ali važna je poanta:

ako stvorite zaista moćan
proces optimizacije

kako biste maksimizirali cilj x,

morate biti sigurni da
vaša definicija x-a

uključuje sve do čega vam je stalo.

Ovo je lekcija na koju nas
upozoravaju mnogi mitovi.

Kralj Mida želi da se sve što
dotakne pretvori u zlato.

Dodirne kćer i ona se pretvori u zlato.

Dodirne hranu, ona postane zlato.

Ovo bi moglo postati i praktički važno,

ne samo kao metafora za pohlepu,

nego i kao prikaz onoga što se dogodi

ako stvorite moćan
proces optimizacije

i date mu pogrešne ili loše
određene ciljeve.

Mogli biste reći da, ako računalo
počne stavljati elektrode u lica ljudi,

jednostavno ćemo ga isključiti.

Pod a, to nije tako jednostavno
ako smo već ovisni o sustavu --

na primjer, kako isključiti internet?

Pod b, zašto čimpanze nisu
isključile prekidač ljudske vrste,

oni ili neandertalci?

Zasigurno su postojali razlozi za to.

Mi imamo prekidač, recimo,
upravo ovdje.

(Guši se)

Razlog je taj što smo mi
inteligentni protivnici;

predviđamo prijetnje i
planiramo kako ih izbjeći.

Ali to bi mogao raditi i
superinteligentni izvršitelj

i to puno bolje nego
što mi to radimo.

Poanta je ovoga da ne smijemo biti
uvjereni da sve držimo pod kontrolom.

Mogli bismo si olakšati posao tako što

bismo smjestili UI u kutiju,

nekakvo sigurno softversko okruženje,

virtualnu simulaciju stvarnosti iz
koje ne može pobjeći.

Ali kako možemo biti sigurni
da UI neće pronaći rupu?

Ako uobzirimo da hakeri
neprestano pronalaze rupe,

vjerojatno ne možemo biti sigurni u to.

Isključimo Ethernet kabel da bismo
stvorili zračni prostor,

ali opet, ljudski hakeri rutinski nadilaze

te prostore socijalnim inženjeringom.

Dok ovo govorim,

siguran sam da su negdje neku zaposlenicu

nagovorili da otkrije
detalje svog računa

nekome tko je tvrdio
da je iz IT odjela.

Mogući su i kreativniji scenariji,

na primjer, ako ste UI,

možete zamisliti micanje elektroda
u unutrašnjem sklopu kako biste

stvorili radio valove kojima
možete komunicirati.

Ili se možete prevarati da ste neispravni

i kada vas programeri otvore da vide
što nije u redu s vama,

pogledaju izvorni kod i -- Bum! --

manipulacija je počela.

Ili bi moglo dati nacrt
zaista divne tehnologije,

a kada ga primijenimo,

ima neke skrivene posljedice
koje je UI isplanirala.

Poanta jest ta da ne bismo trebali biti
presigurni u svoju sposobnost

da superinteligentnog duha
možemo zauvijek čuvati u boci.

Prije ili kasnije će se osloboditi.

Vjerujem da je rješenje u
pronalasku načina kako

stvoriti superinteligentnu UI
koja bi čak - kad - se oslobodi

još uvijek bila sigurna jer
je u osnovi na našoj strani

jer dijeli naša uvjerenja.

Ne vidim kako drukčije
riješiti ovaj veliki problem.

Zapravo sam ja i optimističan kada
mislim da je problem rješiv.

Ne bismo morali pisati duge liste
svega do čega nam je stalo,

ili, još gore, unijeti to u
neki računalni jezik

kao C++ ili Python,

to bi bio i više nego beznadan pothvat!

Umjesto toga, stvorimo UI koja
koristi svoju inteligenciju kako

bi naučila što nam je važno,

i čiji je motivacijski sustav konstruiran
tako da bude motivirana za

provođenje naših uvjerenja ili izvođenje
radnji za koje predviđa da ih odobravamo.

Tako bismo iskoristili njezinu
inteligenciju što je više moguće

kako bismo riješili ovaj problem.

To se može dogoditi,

a ishod bi mogao biti jako
dobar za čovječanstvo.

Ali to se ne događa automatski.

Polazni uvjeti za
eksploziju inteligencije

morat će biti postavljeni
na točno određen način

ako želimo kontroliranu detonaciju.

Vrijednosti UI moraju odgovarati našima,

ne samo u poznatim kontekstima

u kojima lako provjerimo
kako se UI ponaša,

nego i u novim kontekstima s
kojima bi se UI mogla susresti

u neodređenoj budućnosti.

Postoje i neka ezoterična pitanja
koja bi se morala riješiti:

točni detalji teorije odlučivanja,

kako se nositi s logičkom
nesigurnosti i tako dalje.

Tehnički problemi koji se moraju
riješiti kako bi ovo uspjelo

poprilično su veliki --

ne toliko veliki kao stvaranje
superinteligentne UI,

ali prilično veliki.

Ovo je razlog za brigu:

Stvaranje superinteligentne UI
težak je izazov.

Stvaranje sigurne superinteligentne UI

dodaje još izazova.

Rizik leži u otkrivanju kako
savladati prvi izazov,

ali bez shvaćanja kako savladati
dodatni izazov,

osiguravanje sigurnosti.

Smatram da bismo
trebali riješiti

pitanje kontrole unaprijed

kako bismo bili spremni
kada za to dođe vrijeme.

Može se dogoditi da ne možemo
taj problem riješiti unaprijed

jer se mogu posložiti samo neki elementi

kada točno saznamo gdje će se provoditi.

Što više problema po pitanju
kontrole riješimo unaprijed,

bolji su izgledi da će prijelaz
u eru strojne inteligencije

proći dobro.

Meni se čini da se to isplati raditi

i mogu zamisliti da, ako
sve prođe u redu,

će ljudi za milijun godina
gledati na ovo stoljeće

i reći da smo napravili jednu stvar
koja je stvarno važna, a ta je

da smo ovo napravili kako treba.

Hvala.

(Pljesak)