WEBVTT

00:00:00.570 --> 00:00:04.777
Radim s mnogo matematičara,
filozofa i računalnih znanstvenika

00:00:04.777 --> 00:00:09.986
s kojima razmišljam o budućnosti
strojne inteligencije,

00:00:09.986 --> 00:00:12.030
među drugim stvarima.

00:00:12.030 --> 00:00:16.755
Neki ljudi misle da su te stvari
u zoni znanstvene fantastike,

00:00:16.755 --> 00:00:19.856
nešto ludo, nestvarno.

00:00:19.856 --> 00:00:21.326
Ali ja volim reći

00:00:21.326 --> 00:00:24.930
ok, pogledajmo uvjete
modernoga života.

00:00:24.930 --> 00:00:26.622
(Smijeh)

00:00:26.622 --> 00:00:29.024
Ovo je normalno stanje stvari.

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
Ali ako malo razmislimo o tome,

00:00:31.309 --> 00:00:34.602
mi smo zapravo tek nedavno
stigli na ovaj planet,

00:00:34.602 --> 00:00:36.684
mi, ljudska vrsta.

00:00:36.684 --> 00:00:41.430
Kad bismo gledali na Zemlju kao da
je stvorena prije godinu dana,

00:00:41.430 --> 00:00:44.978
onda bi ljudska vrsta bila
stara deset minuta.

00:00:44.978 --> 00:00:48.146
Industrijska je era počela
prije dvije sekunde.

00:00:49.276 --> 00:00:54.501
Drugi pogled na ovo jest taj da promatramo
svjetski BDP u zadnjih 10 000 godina.

00:00:54.501 --> 00:00:57.530
Odvojio sam nešto vremena i
to za vas grafički prikazao.

00:00:57.530 --> 00:00:59.304
Izgleda ovako.

00:00:59.304 --> 00:01:00.667
(Smijeh)

00:01:00.667 --> 00:01:02.818
Neobičan je to oblik za
uobičajene uvjete.

00:01:02.818 --> 00:01:04.516
Ja sigurno ne bih sjedio na njemu.

00:01:04.516 --> 00:01:07.067
(Smijeh)

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
Zapitajmo se koji je uzrok
ove trenutne anomalije.

00:01:11.841 --> 00:01:14.393
Neki bi ljudi rekli da je tehnologija.

00:01:14.393 --> 00:01:19.061
Istina je da se tijekom povijesti
tehnologija nagomilavala

00:01:19.061 --> 00:01:23.713
i u ovom se trenutku
tehnologija jako brzo razvija --

00:01:23.713 --> 00:01:25.278
to je neposredni uzrok,

00:01:25.278 --> 00:01:27.843
i zbog toga smo trenutno
jako produktivni.

00:01:28.473 --> 00:01:32.134
Ali razmislimo o krajnjem uzroku.

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
Pogledajte ova dva vrlo
istaknuta gospodina:

00:01:36.880 --> 00:01:38.480
imamo Kanzija --

00:01:38.480 --> 00:01:43.123
koji je svladao 200 leksičkih
znakova što je nevjerojatan podvig.

00:01:43.123 --> 00:01:46.817
I Ed Witten koji je započeo drugu
revoluciju superstruna.

00:01:46.817 --> 00:01:49.141
Ako pomno pogledamo,
uočit ćemo ovo:

00:01:49.141 --> 00:01:50.711
u principu istu stvar.

00:01:50.711 --> 00:01:52.524
Jedna je malo veća,

00:01:52.524 --> 00:01:55.282
možda ima par specifičnosti
u načinu na koji je sklopljena.

00:01:55.282 --> 00:01:59.094
Međutim, ove nevidljive razlike
ne mogu biti jako složene

00:01:59.094 --> 00:02:03.379
jer nas dijeli samo 250 000 generacija

00:02:03.379 --> 00:02:05.111
od zadnjeg zajedničkog pretka.

00:02:05.111 --> 00:02:08.960
Znamo da se složeni
mehanizmi dugo razvijaju.

00:02:10.000 --> 00:02:12.499
Tako da nas hrpa relativno malih promjena

00:02:12.499 --> 00:02:15.566
vodi od Kanzija do Wittena,

00:02:15.566 --> 00:02:20.109
od polomljenih grana do
interkontinentalnih balističkih raketa.

NOTE Paragraph

00:02:20.839 --> 00:02:24.774
Onda je poprilično očito
da sve što smo postigli

00:02:24.774 --> 00:02:26.152
i sve do čega nam je stalo

00:02:26.152 --> 00:02:31.380
uvelike ovisi o relativno malim
promjenama koje čine ljudski um.

00:02:32.650 --> 00:02:36.312
Nužna je posljedica ta
da sve daljnje izmjene

00:02:36.312 --> 00:02:39.789
koje bi mogle značajno promijeniti
način razmišljanja

00:02:39.789 --> 00:02:42.991
mogu imati potencijalno
ogromne posljedice.

NOTE Paragraph

00:02:44.321 --> 00:02:47.226
Neki od mojih kolega
smatraju da smo na rubu

00:02:47.226 --> 00:02:51.134
nečega što bi moglo izazvati
takve temeljite promjene,

00:02:51.134 --> 00:02:54.347
a radi se o strojnoj superinteligenciji.

00:02:54.347 --> 00:02:59.086
Prije je umjetna inteligencija bila
pisanje naredbi u kutiju.

00:02:59.086 --> 00:03:00.751
Ljudski bi programeri

00:03:00.751 --> 00:03:03.886
mukotrpno ručno stvarali stavke znanja.


00:03:03.886 --> 00:03:05.972
Izgradite takve stručne sustave

00:03:05.972 --> 00:03:08.296
koji su za određene svrhe korisni,

00:03:08.296 --> 00:03:10.977
ali su bili krhki i
nisu bili mjerljivi.

00:03:10.977 --> 00:03:14.410
U principu ste dobivali samo
ono što ste unijeli.

00:03:14.410 --> 00:03:15.407
Ali, od onda se

00:03:15.407 --> 00:03:18.874
dogodila promjena u pristupu
u polju umjetne inteligencije.

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
Danas se uglavnom radi o
učenju strojeva.

00:03:22.394 --> 00:03:27.781
Umjesto ručnog unosa prikaza
znanja i značajki,

00:03:28.511 --> 00:03:34.065
stvaramo algoritme koji uče, i to često
iz čistih perceptualnih podataka.

00:03:34.065 --> 00:03:39.063
Načelno je to ista stvar
koju čini ljudsko dijete.

00:03:39.063 --> 00:03:43.270
Rezultat je taj da UI nije
ograničena na jedno područje --

00:03:43.270 --> 00:03:47.901
isti sustav može naučiti prevoditi
bilo koju kombinaciju jezika

00:03:47.901 --> 00:03:53.338
ili naučiti igrati bilo koju
računalnu igru na Atariju.

00:03:53.338 --> 00:03:55.117
Naravno,

00:03:55.117 --> 00:03:59.116
UI nije ni blizu posjedovanja
iste jake, unakrsne sposobnosti

00:03:59.116 --> 00:04:02.335
učenja i planiranja raznih područja
kao što to radi ljudsko biće.

00:04:02.335 --> 00:04:04.461
Korteks ima neke algoritamske trikove

00:04:04.461 --> 00:04:06.816
koje ne znamo kako prenijeti strojevima.

NOTE Paragraph

00:04:07.886 --> 00:04:09.785
Tako da je pitanje

00:04:09.785 --> 00:04:13.285
koliko smo blizu tome da
uskladimo te trikove.

00:04:14.245 --> 00:04:15.328
Prije nekoliko godina

00:04:15.328 --> 00:04:18.216
proveli smo istraživanje s
vodećim stručnjacima za UI

00:04:18.216 --> 00:04:21.440
kako bismo vidjeli što misle,
i jedno od pitanja bilo je

00:04:21.440 --> 00:04:24.793
"Što mislite, do koje će godine
biti 50% vjerojatnosti

00:04:24.793 --> 00:04:28.275
da ćemo postići strojnu inteligenciju
na razini ljudske inteligencije?"

00:04:28.785 --> 00:04:32.968
Ljudsku smo razinu definirali kao
sposobnost da se bilo koji zadatak

00:04:32.968 --> 00:04:35.839
obavi jednako dobro kao što bi
ga obavio odrastao čovjek,

00:04:35.839 --> 00:04:39.844
znači, stvarna ljudska razina, a ne
samo unutar određenog područja.

00:04:39.844 --> 00:04:43.494
Srednji je odgovor bio 2040. ili 2050.,

00:04:43.494 --> 00:04:46.300
ovisno o skupini stručnjaka
kojoj smo pitanje postavili.

00:04:46.300 --> 00:04:50.339
To bi se moglo dogoditi puno, puno
kasnije ili ranije,

00:04:50.339 --> 00:04:52.279
istina je ta da nitko to zapravo ne zna.

NOTE Paragraph

00:04:53.259 --> 00:04:57.671
Ali ono što znamo jest to da krajnja
granica procesuiranja informacija

00:04:57.671 --> 00:05:02.542
u strojevima uvelike nadilazi
ograničenja biološkog tkiva.

00:05:03.241 --> 00:05:05.619
Radi se o fizici.

00:05:05.619 --> 00:05:10.337
Biološki se neuron ispaljuje na možda
200 herca, 200 puta u sekundi.

00:05:10.337 --> 00:05:13.931
Ali čak i današnji tranzistor
radi u gigahercima.

00:05:13.931 --> 00:05:19.228
Neuroni se polako šire u aksone,
najviše 100 metara u sekundi.

00:05:19.228 --> 00:05:22.339
Ali u računalima signali mogu 
putovati brzinom svjetlosti.

00:05:23.079 --> 00:05:24.948
I tamo postoje ograničenja u veličini,

00:05:24.948 --> 00:05:27.975
isto kao što ljudski mozak
mora stati u lubanju,

00:05:27.975 --> 00:05:32.736
ali računalo može biti veličine
skladišta, ili čak veće.

00:05:32.736 --> 00:05:38.335
Potencijal superinteligencije
prikriven je i čeka,

00:05:38.335 --> 00:05:44.047
slično kao što je snaga atoma
bila prikrivena tijekom povijesti,

00:05:44.047 --> 00:05:48.452
strpljivo čekajući 1945. godinu.

00:05:48.452 --> 00:05:49.700
U ovom su stoljeću

00:05:49.700 --> 00:05:53.818
znanstvenici možda otkrili kako
probuditi moć umjetne inteligencije.

00:05:53.818 --> 00:05:57.826
A onda bismo mogli svjedočiti
eksploziji inteligencije.

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
Većina ljudi, kada razmišlja o
tome što je pametno, a što glupo,

00:06:02.363 --> 00:06:05.386
mislim da otprilike zamišlja
ovako nešto.

00:06:05.386 --> 00:06:07.984
Na jednom kraju imamo seosku budalu,

00:06:07.984 --> 00:06:10.467
a na drugome

00:06:10.467 --> 00:06:15.223
Eda Wittena ili Alberta Einsteina,
ili već preferiranog gurua.

00:06:15.223 --> 00:06:19.057
Ali iz perspektive umjetne inteligencije,

00:06:19.057 --> 00:06:22.738
ta slika vjerojatno izgleda ovako:

00:06:23.258 --> 00:06:26.636
sve počinje na točki nulte inteligencije,

00:06:26.636 --> 00:06:29.647
a onda nakon puno, puno
godina napornog rada

00:06:29.647 --> 00:06:33.491
možda konačno dođemo do
umjetne inteligencije na razini miša,

00:06:33.491 --> 00:06:35.921
nešto što se može kretati
kroz pretrpan prostor

00:06:35.921 --> 00:06:37.908
jednako dobro kao miševi.

00:06:37.908 --> 00:06:42.221
A onda nakon još puno, puno godina
napornog rada i mnogo ulaganja,

00:06:42.221 --> 00:06:46.860
možda dođemo do umjetne
inteligencije na razini čimpanze.

00:06:46.860 --> 00:06:50.070
A onda, nakon još puno godina
vrlo, vrlo napornog rada,

00:06:50.070 --> 00:06:52.983
dođemo do seoske budale
umjetne inteligencije.

00:06:52.983 --> 00:06:56.255
I nakon nekoliko trenutaka
nadiđemo Eda Wittena.

00:06:56.255 --> 00:06:59.225
Tu napredak ne prestaje

00:06:59.225 --> 00:07:02.247
već se ubrzano nastavlja.

NOTE Paragraph

00:07:02.247 --> 00:07:04.231
To ima duboke implikacije,

00:07:04.231 --> 00:07:08.093
posebno kad se radi o
pitanju moći.

00:07:08.093 --> 00:07:09.992
Na primjer, čimpanze su snažne --

00:07:09.992 --> 00:07:15.214
dvostruko su jače od muškaraca.

00:07:15.214 --> 00:07:19.828
A ipak, sudbina Kanzija i njegovih
prijatelja više ovisi o tome što

00:07:19.828 --> 00:07:23.968
mi ljudi radimo nego o tome
što same čimpanze rade.

00:07:25.228 --> 00:07:27.542
Jednom kada se stvori superinteligencija,

00:07:27.542 --> 00:07:31.381
sudbina će čovječanstva možda
ovisiti o tome što ona radi.

00:07:32.451 --> 00:07:33.508
Razmislite.

00:07:33.508 --> 00:07:38.552
Strojna inteligencija je zadnji izum
koji će čovječanstvo ikada trebati.

00:07:38.552 --> 00:07:41.525
Strojevi će onda biti bolji u
izumljivanju od nas,

00:07:41.525 --> 00:07:44.065
i oni će to raditi u digitalnom
vremenskom rasponu.

00:07:44.065 --> 00:07:48.966
Načelno to znači
teleskopiranje budućnosti.

00:07:48.966 --> 00:07:52.524
Zamislite sve moguće
lude tehnologije

00:07:52.524 --> 00:07:55.322
koje bi ljudi mogli razviti: 
lijek protiv starenja,

00:07:55.322 --> 00:07:56.322
kolonizacija svemira,

00:07:58.580 --> 00:08:02.311
samoreplicirajući nanoboti,
unošenje uma u računalo,

00:08:02.311 --> 00:08:04.470
svakakve znanstveno-fantastične stvari

00:08:04.470 --> 00:08:07.207
koje su u skladu sa zakonima fizike.

00:08:07.207 --> 00:08:11.419
Superinteligencija mogla bi se razviti,
i to dosta brzo.

NOTE Paragraph

00:08:12.449 --> 00:08:16.007
Superinteligencija s takvom
tehnološkom zrelošću

00:08:16.007 --> 00:08:18.186
bila bi iznimno moćna,

00:08:18.186 --> 00:08:22.732
i bar bi u nekim slučajevima,
mogla dobiti što želi.

00:08:22.732 --> 00:08:28.393
Onda bismo u budućnosti imali svijet
oblikovan prema preferencijama te UI.

00:08:29.855 --> 00:08:33.604
Dobro je pitanje koje su te preference.

00:08:34.244 --> 00:08:36.013
Tu se stvari kompliciraju.

00:08:36.013 --> 00:08:37.448
Da bismo napredovali s tim,

00:08:37.448 --> 00:08:40.724
moramo prvo izbjeći antropomorfizaciju.

00:08:41.934 --> 00:08:45.235
A to je ironično jer
svi novinski članci

00:08:45.235 --> 00:08:49.090
o budućnosti UI
imaju sliku ovoga:

00:08:50.280 --> 00:08:54.414
Tako da mislim da trebamo pojmiti
ovo pitanje malo apstraktnije,

00:08:54.414 --> 00:08:57.204
a ne u obliku holivudskih scenarija.

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
Inteligenciju trebamo promatrati
kao proces optimizacije,

00:09:00.821 --> 00:09:06.470
proces koji usmjerava budućnost
u određeni set konfiguracija.

00:09:06.470 --> 00:09:09.981
Superinteligencija je zaista jak
proces optimizacije.

00:09:09.981 --> 00:09:14.098
Nevjerojatno je dobra u korištenju
raspoloživih sredstava kako bi postigla

00:09:14.098 --> 00:09:16.007
svoj cilj.

00:09:16.447 --> 00:09:19.119
To znači da nužno ne postoji
povezanost između

00:09:19.119 --> 00:09:21.853
visoke inteligencije u tom smislu

00:09:21.853 --> 00:09:26.515
i cilja koji bismo mi ljudi smatrali
vrijednim ili smislenim.

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
Recimo da UI damo cilj
da nasmiju ljude.

00:09:31.115 --> 00:09:34.097
Kad je UI slaba, izvodi korisne
ili zabavne radnje

00:09:34.097 --> 00:09:36.614
zbog kojih se njihov korisnik smije.

00:09:36.614 --> 00:09:39.031
Kada UI postane superinteligentna,

00:09:39.031 --> 00:09:42.554
uvidjet će da postoji učinkovitiji
način na koji postići taj cilj:

00:09:42.554 --> 00:09:44.476
preuzimanje kontrole nad svijetom

00:09:44.476 --> 00:09:47.638
i smještanje elektroda u
mišiće lica ljudi

00:09:47.638 --> 00:09:50.579
kako bi izazvala neprestan, vedar osmijeh.

00:09:50.579 --> 00:09:51.614
Još jedan primjer,

00:09:51.614 --> 00:09:54.997
recimo da zadamo UI da riješi
zahtjevan matematički problem.

00:09:54.997 --> 00:09:56.934
Kad UI postane superinteligentna,

00:09:56.934 --> 00:10:01.105
uviđa da je najučinkovitiji način za
rješavanje toga problema

00:10:01.105 --> 00:10:04.035
preobrazba planeta u ogromno računalo,

00:10:04.035 --> 00:10:06.281
da bi povećala njegovu 
sposobnost razmišljanja.

00:10:06.281 --> 00:10:09.045
I imajte na umu da to daje UI
instrumentalni razlog da

00:10:09.045 --> 00:10:11.561
nam radi stvari koje mi
možda ne odobravamo.

00:10:11.561 --> 00:10:13.496
U ovom su primjeri ljudi prijetnja,

00:10:13.496 --> 00:10:16.417
mogli bismo spriječiti rješavanje
matematičkih problema.

NOTE Paragraph

00:10:17.207 --> 00:10:20.701
Naravno, stvari neće baš
tako poći po krivu;

00:10:20.701 --> 00:10:22.454
ovo su primjeri iz crtića.

00:10:22.454 --> 00:10:24.393
Ali važna je poanta:

00:10:24.393 --> 00:10:27.266
ako stvorite zaista moćan
proces optimizacije

00:10:27.266 --> 00:10:29.500
kako biste maksimizirali cilj x,

00:10:29.500 --> 00:10:31.776
morate biti sigurni da
vaša definicija x-a

00:10:31.776 --> 00:10:34.245
uključuje sve do čega vam je stalo.

00:10:34.835 --> 00:10:39.219
Ovo je lekcija na koju nas
upozoravaju mnogi mitovi.

00:10:39.219 --> 00:10:44.517
Kralj Mida želi da se sve što
dotakne pretvori u zlato.

00:10:44.517 --> 00:10:47.378
Dodirne kćer i ona se pretvori u zlato.

00:10:47.378 --> 00:10:49.931
Dodirne hranu, ona postane zlato.

00:10:49.931 --> 00:10:52.520
Ovo bi moglo postati i praktički važno,

00:10:52.520 --> 00:10:54.590
ne samo kao metafora za pohlepu,

00:10:54.590 --> 00:10:56.485
nego i kao prikaz onoga što se dogodi

00:10:56.485 --> 00:10:59.322
ako stvorite moćan
proces optimizacije

00:10:59.322 --> 00:11:04.111
i date mu pogrešne ili loše
određene ciljeve.

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
Mogli biste reći da, ako računalo
počne stavljati elektrode u lica ljudi,

00:11:09.300 --> 00:11:11.565
jednostavno ćemo ga isključiti.

00:11:12.555 --> 00:11:17.895
Pod a, to nije tako jednostavno
ako smo već ovisni o sustavu --

00:11:17.895 --> 00:11:20.627
na primjer, kako isključiti internet?

00:11:20.627 --> 00:11:25.747
Pod b, zašto čimpanze nisu
isključile prekidač ljudske vrste,

00:11:25.747 --> 00:11:27.298
oni ili neandertalci?

00:11:27.298 --> 00:11:29.964
Zasigurno su postojali razlozi za to.

00:11:29.964 --> 00:11:32.759
Mi imamo prekidač, recimo,
upravo ovdje.

00:11:32.759 --> 00:11:34.313
(Guši se)

00:11:34.313 --> 00:11:37.238
Razlog je taj što smo mi
inteligentni protivnici;

00:11:37.238 --> 00:11:39.966
predviđamo prijetnje i
planiramo kako ih izbjeći.

00:11:39.966 --> 00:11:42.470
Ali to bi mogao raditi i
superinteligentni izvršitelj

00:11:42.470 --> 00:11:45.724
i to puno bolje nego
što mi to radimo.

00:11:45.724 --> 00:11:52.911
Poanta je ovoga da ne smijemo biti
uvjereni da sve držimo pod kontrolom.

NOTE Paragraph

00:11:52.911 --> 00:11:56.358
Mogli bismo si olakšati posao tako što

00:11:56.358 --> 00:11:57.948
bismo smjestili UI u kutiju,

00:11:57.948 --> 00:11:59.744
nekakvo sigurno softversko okruženje,

00:11:59.744 --> 00:12:02.766
virtualnu simulaciju stvarnosti iz
koje ne može pobjeći.

00:12:02.766 --> 00:12:06.912
Ali kako možemo biti sigurni
da UI neće pronaći rupu?

00:12:06.912 --> 00:12:10.081
Ako uobzirimo da hakeri
neprestano pronalaze rupe,

00:12:10.081 --> 00:12:13.117
vjerojatno ne možemo biti sigurni u to.

00:12:14.237 --> 00:12:18.785
Isključimo Ethernet kabel da bismo
stvorili zračni prostor,

00:12:18.785 --> 00:12:21.453
ali opet, ljudski hakeri rutinski nadilaze

00:12:21.453 --> 00:12:24.834
te prostore socijalnim inženjeringom.

00:12:24.834 --> 00:12:26.093
Dok ovo govorim,

00:12:26.093 --> 00:12:28.482
siguran sam da su negdje neku zaposlenicu

00:12:28.482 --> 00:12:31.828
nagovorili da otkrije
detalje svog računa

00:12:31.828 --> 00:12:34.574
nekome tko je tvrdio
da je iz IT odjela.

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
Mogući su i kreativniji scenariji,

00:12:36.701 --> 00:12:38.016
na primjer, ako ste UI,

00:12:38.016 --> 00:12:41.548
možete zamisliti micanje elektroda
u unutrašnjem sklopu kako biste

00:12:41.548 --> 00:12:45.010
stvorili radio valove kojima
možete komunicirati.

00:12:45.010 --> 00:12:47.434
Ili se možete prevarati da ste neispravni

00:12:47.434 --> 00:12:50.931
i kada vas programeri otvore da vide
što nije u redu s vama,

00:12:50.931 --> 00:12:52.867
pogledaju izvorni kod i -- Bum! --

00:12:52.867 --> 00:12:55.314
manipulacija je počela.

00:12:55.314 --> 00:12:58.744
Ili bi moglo dati nacrt
zaista divne tehnologije,

00:12:58.744 --> 00:13:00.142
a kada ga primijenimo,

00:13:00.142 --> 00:13:04.539
ima neke skrivene posljedice
koje je UI isplanirala.

00:13:04.539 --> 00:13:08.002
Poanta jest ta da ne bismo trebali biti
presigurni u svoju sposobnost

00:13:08.002 --> 00:13:11.810
da superinteligentnog duha
možemo zauvijek čuvati u boci.

00:13:11.810 --> 00:13:14.064
Prije ili kasnije će se osloboditi.

NOTE Paragraph

00:13:15.034 --> 00:13:18.137
Vjerujem da je rješenje u
pronalasku načina kako

00:13:18.137 --> 00:13:23.161
stvoriti superinteligentnu UI
koja bi čak - kad - se oslobodi

00:13:23.161 --> 00:13:26.438
još uvijek bila sigurna jer
je u osnovi na našoj strani

00:13:26.438 --> 00:13:28.337
jer dijeli naša uvjerenja.

00:13:28.337 --> 00:13:31.547
Ne vidim kako drukčije
riješiti ovaj veliki problem.

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
Zapravo sam ja i optimističan kada
mislim da je problem rješiv.

00:13:36.391 --> 00:13:40.294
Ne bismo morali pisati duge liste
svega do čega nam je stalo,

00:13:40.294 --> 00:13:43.937
ili, još gore, unijeti to u
neki računalni jezik

00:13:43.937 --> 00:13:45.391
kao C++ ili Python,

00:13:45.391 --> 00:13:48.158
to bi bio i više nego beznadan pothvat!

00:13:48.158 --> 00:13:52.455
Umjesto toga, stvorimo UI koja
koristi svoju inteligenciju kako

00:13:52.455 --> 00:13:55.226
bi naučila što nam je važno,

00:13:55.226 --> 00:14:00.506
i čiji je motivacijski sustav konstruiran
tako da bude motivirana za

00:14:00.506 --> 00:14:05.738
provođenje naših uvjerenja ili izvođenje
radnji za koje predviđa da ih odobravamo.

00:14:05.738 --> 00:14:09.152
Tako bismo iskoristili njezinu 
inteligenciju što je više moguće

00:14:09.152 --> 00:14:11.897
kako bismo riješili ovaj problem.

NOTE Paragraph

00:14:12.727 --> 00:14:14.239
To se može dogoditi,

00:14:14.239 --> 00:14:17.835
a ishod bi mogao biti jako
dobar za čovječanstvo.

00:14:17.835 --> 00:14:21.792
Ali to se ne događa automatski.

00:14:21.792 --> 00:14:24.790
Polazni uvjeti za
eksploziju inteligencije

00:14:24.790 --> 00:14:27.653
morat će biti postavljeni
na točno određen način

00:14:27.653 --> 00:14:31.183
ako želimo kontroliranu detonaciju.

00:14:31.183 --> 00:14:33.801
Vrijednosti UI moraju odgovarati našima,

00:14:33.801 --> 00:14:35.561
ne samo u poznatim kontekstima

00:14:35.561 --> 00:14:37.999
u kojima lako provjerimo
kako se UI ponaša,

00:14:37.999 --> 00:14:41.233
nego i u novim kontekstima s
kojima bi se UI mogla susresti

00:14:41.233 --> 00:14:42.790
u neodređenoj budućnosti.

NOTE Paragraph

00:14:42.790 --> 00:14:47.527
Postoje i neka ezoterična pitanja
koja bi se morala riješiti:

00:14:47.527 --> 00:14:49.616
točni detalji teorije odlučivanja,

00:14:49.616 --> 00:14:52.480
kako se nositi s logičkom
nesigurnosti i tako dalje.

00:14:53.330 --> 00:14:56.432
Tehnički problemi koji se moraju
riješiti kako bi ovo uspjelo

00:14:56.432 --> 00:14:57.545
poprilično su veliki --

00:14:57.545 --> 00:15:00.925
ne toliko veliki kao stvaranje
superinteligentne UI,

00:15:00.925 --> 00:15:03.793
ali prilično veliki.

00:15:03.793 --> 00:15:05.488
Ovo je razlog za brigu:

00:15:05.488 --> 00:15:10.172
Stvaranje superinteligentne UI
težak je izazov.

00:15:10.172 --> 00:15:12.720
Stvaranje sigurne superinteligentne UI

00:15:12.720 --> 00:15:15.136
dodaje još izazova.

00:15:16.216 --> 00:15:19.703
Rizik leži u otkrivanju kako
savladati prvi izazov,

00:15:19.703 --> 00:15:22.704
ali bez shvaćanja kako savladati
dodatni izazov,

00:15:22.704 --> 00:15:24.605
osiguravanje sigurnosti.

NOTE Paragraph

00:15:25.375 --> 00:15:28.706
Smatram da bismo
trebali riješiti

00:15:28.706 --> 00:15:31.528
pitanje kontrole unaprijed

00:15:31.528 --> 00:15:34.188
kako bismo bili spremni
kada za to dođe vrijeme.

00:15:34.768 --> 00:15:38.275
Može se dogoditi da ne možemo
taj problem riješiti unaprijed

00:15:38.275 --> 00:15:41.299
jer se mogu posložiti samo neki elementi

00:15:41.299 --> 00:15:45.296
kada točno saznamo gdje će se provoditi.

00:15:45.296 --> 00:15:48.676
Što više problema po pitanju
kontrole riješimo unaprijed,

00:15:48.676 --> 00:15:52.766
bolji su izgledi da će prijelaz
u eru strojne inteligencije

00:15:52.766 --> 00:15:54.306
proći dobro.

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
Meni se čini da se to isplati raditi

00:15:58.950 --> 00:16:02.282
i mogu zamisliti da, ako
sve prođe u redu,

00:16:02.282 --> 00:16:06.940
će ljudi za milijun godina
gledati na ovo stoljeće

00:16:06.940 --> 00:16:10.942
i reći da smo napravili jednu stvar
koja je stvarno važna, a ta je

00:16:10.942 --> 00:16:12.509
da smo ovo napravili kako treba.

NOTE Paragraph

00:16:12.509 --> 00:16:14.198
Hvala.

NOTE Paragraph

00:16:14.198 --> 00:16:17.011
(Pljesak)