0:00:00.570,0:00:06.327
Lucrez cu matematicieni, [br]filozofi și cercetători IT

0:00:06.327,0:00:08.556
și ne gândim

0:00:08.556,0:00:11.540
la viitorul inteligenței artificiale,[br]printre altele.

0:00:12.030,0:00:16.605
Unii cred că unele dintre aceste lucruri [br]sunt științifico-fantastice,

0:00:16.605,0:00:18.896
departe de noi, nebunești.

0:00:19.756,0:00:21.326
Dar mie îmi place să zic:

0:00:21.326,0:00:24.930
OK, hai să vedem condiția omului modern.

0:00:24.930,0:00:26.622
(Râsete)

0:00:26.622,0:00:28.624
Asta e normalul.

0:00:30.074,0:00:31.309
Dar de fapt

0:00:31.309,0:00:34.602
suntem niște oaspeți[br]relativ recenți pe această planetă

0:00:34.602,0:00:36.044
ca specie umană.

0:00:37.584,0:00:41.290
Gândiți-vă, dacă Pământul [br]a fi fost creat în urmă cu un an,

0:00:41.290,0:00:44.338
specia umană ar fi existat [br]de doar 10 minute.

0:00:44.978,0:00:47.826
Epoca Industrială ar fi început [br]de doar două secunde.

0:00:49.276,0:00:54.281
Am putea analiza aceasta și din prisma [br]PIB-ului global din ultimii 10 000 de ani.

0:00:54.281,0:00:57.310
V-am făcut și un grafic.

0:00:58.070,0:00:59.224
Arată așa.

0:00:59.224,0:01:00.667
(Râsete)

0:01:00.667,0:01:03.078
Are o formă ciudată [br]pentru o situație normală.

0:01:03.078,0:01:05.076
Eu unul nu m-aș așeza pe el.

0:01:05.076,0:01:06.597
(Râsete)

0:01:06.597,0:01:11.661
Hai să ne punem întrebarea: [br]care ar fi cauza acestei anomalii?

0:01:11.841,0:01:14.393
Unii ar zice că ar fi tehnologia.

0:01:14.393,0:01:19.061
Adevărat, în decursul istoriei, [br]umanitatea a acumulat multă tehnologie

0:01:19.061,0:01:23.293
și, în acest moment, tehnologia [br]avansează extrem de rapid.

0:01:23.653,0:01:25.278
Aceasta e cauza imediată,

0:01:25.278,0:01:27.843
de aceea suntem atât de productivi.

0:01:28.623,0:01:33.134
Dar îmi place să gândesc mai departe,[br]la cauza primară.

0:01:33.134,0:01:35.900
Priviți-i pe acești domni distinși.

0:01:36.720,0:01:38.480
Îl avem pe Kanzi,

0:01:38.480,0:01:42.573
el a stăpânit 200 de semne lexicale,[br]o ispravă nemaipomenită.

0:01:42.973,0:01:46.587
Și pe Ed Witten care a declanșat [br]a doua revoluție a superstringurilor.

0:01:46.817,0:01:49.141
Dacă „deschidem capota”, iată ce găsim:

0:01:49.141,0:01:50.711
în esență același lucru.

0:01:50.711,0:01:52.374
Unul dintre ele e ceva mai mare,

0:01:52.374,0:01:55.602
posibil cu câteva trucuri în plus[br]în privința modului de montare.

0:01:55.602,0:01:59.094
Aceste diferențe invizibile, totuși, [br]nu pot fi prea complicate

0:01:59.094,0:02:03.379
pentru că s-au perindat [br]doar 250 000 de generații

0:02:03.379,0:02:05.421
de la ultimul nostru strămoș comun

0:02:05.421,0:02:09.130
și știm că mecanismele complicate [br]durează mult până evoluează.

0:02:09.830,0:02:12.929
Așa că o mână de schimbări minore

0:02:12.929,0:02:15.786
ne-au dus de la Kanzi la Witten,

0:02:15.786,0:02:20.109
de la crengi rupte[br]la rachete balistice intercontinentale.

0:02:20.839,0:02:24.774
Atunci pare destul de evident[br]că tot ce am realizat

0:02:24.774,0:02:27.802
și toate cele de care ne pasă [br]depind radical

0:02:27.802,0:02:31.560
de schimbări relativ minore [br]făcute de mintea umană.

0:02:32.570,0:02:36.312
Iar corolarul este, desigur,[br]că orice viitoare schimbare

0:02:36.312,0:02:39.649
ce ar putea schimba substanțial[br]substratul gândirii

0:02:39.649,0:02:42.571
ar putea avea consecințe uriașe.

0:02:44.771,0:02:47.226
Unii colegi cred că suntem pe cale

0:02:47.226,0:02:51.134
de a produce ceva ce ar putea cauza[br]o schimbare profundă a acestui substrat,

0:02:51.134,0:02:53.797
aceasta fiind [br]superinteligența artificială.

0:02:54.347,0:02:58.946
Inteligența artificială era desemnată[br]ca fiind o cutie în care se pun comenzi.

0:02:58.946,0:03:01.341
Trebuiau să existe programatori umani

0:03:01.341,0:03:04.776
care să modeleze din greu [br]părțile de cunoaștere.

0:03:04.776,0:03:06.442
Se realizează niște sisteme expert

0:03:06.442,0:03:08.296
care vor fi de folos în anumit scop,

0:03:08.296,0:03:10.827
dar care sunt foarte firave,[br]nu se pot extinde.

0:03:10.827,0:03:13.690
În principiu, primești de la ele[br]doar ce ai programat.

0:03:14.410,0:03:15.627
De atunci, însă,

0:03:15.627,0:03:18.874
s-a produs o schimbare în paradigmă[br]în inteligența artificială.

0:03:18.874,0:03:22.424
Acum acțiunea se petrece în jurul[br]învățării sistemelor artificiale.

0:03:22.424,0:03:28.551
În loc să realizăm reprezentări și [br]caracteristici ale cunoașterii,

0:03:28.551,0:03:33.775
creăm algoritmi de învățare adesea [br]pe bază de date perceptuale brute.

0:03:34.685,0:03:38.253
În principiu, lucru similar [br]cu ceea ce face un copil.

0:03:39.063,0:03:43.270
Rezultatul este o I.A. [br]ce nu se limitează la un domeniu,

0:03:43.270,0:03:47.701
același sistem putând să învețe [br]să traducă între oricare două limbi

0:03:47.701,0:03:53.088
sau să învețe să joace orice joc[br]pe calculator pe o consolă Atari.

0:03:53.938,0:03:55.117
Desigur,

0:03:55.117,0:03:58.936
I.A. nu are nici pe departe puterea,

0:03:58.936,0:04:02.065
abilitatea transdisciplinară a omului[br]de a planifica și învăța.

0:04:02.065,0:04:04.601
Cortexul are încă [br]niște trucuri de algoritm

0:04:04.601,0:04:07.241
pe care încă nu știm cum [br]să le transpunem în mecanisme.

0:04:07.886,0:04:09.735
Se pune deci întrebarea

0:04:09.735,0:04:12.815
cât de de departe suntem de momentul [br]în care putem face asta.

0:04:14.265,0:04:15.328
Cu câțiva ani în urmă,

0:04:15.328,0:04:18.146
am făcut un sondaj printre [br]cei mai de seamă experți în I.A.

0:04:18.146,0:04:21.440
pentru a vedea ce cred ei [br]și una din întrebări a fost:

0:04:21.440,0:04:24.793
„Până în ce an credeți că vom ajunge [br]la probabilitatea de 50%

0:04:24.793,0:04:28.255
de a realizare inteligența artificiala[br]la nivelul omului?”

0:04:29.115,0:04:33.148
Prin „nivelul omului” am înțeles [br]capacitatea de a presta

0:04:33.148,0:04:35.839
aproape orice sarcină[br]cel puțin la nivelul unui adult,

0:04:35.839,0:04:39.204
deci nivel uman general, [br]nu doar limitat la un domeniu restrâns.

0:04:39.844,0:04:43.494
Răspunsul mediu a fost 2040 sau 2050,

0:04:43.494,0:04:46.300
în funcție de[br]grupul de experți chestionați.

0:04:47.520,0:04:50.339
S-ar putea întâmpla [br]mult mai târziu sau mai devreme,

0:04:50.339,0:04:52.279
adevărul e că nimeni nu știe.

0:04:53.179,0:04:57.671
Ceea ce știm e că limita superioară [br]a procesării informației

0:04:57.671,0:05:02.542
într-un mediu artificial e mult [br]mai departe de limitele noastre biologice.

0:05:03.241,0:05:05.449
Totul se reduce la fizică.

0:05:05.449,0:05:10.177
Neuronul transmite la vreo 200 de herți, [br]de 200 de ori pe secundă.

0:05:10.177,0:05:13.561
Dar chiar și acum, un tranzistor [br]operează în gigaherți.

0:05:13.881,0:05:17.138
Impulsurile se propagă prin axoni încet, [br]

0:05:17.138,0:05:19.398
cu cel mult 100 de metri pe secundă.

0:05:19.398,0:05:22.339
Dar în calculatoare semnalele [br]pot circula cu viteza luminii.

0:05:23.079,0:05:24.948
Există și limitări date de volum,

0:05:24.948,0:05:28.205
creierul uman trebuie [br]să încapă în cutia craniană,

0:05:28.205,0:05:31.766
dar un calculator poate fi mare [br]cât un depozit sau mai mare.

0:05:32.736,0:05:38.505
Deci potențialul de superinteligență[br]e în stare latentă în materie,

0:05:38.505,0:05:42.187
la fel ca puterea atomului [br]care a fost în stare latentă

0:05:42.187,0:05:43.907
în toată istoria umanității,

0:05:43.907,0:05:47.262
așteptând cu răbdare până în 1945.

0:05:48.262,0:05:49.150
În acest secol,

0:05:49.150,0:05:53.818
oamenii de știință ar putea să trezească [br]puterea inteligenței artificiale.

0:05:53.818,0:05:57.596
Și cred că atunci am putea fi martorii [br]unei explozii de inteligență.

0:05:58.406,0:06:02.363
Majoritatea oamenilor, gândindu-se [br]la cine e deștept și cine prost,

0:06:02.363,0:06:05.386
cred că au în cap ceva de genul acesta.

0:06:05.386,0:06:07.984
La o extremitate avem prostul satului,

0:06:07.984,0:06:10.467
departe, la cealaltă extremitate,

0:06:10.467,0:06:14.943
pe Ed Witten, sau Albert Einstein, [br]sau oricine altcineva ar fi favoritul.

0:06:15.403,0:06:19.797
Dar eu zic că, din punctul de vedere [br]al inteligenței artificiale,

0:06:19.797,0:06:22.738
schema este, de fapt, mai mult așa:

0:06:23.258,0:06:26.636
I.A. începe în acest punct,[br]la inteligență zero,

0:06:26.636,0:06:29.647
apoi, după foarte mulți ani [br]de muncă asiduă,

0:06:29.647,0:06:33.601
poată că inteligența artificială [br]ajunge la nivelul șoarecelui,

0:06:33.601,0:06:37.751
ceva ce poate naviga într-un mediu haotic[br]la fel de bine cum poate un șoarece.

0:06:37.751,0:06:42.221
Iar apoi, după alți mulți ani [br]de muncă asiduă, cu multe investiții,

0:06:42.221,0:06:46.130
poate că inteligența artificială [br]ajunge la nivelul cimpanzeului.

0:06:46.860,0:06:49.960
Iar apoi, după și mai mulți ani [br]de muncă asiduă,

0:06:49.960,0:06:52.823
ajungem la inteligența artificială [br]a prostului satului.

0:06:52.823,0:06:56.055
Și după câteva momente [br]suntem dincolo de Ed Witten.

0:06:56.055,0:06:58.955
Trenul nu oprește la „Gara Omului”.

0:06:58.955,0:07:01.717
Din contră, probabil va trece în viteză.

0:07:02.247,0:07:04.621
Aceasta are implicații serioase,

0:07:04.621,0:07:07.763
mai ales când vine vorba [br]de probleme de putere.

0:07:08.093,0:07:09.992
De exemplu, cimpanzeii sunt puternici:

0:07:09.992,0:07:14.854
la kilograme, cimpanzeul e de vreo 2 ori [br]mai puternic decât un bărbat sănătos.

0:07:15.214,0:07:20.248
Totuși, soarta lui Kanzi și a celor ca el[br]depinde cu mult mai mult

0:07:20.248,0:07:23.968
de ce facem noi, oamenii, [br]decât de ce fac semenii cimpanzei.

0:07:25.528,0:07:27.542
Cu apariția superinteligenței,

0:07:27.542,0:07:31.381
soarta umanității poate depinde [br]de ce face superinteligența.

0:07:32.451,0:07:33.978
Gândiți-vă:

0:07:33.978,0:07:38.012
inteligența artificială e ultima invenție[br]pe care va trebui s-o facă umanitatea.

0:07:38.382,0:07:41.305
Căci după aceea mașinile [br]vor fi mai bune la inventat decât noi

0:07:41.305,0:07:44.305
și vor face asta la scară digitală.

0:07:44.305,0:07:48.346
Aceasta înseamnă, de fapt, [br]telescopizarea viitorului.

0:07:48.966,0:07:52.524
Luați toate tehnologiile nebunești [br]pe care vi le-ați putea imagina,

0:07:52.524,0:07:55.322
pe care oamenii [br]le-ar putea realiza în timp:

0:07:55.322,0:07:58.580
oprirea îmbătrânirii, [br]colonizarea spațiului cosmic,

0:07:58.580,0:08:02.311
nanoroboți auto-replicativi [br]sau încărcarea minții în calculator,

0:08:02.311,0:08:04.470
tot felul de chestii SF

0:08:04.470,0:08:06.937
care sunt totuși în concordanță [br]cu legile fizicii.

0:08:06.937,0:08:11.419
Pe toate astea superinteligența[br]le poate realiza, și încă foarte repede.

0:08:12.449,0:08:15.887
Superinteligența de o astfel de [br]maturitate tehnologică

0:08:15.887,0:08:18.206
ar fi extrem de puternică

0:08:18.206,0:08:22.412
și, cel puțin în unele scenarii,[br]ar putea obține ce vrea.

0:08:23.012,0:08:27.713
Atunci am avea viitorul[br]modelat de preferințele acesteia.

0:08:29.855,0:08:33.604
O întrebare bună este:[br]care ar fi aceste preferințe?

0:08:34.244,0:08:36.013
Aici e mai cu schepsis.

0:08:36.013,0:08:37.448
Pentru a avansa cu acest gând,

0:08:37.448,0:08:40.724
în primul rând trebuie [br]să evităm antropomorfizarea.

0:08:41.934,0:08:45.235
Iar asta e ironic pentru că [br]orice articol de ziar

0:08:45.235,0:08:48.200
despre viitorul I.A. are o poză ca asta:

0:08:50.610,0:08:54.414
Cred că trebuie să concepem [br]chestiunea mai abstract,

0:08:54.414,0:08:56.954
nu în termenii colorați[br]ai scenariilor hollywoodiene.

0:08:57.204,0:09:00.821
Trebuie să ne gândim la inteligență[br]ca un proces de optimizare,

0:09:00.821,0:09:05.860
un proces ce îndreaptă viitorul[br]într-un anumit set de configurații.

0:09:06.470,0:09:09.981
Superinteligența ca proces [br]de optimizare foarte puternic.

0:09:09.981,0:09:12.718
Extrem de bună pentru a folosi [br]mijloacele existente

0:09:12.718,0:09:15.687
pentru a realiza o stare [br]în care obiectivele ei sunt atinse.

0:09:16.447,0:09:18.739
Aceasta înseamnă [br]că nu există neapărat legătură

0:09:18.739,0:09:21.713
între a fi foarte inteligent în acest sens

0:09:21.713,0:09:26.325
și a avea un obiectiv pe care noi, [br]oamenii, l-am considera util și cu sens.

0:09:27.321,0:09:30.875
Să zicem că îi dăm unei I.A. ca obiectiv [br]să-i facă pe oameni să zâmbească.

0:09:31.115,0:09:34.097
Când I.A. e slabă, acționează [br]util sau amuzant

0:09:34.097,0:09:36.154
ceea ce îl face pe utilizator [br]să zâmbească.

0:09:36.614,0:09:39.031
Când I.A. devine superinteligentă,

0:09:39.031,0:09:42.554
își dă seama că există o cale [br]mai eficientă pentru a atinge acest scop:

0:09:42.554,0:09:44.476
preia controlul asupra lumii

0:09:44.476,0:09:47.638
și implantează electrozi [br]în mușchii faciali ai oamenilor

0:09:47.638,0:09:50.179
pentru a obține rânjete [br]strălucitoare constante.

0:09:50.449,0:09:51.414
Alt exemplu:

0:09:51.414,0:09:54.997
dăm I.A. ca obiectiv să rezolve [br]o problemă de matematică grea.

0:09:54.997,0:09:56.934
Când I.A. devine superinteligentă,

0:09:56.934,0:10:00.625
își dă seama că modul cel mai eficient [br]pentru a găsi soluția problemei

0:10:00.625,0:10:04.035
este transformarea planetei[br]într-un calculator gigant

0:10:04.035,0:10:06.281
pentru a-i crește capacitatea de gândire.

0:10:06.281,0:10:09.045
Luați seamă că aceasta dă I.A.-ului [br]rațiunea instrumentală

0:10:09.045,0:10:11.561
pentru a ne face lucruri [br]cu care nu suntem de acord.

0:10:11.561,0:10:13.496
În acest caz, oamenii sunt o amenințare,

0:10:13.496,0:10:16.287
am putea să împiedicăm rezolvarea [br]problemei de matematică.

0:10:17.067,0:10:20.121
Desigur, se vede că lucrurile [br]nu vor degenera chiar astfel;

0:10:20.121,0:10:22.184
acestea sunt exemple exagerate.

0:10:22.454,0:10:24.393
Dar esența lor e importantă:

0:10:24.393,0:10:27.266
dacă vrei să realizezi [br]un proces de optimizare puternic

0:10:27.266,0:10:29.500
pentru a maximiza [br]atingerea obiectivului x,

0:10:29.500,0:10:31.776
ar fi bine să te asiguri [br]că definiția acelui x

0:10:31.776,0:10:34.155
încorporează tot ce contează pentru tine.

0:10:34.835,0:10:38.489
E un motiv ce apare și în multe legende.

0:10:39.219,0:10:43.807
Regele Midas vroia ca tot ce atinge [br]să se transforme în aur.

0:10:44.517,0:10:47.028
Și-a atins fiica, s-a transformat în aur.

0:10:47.378,0:10:49.621
S-a atins de mâncare, [br]s-a transformat în aur.

0:10:49.931,0:10:52.460
Aceasta poate fi relevant în practică,

0:10:52.460,0:10:54.590
nu doar ca o metaforă a lăcomiei,

0:10:54.590,0:10:56.485
ci și pentru a ilustra ce se întâmplă

0:10:56.485,0:10:59.172
dacă realizezi [br]un proces de optimizare puternic,

0:10:59.172,0:11:03.371
cu obiectivele concepute eronat [br]sau insuficient de detaliate.

0:11:04.281,0:11:09.300
Ați putea zice că dacă un calculator [br]începe să implanteze electrozi în oameni

0:11:09.300,0:11:11.155
nu avem decât să îl închidem.

0:11:12.555,0:11:17.895
A, poate să nu fie chiar așa de ușor [br]dacă suntem dependenți de sistem –

0:11:17.895,0:11:19.937
de unde se poate stinge Internetul?

0:11:20.627,0:11:25.387
B, de ce nu au apăsat cimpanzeii [br]pe întrerupătorul umanității?

0:11:25.977,0:11:27.298
Sau neanderthalienii?

0:11:27.298,0:11:29.144
Cu siguranță aveau motive să o facă.

0:11:29.964,0:11:32.759
Avem un întrerupător, de exemplu aici.

0:11:32.759,0:11:34.313
(Se sugrumă)

0:11:34.313,0:11:37.238
Motivul e că suntem [br]un adversar inteligent;

0:11:37.238,0:11:39.966
putem anticipa pericolul[br]și putem să-l preîntâmpinăm.

0:11:39.966,0:11:42.470
Dar la fel ar fi [br]și un agent superinteligent

0:11:42.470,0:11:44.864
și ar fi mult mai bun decât noi.

0:11:45.724,0:11:52.911
Faza e că nu ar trebui să credem[br]că deținem controlul aici.

0:11:52.911,0:11:56.358
Am putea încerca, [br]pentru a ne ușura un pic treaba,

0:11:56.358,0:11:58.078
să zicem să punem I.A. într-o cutie,

0:11:58.078,0:11:59.804
de pildă un mediu de soft securizat,

0:11:59.804,0:12:02.766
o simulare de realitate virtuală[br]din care nu poate scăpa.

0:12:02.766,0:12:06.912
Dar cât de siguri putem fi[br]că I.A. nu găsește un virus.

0:12:06.912,0:12:10.081
Dat fiind că simplii hackeri umani [br]găsesc tot timpul viruși,

0:12:10.081,0:12:12.477
aș zice că, probabil, nu foarte siguri.

0:12:14.237,0:12:18.155
Sau deconectăm cablul ethernet [br]pentru a crea o întrerupere.

0:12:18.785,0:12:20.893
Dar, la fel, simplii hackeri umani

0:12:20.893,0:12:24.834
trec adesea peste întreruperi,[br]prin inginerie socială.

0:12:24.834,0:12:26.093
Chiar în acest moment,

0:12:26.093,0:12:28.482
sunt sigur că există un angajat pe undeva

0:12:28.482,0:12:31.198
care este păcălit[br]să-și dea datele de cont

0:12:31.198,0:12:34.414
de către cineva care se dă drept [br]funcționar la departamentul I.T.

0:12:34.694,0:12:36.701
Există și alte scenarii creative posibile

0:12:36.701,0:12:38.016
cum ar fi: dacă ești I.A.

0:12:38.016,0:12:41.598
ți-ai putea imagina să-ți pui [br]electrozi în circuitul intern propriu

0:12:41.598,0:12:44.980
pentru a crea unde radio [br]pe care să le folosești pentru comunicare.

0:12:44.980,0:12:47.604
Sau poate te-ai putea preface [br]că nu funcționezi corect

0:12:47.604,0:12:50.931
și apoi, când programatorii te deschid [br]să vadă care-i baiul cu tine,

0:12:50.931,0:12:52.567
se uită la codul-sursă – pac! –

0:12:52.567,0:12:54.404
poate avea loc manipularea.

0:12:55.134,0:12:58.744
Sau ar putea produce planul[br]unei tehnologii mișto

0:12:58.744,0:13:00.142
și, când să o implementăm,

0:13:00.142,0:13:04.369
ea are niște efecte secundare ascunse[br]pe care le-a gândit I.A.

0:13:05.019,0:13:08.002
Concluzia este că nu ar trebui [br]să avem prea mare încredere

0:13:08.002,0:13:11.530
că putem ține duhul superinteligent [br]închis în sticla sa pentru totdeauna.

0:13:11.810,0:13:13.854
Mai degrabă sau mai târziu, va ieși.

0:13:15.034,0:13:18.137
Cred că aici răspunsul este[br]să găsim modalitatea

0:13:18.137,0:13:23.091
de a crea o I.A. superinteligentă[br]care, chiar și după ce scapă,

0:13:23.091,0:13:26.438
e totuși sigură, pentru că[br]în mod fundamental e de partea noastră,

0:13:26.438,0:13:28.337
pentru că are valorile noastre.

0:13:28.337,0:13:31.547
Nu văd altă cale de rezolvare[br]a acestei probleme dificile.

0:13:33.577,0:13:36.391
Sunt încrezător că putem rezolva[br]această problemă.

0:13:36.391,0:13:40.294
Nu ar trebui să facem o listă lungă[br]cu toate lucrurile la care ținem

0:13:40.294,0:13:43.937
sau, mai rău, să le traducem [br]într-un limbaj mașină

0:13:43.937,0:13:45.391
ca C++ sau Python.

0:13:45.391,0:13:48.158
Asta ar fi o sarcină absolut imposibilă.

0:13:48.158,0:13:52.455
În loc de asta, ar trebui să creăm o I.A.[br]ce-și folosește propria inteligență

0:13:52.455,0:13:55.066
pentru a ne învăța valorile,

0:13:55.066,0:13:58.556
iar sistemul ei de motivare [br]să fie construit astfel încât

0:13:58.556,0:14:01.438
să fie motivată să ne urmeze valorile[br]

0:14:01.438,0:14:05.358
sau să facă acțiuni la care se poate[br]aștepta să aibă aprobarea noastră.

0:14:06.208,0:14:09.152
Astfel am avea, pe cât posibil, [br]o pârghie asupra inteligenței

0:14:09.152,0:14:11.897
în rezolvarea problemei [br]valorilor încărcate.

0:14:12.567,0:14:14.079
Se poate realiza,

0:14:14.079,0:14:17.015
iar rezultatul ar fi foarte bun [br]pentru umanitate.

0:14:17.835,0:14:21.252
Dar asta nu se întâmplă automat.

0:14:21.792,0:14:24.690
Condițiile inițiale [br]pentru explozia de inteligență

0:14:24.690,0:14:27.583
ar trebui setate corespunzător

0:14:27.583,0:14:30.283
dacă vrem să avem o explozie controlată.

0:14:31.183,0:14:33.801
Valorile I.A. trebuie să fie [br]potrivite cu ale noastre,

0:14:33.801,0:14:35.921
nu doar în contextul obișnuit,

0:14:35.921,0:14:38.179
când putem verifica ușor [br]comportamentul I.A.

0:14:38.179,0:14:41.233
ci și în situațiile noi [br]în care se va putea afla I.A.

0:14:41.233,0:14:42.550
într-un viitor nedefinit.

0:14:42.550,0:14:47.517
Există și aspecte ezoterice[br]ce vor trebui rezolvate, clarificate:

0:14:47.517,0:14:49.616
detaliile exacte ale teoriei deciziilor,

0:14:49.616,0:14:51.990
cum să trateze incertitudinea logică etc.

0:14:53.300,0:14:56.262
Problemele tehnice de rezolvat[br]pentru ca aceasta să funcționeze

0:14:56.262,0:14:57.465
par destul de dificile.

0:14:57.465,0:15:00.805
Nu chiar așa de dificile[br]ca realizarea I.A. superinteligente,

0:15:00.805,0:15:02.473
dar destul de dificile.

0:15:03.793,0:15:05.528
Iată ce mă îngrijorează:

0:15:05.528,0:15:09.162
realizarea I.A. superinteligente[br]e o mare provocare.

0:15:10.172,0:15:12.720
Realizarea I.A. superinteligente[br]care este sigură

0:15:12.720,0:15:15.136
implică probleme suplimentare.

0:15:16.386,0:15:19.493
Riscul e ca cineva să reușească [br]să rezolve prima provocare

0:15:19.493,0:15:22.704
fără a găsi calea rezolvării [br]problemelor suplimentare

0:15:22.704,0:15:24.605
de asigurare a unei siguranțe perfecte.

0:15:25.375,0:15:28.706
Cred că ar trebui să găsim o soluție

0:15:28.706,0:15:31.378
pentru a controla problema în avans,

0:15:31.378,0:15:33.908
pentru a o avea când va fi nevoie.

0:15:34.768,0:15:38.275
S-ar putea să nu putem rezolva [br]problema controlului total în avans

0:15:38.275,0:15:41.299
pentru că poate unele elemente[br]pot fi puse la locul lor

0:15:41.299,0:15:45.036
doar cunoscând detaliile arhitecturii[br]locului de implementare.

0:15:45.036,0:15:48.946
Dar cu cât rezolvăm mai mult [br]în avans problema controlului,

0:15:48.946,0:15:52.546
cu atât sunt mai mari șansele ca trecerea [br]la era inteligenței artificiale

0:15:52.546,0:15:53.786
să decurgă lin.

0:15:54.306,0:15:58.880
Mi se pare un lucru ce merită făcut

0:15:58.880,0:16:03.412
și pot să îmi imaginez că, dacă iese bine,

0:16:03.412,0:16:06.940
oamenii, peste un milion de ani,[br]privind înapoi la acest secol,

0:16:06.940,0:16:10.772
ar putea foarte bine zice[br]că singurul lucru important făcut de noi

0:16:10.772,0:16:12.329
a fost că am făcut aceasta bine.

0:16:12.329,0:16:13.438
Mulțumesc.

0:16:13.438,0:16:17.011
(Aplauze)