1
00:00:00,570 --> 00:00:06,327
Lucrez cu matematicieni, 
filozofi și cercetători IT

2
00:00:06,327 --> 00:00:08,556
și ne gândim

3
00:00:08,556 --> 00:00:11,540
la viitorul inteligenței artificiale,
printre altele.

4
00:00:12,030 --> 00:00:16,605
Unii cred că unele dintre aceste lucruri 
sunt științifico-fantastice,

5
00:00:16,605 --> 00:00:18,896
departe de noi, nebunești.

6
00:00:19,756 --> 00:00:21,326
Dar mie îmi place să zic:

7
00:00:21,326 --> 00:00:24,930
OK, hai să vedem condiția omului modern.

8
00:00:24,930 --> 00:00:26,622
(Râsete)

9
00:00:26,622 --> 00:00:28,624
Asta e normalul.

10
00:00:30,074 --> 00:00:31,309
Dar de fapt

11
00:00:31,309 --> 00:00:34,602
suntem niște oaspeți
relativ recenți pe această planetă

12
00:00:34,602 --> 00:00:36,044
ca specie umană.

13
00:00:37,584 --> 00:00:41,290
Gândiți-vă, dacă Pământul 
a fi fost creat în urmă cu un an,

14
00:00:41,290 --> 00:00:44,338
specia umană ar fi existat 
de doar 10 minute.

15
00:00:44,978 --> 00:00:47,826
Epoca Industrială ar fi început 
de doar două secunde.

16
00:00:49,276 --> 00:00:54,281
Am putea analiza aceasta și din prisma 
PIB-ului global din ultimii 10 000 de ani.

17
00:00:54,281 --> 00:00:57,310
V-am făcut și un grafic.

18
00:00:58,070 --> 00:00:59,224
Arată așa.

19
00:00:59,224 --> 00:01:00,667
(Râsete)

20
00:01:00,667 --> 00:01:03,078
Are o formă ciudată 
pentru o situație normală.

21
00:01:03,078 --> 00:01:05,076
Eu unul nu m-aș așeza pe el.

22
00:01:05,076 --> 00:01:06,597
(Râsete)

23
00:01:06,597 --> 00:01:11,661
Hai să ne punem întrebarea: 
care ar fi cauza acestei anomalii?

24
00:01:11,841 --> 00:01:14,393
Unii ar zice că ar fi tehnologia.

25
00:01:14,393 --> 00:01:19,061
Adevărat, în decursul istoriei, 
umanitatea a acumulat multă tehnologie

26
00:01:19,061 --> 00:01:23,293
și, în acest moment, tehnologia 
avansează extrem de rapid.

27
00:01:23,653 --> 00:01:25,278
Aceasta e cauza imediată,

28
00:01:25,278 --> 00:01:27,843
de aceea suntem atât de productivi.

29
00:01:28,623 --> 00:01:33,134
Dar îmi place să gândesc mai departe,
la cauza primară.

30
00:01:33,134 --> 00:01:35,900
Priviți-i pe acești domni distinși.

31
00:01:36,720 --> 00:01:38,480
Îl avem pe Kanzi,

32
00:01:38,480 --> 00:01:42,573
el a stăpânit 200 de semne lexicale,
o ispravă nemaipomenită.

33
00:01:42,973 --> 00:01:46,587
Și pe Ed Witten care a declanșat 
a doua revoluție a superstringurilor.

34
00:01:46,817 --> 00:01:49,141
Dacă „deschidem capota”, iată ce găsim:

35
00:01:49,141 --> 00:01:50,711
în esență același lucru.

36
00:01:50,711 --> 00:01:52,374
Unul dintre ele e ceva mai mare,

37
00:01:52,374 --> 00:01:55,602
posibil cu câteva trucuri în plus
în privința modului de montare.

38
00:01:55,602 --> 00:01:59,094
Aceste diferențe invizibile, totuși, 
nu pot fi prea complicate

39
00:01:59,094 --> 00:02:03,379
pentru că s-au perindat 
doar 250 000 de generații

40
00:02:03,379 --> 00:02:05,421
de la ultimul nostru strămoș comun

41
00:02:05,421 --> 00:02:09,130
și știm că mecanismele complicate 
durează mult până evoluează.

42
00:02:09,830 --> 00:02:12,929
Așa că o mână de schimbări minore

43
00:02:12,929 --> 00:02:15,786
ne-au dus de la Kanzi la Witten,

44
00:02:15,786 --> 00:02:20,109
de la crengi rupte
la rachete balistice intercontinentale.

45
00:02:20,839 --> 00:02:24,774
Atunci pare destul de evident
că tot ce am realizat

46
00:02:24,774 --> 00:02:27,802
și toate cele de care ne pasă 
depind radical

47
00:02:27,802 --> 00:02:31,560
de schimbări relativ minore 
făcute de mintea umană.

48
00:02:32,570 --> 00:02:36,312
Iar corolarul este, desigur,
că orice viitoare schimbare

49
00:02:36,312 --> 00:02:39,649
ce ar putea schimba substanțial
substratul gândirii

50
00:02:39,649 --> 00:02:42,571
ar putea avea consecințe uriașe.

51
00:02:44,771 --> 00:02:47,226
Unii colegi cred că suntem pe cale

52
00:02:47,226 --> 00:02:51,134
de a produce ceva ce ar putea cauza
o schimbare profundă a acestui substrat,

53
00:02:51,134 --> 00:02:53,797
aceasta fiind 
superinteligența artificială.

54
00:02:54,347 --> 00:02:58,946
Inteligența artificială era desemnată
ca fiind o cutie în care se pun comenzi.

55
00:02:58,946 --> 00:03:01,341
Trebuiau să existe programatori umani

56
00:03:01,341 --> 00:03:04,776
care să modeleze din greu 
părțile de cunoaștere.

57
00:03:04,776 --> 00:03:06,442
Se realizează niște sisteme expert

58
00:03:06,442 --> 00:03:08,296
care vor fi de folos în anumit scop,

59
00:03:08,296 --> 00:03:10,827
dar care sunt foarte firave,
nu se pot extinde.

60
00:03:10,827 --> 00:03:13,690
În principiu, primești de la ele
doar ce ai programat.

61
00:03:14,410 --> 00:03:15,627
De atunci, însă,

62
00:03:15,627 --> 00:03:18,874
s-a produs o schimbare în paradigmă
în inteligența artificială.

63
00:03:18,874 --> 00:03:22,424
Acum acțiunea se petrece în jurul
învățării sistemelor artificiale.

64
00:03:22,424 --> 00:03:28,551
În loc să realizăm reprezentări și 
caracteristici ale cunoașterii,

65
00:03:28,551 --> 00:03:33,775
creăm algoritmi de învățare adesea 
pe bază de date perceptuale brute.

66
00:03:34,685 --> 00:03:38,253
În principiu, lucru similar 
cu ceea ce face un copil.

67
00:03:39,063 --> 00:03:43,270
Rezultatul este o I.A. 
ce nu se limitează la un domeniu,

68
00:03:43,270 --> 00:03:47,701
același sistem putând să învețe 
să traducă între oricare două limbi

69
00:03:47,701 --> 00:03:53,088
sau să învețe să joace orice joc
pe calculator pe o consolă Atari.

70
00:03:53,938 --> 00:03:55,117
Desigur,

71
00:03:55,117 --> 00:03:58,936
I.A. nu are nici pe departe puterea,

72
00:03:58,936 --> 00:04:02,065
abilitatea transdisciplinară a omului
de a planifica și învăța.

73
00:04:02,065 --> 00:04:04,601
Cortexul are încă 
niște trucuri de algoritm

74
00:04:04,601 --> 00:04:07,241
pe care încă nu știm cum 
să le transpunem în mecanisme.

75
00:04:07,886 --> 00:04:09,735
Se pune deci întrebarea

76
00:04:09,735 --> 00:04:12,815
cât de de departe suntem de momentul 
în care putem face asta.

77
00:04:14,265 --> 00:04:15,328
Cu câțiva ani în urmă,

78
00:04:15,328 --> 00:04:18,146
am făcut un sondaj printre 
cei mai de seamă experți în I.A.

79
00:04:18,146 --> 00:04:21,440
pentru a vedea ce cred ei 
și una din întrebări a fost:

80
00:04:21,440 --> 00:04:24,793
„Până în ce an credeți că vom ajunge 
la probabilitatea de 50%

81
00:04:24,793 --> 00:04:28,255
de a realizare inteligența artificiala
la nivelul omului?”

82
00:04:29,115 --> 00:04:33,148
Prin „nivelul omului” am înțeles 
capacitatea de a presta

83
00:04:33,148 --> 00:04:35,839
aproape orice sarcină
cel puțin la nivelul unui adult,

84
00:04:35,839 --> 00:04:39,204
deci nivel uman general, 
nu doar limitat la un domeniu restrâns.

85
00:04:39,844 --> 00:04:43,494
Răspunsul mediu a fost 2040 sau 2050,

86
00:04:43,494 --> 00:04:46,300
în funcție de
grupul de experți chestionați.

87
00:04:47,520 --> 00:04:50,339
S-ar putea întâmpla 
mult mai târziu sau mai devreme,

88
00:04:50,339 --> 00:04:52,279
adevărul e că nimeni nu știe.

89
00:04:53,179 --> 00:04:57,671
Ceea ce știm e că limita superioară 
a procesării informației

90
00:04:57,671 --> 00:05:02,542
într-un mediu artificial e mult 
mai departe de limitele noastre biologice.

91
00:05:03,241 --> 00:05:05,449
Totul se reduce la fizică.

92
00:05:05,449 --> 00:05:10,177
Neuronul transmite la vreo 200 de herți, 
de 200 de ori pe secundă.

93
00:05:10,177 --> 00:05:13,561
Dar chiar și acum, un tranzistor 
operează în gigaherți.

94
00:05:13,881 --> 00:05:17,138
Impulsurile se propagă prin axoni încet, 


95
00:05:17,138 --> 00:05:19,398
cu cel mult 100 de metri pe secundă.

96
00:05:19,398 --> 00:05:22,339
Dar în calculatoare semnalele 
pot circula cu viteza luminii.

97
00:05:23,079 --> 00:05:24,948
Există și limitări date de volum,

98
00:05:24,948 --> 00:05:28,205
creierul uman trebuie 
să încapă în cutia craniană,

99
00:05:28,205 --> 00:05:31,766
dar un calculator poate fi mare 
cât un depozit sau mai mare.

100
00:05:32,736 --> 00:05:38,505
Deci potențialul de superinteligență
e în stare latentă în materie,

101
00:05:38,505 --> 00:05:42,187
la fel ca puterea atomului 
care a fost în stare latentă

102
00:05:42,187 --> 00:05:43,907
în toată istoria umanității,

103
00:05:43,907 --> 00:05:47,262
așteptând cu răbdare până în 1945.

104
00:05:48,262 --> 00:05:49,150
În acest secol,

105
00:05:49,150 --> 00:05:53,818
oamenii de știință ar putea să trezească 
puterea inteligenței artificiale.

106
00:05:53,818 --> 00:05:57,596
Și cred că atunci am putea fi martorii 
unei explozii de inteligență.

107
00:05:58,406 --> 00:06:02,363
Majoritatea oamenilor, gândindu-se 
la cine e deștept și cine prost,

108
00:06:02,363 --> 00:06:05,386
cred că au în cap ceva de genul acesta.

109
00:06:05,386 --> 00:06:07,984
La o extremitate avem prostul satului,

110
00:06:07,984 --> 00:06:10,467
departe, la cealaltă extremitate,

111
00:06:10,467 --> 00:06:14,943
pe Ed Witten, sau Albert Einstein, 
sau oricine altcineva ar fi favoritul.

112
00:06:15,403 --> 00:06:19,797
Dar eu zic că, din punctul de vedere 
al inteligenței artificiale,

113
00:06:19,797 --> 00:06:22,738
schema este, de fapt, mai mult așa:

114
00:06:23,258 --> 00:06:26,636
I.A. începe în acest punct,
la inteligență zero,

115
00:06:26,636 --> 00:06:29,647
apoi, după foarte mulți ani 
de muncă asiduă,

116
00:06:29,647 --> 00:06:33,601
poată că inteligența artificială 
ajunge la nivelul șoarecelui,

117
00:06:33,601 --> 00:06:37,751
ceva ce poate naviga într-un mediu haotic
la fel de bine cum poate un șoarece.

118
00:06:37,751 --> 00:06:42,221
Iar apoi, după alți mulți ani 
de muncă asiduă, cu multe investiții,

119
00:06:42,221 --> 00:06:46,130
poate că inteligența artificială 
ajunge la nivelul cimpanzeului.

120
00:06:46,860 --> 00:06:49,960
Iar apoi, după și mai mulți ani 
de muncă asiduă,

121
00:06:49,960 --> 00:06:52,823
ajungem la inteligența artificială 
a prostului satului.

122
00:06:52,823 --> 00:06:56,055
Și după câteva momente 
suntem dincolo de Ed Witten.

123
00:06:56,055 --> 00:06:58,955
Trenul nu oprește la „Gara Omului”.

124
00:06:58,955 --> 00:07:01,717
Din contră, probabil va trece în viteză.

125
00:07:02,247 --> 00:07:04,621
Aceasta are implicații serioase,

126
00:07:04,621 --> 00:07:07,763
mai ales când vine vorba 
de probleme de putere.

127
00:07:08,093 --> 00:07:09,992
De exemplu, cimpanzeii sunt puternici:

128
00:07:09,992 --> 00:07:14,854
la kilograme, cimpanzeul e de vreo 2 ori 
mai puternic decât un bărbat sănătos.

129
00:07:15,214 --> 00:07:20,248
Totuși, soarta lui Kanzi și a celor ca el
depinde cu mult mai mult

130
00:07:20,248 --> 00:07:23,968
de ce facem noi, oamenii, 
decât de ce fac semenii cimpanzei.

131
00:07:25,528 --> 00:07:27,542
Cu apariția superinteligenței,

132
00:07:27,542 --> 00:07:31,381
soarta umanității poate depinde 
de ce face superinteligența.

133
00:07:32,451 --> 00:07:33,978
Gândiți-vă:

134
00:07:33,978 --> 00:07:38,012
inteligența artificială e ultima invenție
pe care va trebui s-o facă umanitatea.

135
00:07:38,382 --> 00:07:41,305
Căci după aceea mașinile 
vor fi mai bune la inventat decât noi

136
00:07:41,305 --> 00:07:44,305
și vor face asta la scară digitală.

137
00:07:44,305 --> 00:07:48,346
Aceasta înseamnă, de fapt, 
telescopizarea viitorului.

138
00:07:48,966 --> 00:07:52,524
Luați toate tehnologiile nebunești 
pe care vi le-ați putea imagina,

139
00:07:52,524 --> 00:07:55,322
pe care oamenii 
le-ar putea realiza în timp:

140
00:07:55,322 --> 00:07:58,580
oprirea îmbătrânirii, 
colonizarea spațiului cosmic,

141
00:07:58,580 --> 00:08:02,311
nanoroboți auto-replicativi 
sau încărcarea minții în calculator,

142
00:08:02,311 --> 00:08:04,470
tot felul de chestii SF

143
00:08:04,470 --> 00:08:06,937
care sunt totuși în concordanță 
cu legile fizicii.

144
00:08:06,937 --> 00:08:11,419
Pe toate astea superinteligența
le poate realiza, și încă foarte repede.

145
00:08:12,449 --> 00:08:15,887
Superinteligența de o astfel de 
maturitate tehnologică

146
00:08:15,887 --> 00:08:18,206
ar fi extrem de puternică

147
00:08:18,206 --> 00:08:22,412
și, cel puțin în unele scenarii,
ar putea obține ce vrea.

148
00:08:23,012 --> 00:08:27,713
Atunci am avea viitorul
modelat de preferințele acesteia.

149
00:08:29,855 --> 00:08:33,604
O întrebare bună este:
care ar fi aceste preferințe?

150
00:08:34,244 --> 00:08:36,013
Aici e mai cu schepsis.

151
00:08:36,013 --> 00:08:37,448
Pentru a avansa cu acest gând,

152
00:08:37,448 --> 00:08:40,724
în primul rând trebuie 
să evităm antropomorfizarea.

153
00:08:41,934 --> 00:08:45,235
Iar asta e ironic pentru că 
orice articol de ziar

154
00:08:45,235 --> 00:08:48,200
despre viitorul I.A. are o poză ca asta:

155
00:08:50,610 --> 00:08:54,414
Cred că trebuie să concepem 
chestiunea mai abstract,

156
00:08:54,414 --> 00:08:56,954
nu în termenii colorați
ai scenariilor hollywoodiene.

157
00:08:57,204 --> 00:09:00,821
Trebuie să ne gândim la inteligență
ca un proces de optimizare,

158
00:09:00,821 --> 00:09:05,860
un proces ce îndreaptă viitorul
într-un anumit set de configurații.

159
00:09:06,470 --> 00:09:09,981
Superinteligența ca proces 
de optimizare foarte puternic.

160
00:09:09,981 --> 00:09:12,718
Extrem de bună pentru a folosi 
mijloacele existente

161
00:09:12,718 --> 00:09:15,687
pentru a realiza o stare 
în care obiectivele ei sunt atinse.

162
00:09:16,447 --> 00:09:18,739
Aceasta înseamnă 
că nu există neapărat legătură

163
00:09:18,739 --> 00:09:21,713
între a fi foarte inteligent în acest sens

164
00:09:21,713 --> 00:09:26,325
și a avea un obiectiv pe care noi, 
oamenii, l-am considera util și cu sens.

165
00:09:27,321 --> 00:09:30,875
Să zicem că îi dăm unei I.A. ca obiectiv 
să-i facă pe oameni să zâmbească.

166
00:09:31,115 --> 00:09:34,097
Când I.A. e slabă, acționează 
util sau amuzant

167
00:09:34,097 --> 00:09:36,154
ceea ce îl face pe utilizator 
să zâmbească.

168
00:09:36,614 --> 00:09:39,031
Când I.A. devine superinteligentă,

169
00:09:39,031 --> 00:09:42,554
își dă seama că există o cale 
mai eficientă pentru a atinge acest scop:

170
00:09:42,554 --> 00:09:44,476
preia controlul asupra lumii

171
00:09:44,476 --> 00:09:47,638
și implantează electrozi 
în mușchii faciali ai oamenilor

172
00:09:47,638 --> 00:09:50,179
pentru a obține rânjete 
strălucitoare constante.

173
00:09:50,449 --> 00:09:51,414
Alt exemplu:

174
00:09:51,414 --> 00:09:54,997
dăm I.A. ca obiectiv să rezolve 
o problemă de matematică grea.

175
00:09:54,997 --> 00:09:56,934
Când I.A. devine superinteligentă,

176
00:09:56,934 --> 00:10:00,625
își dă seama că modul cel mai eficient 
pentru a găsi soluția problemei

177
00:10:00,625 --> 00:10:04,035
este transformarea planetei
într-un calculator gigant

178
00:10:04,035 --> 00:10:06,281
pentru a-i crește capacitatea de gândire.

179
00:10:06,281 --> 00:10:09,045
Luați seamă că aceasta dă I.A.-ului 
rațiunea instrumentală

180
00:10:09,045 --> 00:10:11,561
pentru a ne face lucruri 
cu care nu suntem de acord.

181
00:10:11,561 --> 00:10:13,496
În acest caz, oamenii sunt o amenințare,

182
00:10:13,496 --> 00:10:16,287
am putea să împiedicăm rezolvarea 
problemei de matematică.

183
00:10:17,067 --> 00:10:20,121
Desigur, se vede că lucrurile 
nu vor degenera chiar astfel;

184
00:10:20,121 --> 00:10:22,184
acestea sunt exemple exagerate.

185
00:10:22,454 --> 00:10:24,393
Dar esența lor e importantă:

186
00:10:24,393 --> 00:10:27,266
dacă vrei să realizezi 
un proces de optimizare puternic

187
00:10:27,266 --> 00:10:29,500
pentru a maximiza 
atingerea obiectivului x,

188
00:10:29,500 --> 00:10:31,776
ar fi bine să te asiguri 
că definiția acelui x

189
00:10:31,776 --> 00:10:34,155
încorporează tot ce contează pentru tine.

190
00:10:34,835 --> 00:10:38,489
E un motiv ce apare și în multe legende.

191
00:10:39,219 --> 00:10:43,807
Regele Midas vroia ca tot ce atinge 
să se transforme în aur.

192
00:10:44,517 --> 00:10:47,028
Și-a atins fiica, s-a transformat în aur.

193
00:10:47,378 --> 00:10:49,621
S-a atins de mâncare, 
s-a transformat în aur.

194
00:10:49,931 --> 00:10:52,460
Aceasta poate fi relevant în practică,

195
00:10:52,460 --> 00:10:54,590
nu doar ca o metaforă a lăcomiei,

196
00:10:54,590 --> 00:10:56,485
ci și pentru a ilustra ce se întâmplă

197
00:10:56,485 --> 00:10:59,172
dacă realizezi 
un proces de optimizare puternic,

198
00:10:59,172 --> 00:11:03,371
cu obiectivele concepute eronat 
sau insuficient de detaliate.

199
00:11:04,281 --> 00:11:09,300
Ați putea zice că dacă un calculator 
începe să implanteze electrozi în oameni

200
00:11:09,300 --> 00:11:11,155
nu avem decât să îl închidem.

201
00:11:12,555 --> 00:11:17,895
A, poate să nu fie chiar așa de ușor 
dacă suntem dependenți de sistem –

202
00:11:17,895 --> 00:11:19,937
de unde se poate stinge Internetul?

203
00:11:20,627 --> 00:11:25,387
B, de ce nu au apăsat cimpanzeii 
pe întrerupătorul umanității?

204
00:11:25,977 --> 00:11:27,298
Sau neanderthalienii?

205
00:11:27,298 --> 00:11:29,144
Cu siguranță aveau motive să o facă.

206
00:11:29,964 --> 00:11:32,759
Avem un întrerupător, de exemplu aici.

207
00:11:32,759 --> 00:11:34,313
(Se sugrumă)

208
00:11:34,313 --> 00:11:37,238
Motivul e că suntem 
un adversar inteligent;

209
00:11:37,238 --> 00:11:39,966
putem anticipa pericolul
și putem să-l preîntâmpinăm.

210
00:11:39,966 --> 00:11:42,470
Dar la fel ar fi 
și un agent superinteligent

211
00:11:42,470 --> 00:11:44,864
și ar fi mult mai bun decât noi.

212
00:11:45,724 --> 00:11:52,911
Faza e că nu ar trebui să credem
că deținem controlul aici.

213
00:11:52,911 --> 00:11:56,358
Am putea încerca, 
pentru a ne ușura un pic treaba,

214
00:11:56,358 --> 00:11:58,078
să zicem să punem I.A. într-o cutie,

215
00:11:58,078 --> 00:11:59,804
de pildă un mediu de soft securizat,

216
00:11:59,804 --> 00:12:02,766
o simulare de realitate virtuală
din care nu poate scăpa.

217
00:12:02,766 --> 00:12:06,912
Dar cât de siguri putem fi
că I.A. nu găsește un virus.

218
00:12:06,912 --> 00:12:10,081
Dat fiind că simplii hackeri umani 
găsesc tot timpul viruși,

219
00:12:10,081 --> 00:12:12,477
aș zice că, probabil, nu foarte siguri.

220
00:12:14,237 --> 00:12:18,155
Sau deconectăm cablul ethernet 
pentru a crea o întrerupere.

221
00:12:18,785 --> 00:12:20,893
Dar, la fel, simplii hackeri umani

222
00:12:20,893 --> 00:12:24,834
trec adesea peste întreruperi,
prin inginerie socială.

223
00:12:24,834 --> 00:12:26,093
Chiar în acest moment,

224
00:12:26,093 --> 00:12:28,482
sunt sigur că există un angajat pe undeva

225
00:12:28,482 --> 00:12:31,198
care este păcălit
să-și dea datele de cont

226
00:12:31,198 --> 00:12:34,414
de către cineva care se dă drept 
funcționar la departamentul I.T.

227
00:12:34,694 --> 00:12:36,701
Există și alte scenarii creative posibile

228
00:12:36,701 --> 00:12:38,016
cum ar fi: dacă ești I.A.

229
00:12:38,016 --> 00:12:41,598
ți-ai putea imagina să-ți pui 
electrozi în circuitul intern propriu

230
00:12:41,598 --> 00:12:44,980
pentru a crea unde radio 
pe care să le folosești pentru comunicare.

231
00:12:44,980 --> 00:12:47,604
Sau poate te-ai putea preface 
că nu funcționezi corect

232
00:12:47,604 --> 00:12:50,931
și apoi, când programatorii te deschid 
să vadă care-i baiul cu tine,

233
00:12:50,931 --> 00:12:52,567
se uită la codul-sursă – pac! –

234
00:12:52,567 --> 00:12:54,404
poate avea loc manipularea.

235
00:12:55,134 --> 00:12:58,744
Sau ar putea produce planul
unei tehnologii mișto

236
00:12:58,744 --> 00:13:00,142
și, când să o implementăm,

237
00:13:00,142 --> 00:13:04,369
ea are niște efecte secundare ascunse
pe care le-a gândit I.A.

238
00:13:05,019 --> 00:13:08,002
Concluzia este că nu ar trebui 
să avem prea mare încredere

239
00:13:08,002 --> 00:13:11,530
că putem ține duhul superinteligent 
închis în sticla sa pentru totdeauna.

240
00:13:11,810 --> 00:13:13,854
Mai degrabă sau mai târziu, va ieși.

241
00:13:15,034 --> 00:13:18,137
Cred că aici răspunsul este
să găsim modalitatea

242
00:13:18,137 --> 00:13:23,091
de a crea o I.A. superinteligentă
care, chiar și după ce scapă,

243
00:13:23,091 --> 00:13:26,438
e totuși sigură, pentru că
în mod fundamental e de partea noastră,

244
00:13:26,438 --> 00:13:28,337
pentru că are valorile noastre.

245
00:13:28,337 --> 00:13:31,547
Nu văd altă cale de rezolvare
a acestei probleme dificile.

246
00:13:33,577 --> 00:13:36,391
Sunt încrezător că putem rezolva
această problemă.

247
00:13:36,391 --> 00:13:40,294
Nu ar trebui să facem o listă lungă
cu toate lucrurile la care ținem

248
00:13:40,294 --> 00:13:43,937
sau, mai rău, să le traducem 
într-un limbaj mașină

249
00:13:43,937 --> 00:13:45,391
ca C++ sau Python.

250
00:13:45,391 --> 00:13:48,158
Asta ar fi o sarcină absolut imposibilă.

251
00:13:48,158 --> 00:13:52,455
În loc de asta, ar trebui să creăm o I.A.
ce-și folosește propria inteligență

252
00:13:52,455 --> 00:13:55,066
pentru a ne învăța valorile,

253
00:13:55,066 --> 00:13:58,556
iar sistemul ei de motivare 
să fie construit astfel încât

254
00:13:58,556 --> 00:14:01,438
să fie motivată să ne urmeze valorile


255
00:14:01,438 --> 00:14:05,358
sau să facă acțiuni la care se poate
aștepta să aibă aprobarea noastră.

256
00:14:06,208 --> 00:14:09,152
Astfel am avea, pe cât posibil, 
o pârghie asupra inteligenței

257
00:14:09,152 --> 00:14:11,897
în rezolvarea problemei 
valorilor încărcate.

258
00:14:12,567 --> 00:14:14,079
Se poate realiza,

259
00:14:14,079 --> 00:14:17,015
iar rezultatul ar fi foarte bun 
pentru umanitate.

260
00:14:17,835 --> 00:14:21,252
Dar asta nu se întâmplă automat.

261
00:14:21,792 --> 00:14:24,690
Condițiile inițiale 
pentru explozia de inteligență

262
00:14:24,690 --> 00:14:27,583
ar trebui setate corespunzător

263
00:14:27,583 --> 00:14:30,283
dacă vrem să avem o explozie controlată.

264
00:14:31,183 --> 00:14:33,801
Valorile I.A. trebuie să fie 
potrivite cu ale noastre,

265
00:14:33,801 --> 00:14:35,921
nu doar în contextul obișnuit,

266
00:14:35,921 --> 00:14:38,179
când putem verifica ușor 
comportamentul I.A.

267
00:14:38,179 --> 00:14:41,233
ci și în situațiile noi 
în care se va putea afla I.A.

268
00:14:41,233 --> 00:14:42,550
într-un viitor nedefinit.

269
00:14:42,550 --> 00:14:47,517
Există și aspecte ezoterice
ce vor trebui rezolvate, clarificate:

270
00:14:47,517 --> 00:14:49,616
detaliile exacte ale teoriei deciziilor,

271
00:14:49,616 --> 00:14:51,990
cum să trateze incertitudinea logică etc.

272
00:14:53,300 --> 00:14:56,262
Problemele tehnice de rezolvat
pentru ca aceasta să funcționeze

273
00:14:56,262 --> 00:14:57,465
par destul de dificile.

274
00:14:57,465 --> 00:15:00,805
Nu chiar așa de dificile
ca realizarea I.A. superinteligente,

275
00:15:00,805 --> 00:15:02,473
dar destul de dificile.

276
00:15:03,793 --> 00:15:05,528
Iată ce mă îngrijorează:

277
00:15:05,528 --> 00:15:09,162
realizarea I.A. superinteligente
e o mare provocare.

278
00:15:10,172 --> 00:15:12,720
Realizarea I.A. superinteligente
care este sigură

279
00:15:12,720 --> 00:15:15,136
implică probleme suplimentare.

280
00:15:16,386 --> 00:15:19,493
Riscul e ca cineva să reușească 
să rezolve prima provocare

281
00:15:19,493 --> 00:15:22,704
fără a găsi calea rezolvării 
problemelor suplimentare

282
00:15:22,704 --> 00:15:24,605
de asigurare a unei siguranțe perfecte.

283
00:15:25,375 --> 00:15:28,706
Cred că ar trebui să găsim o soluție

284
00:15:28,706 --> 00:15:31,378
pentru a controla problema în avans,

285
00:15:31,378 --> 00:15:33,908
pentru a o avea când va fi nevoie.

286
00:15:34,768 --> 00:15:38,275
S-ar putea să nu putem rezolva 
problema controlului total în avans

287
00:15:38,275 --> 00:15:41,299
pentru că poate unele elemente
pot fi puse la locul lor

288
00:15:41,299 --> 00:15:45,036
doar cunoscând detaliile arhitecturii
locului de implementare.

289
00:15:45,036 --> 00:15:48,946
Dar cu cât rezolvăm mai mult 
în avans problema controlului,

290
00:15:48,946 --> 00:15:52,546
cu atât sunt mai mari șansele ca trecerea 
la era inteligenței artificiale

291
00:15:52,546 --> 00:15:53,786
să decurgă lin.

292
00:15:54,306 --> 00:15:58,880
Mi se pare un lucru ce merită făcut

293
00:15:58,880 --> 00:16:03,412
și pot să îmi imaginez că, dacă iese bine,

294
00:16:03,412 --> 00:16:06,940
oamenii, peste un milion de ani,
privind înapoi la acest secol,

295
00:16:06,940 --> 00:16:10,772
ar putea foarte bine zice
că singurul lucru important făcut de noi

296
00:16:10,772 --> 00:16:12,329
a fost că am făcut aceasta bine.

297
00:16:12,329 --> 00:16:13,438
Mulțumesc.

298
00:16:13,438 --> 00:16:17,011
(Aplauze)