Ce se întâmplă când calculatorul devine mai deștept decât noi?

Inteligența artificială avansează foarte rapid: în acest secol, sugerează cercetătorii, un calculator cu I.A. ar putea fi la fel de „deștept” ca o ființă umană. Apoi, zice Nick Bostrom, ne va depăși: „Inteligența artificială e ultima invenție pe care va trebui s-o facă umanitatea.” Ca filozof și tehnolog, Bostrom ne cere să ne gândim bine la lumea pe care o construim chiar acum, dominată de mașini gânditoare. Ne vor ajuta aceste mașini deștepte să ne păstrăm umanitatea și valorile sau vor avea propriile lor valori?

Lucrez cu matematicieni,
filozofi și cercetători IT

și ne gândim

la viitorul inteligenței artificiale,
printre altele.

Unii cred că unele dintre aceste lucruri
sunt științifico-fantastice,

departe de noi, nebunești.

Dar mie îmi place să zic:

OK, hai să vedem condiția omului modern.

(Râsete)

Asta e normalul.

Dar de fapt

suntem niște oaspeți
relativ recenți pe această planetă

ca specie umană.

Gândiți-vă, dacă Pământul
a fi fost creat în urmă cu un an,

specia umană ar fi existat
de doar 10 minute.

Epoca Industrială ar fi început
de doar două secunde.

Am putea analiza aceasta și din prisma
PIB-ului global din ultimii 10 000 de ani.

V-am făcut și un grafic.

Arată așa.

(Râsete)

Are o formă ciudată
pentru o situație normală.

Eu unul nu m-aș așeza pe el.

(Râsete)

Hai să ne punem întrebarea:
care ar fi cauza acestei anomalii?

Unii ar zice că ar fi tehnologia.

Adevărat, în decursul istoriei,
umanitatea a acumulat multă tehnologie

și, în acest moment, tehnologia
avansează extrem de rapid.

Aceasta e cauza imediată,

de aceea suntem atât de productivi.

Dar îmi place să gândesc mai departe,
la cauza primară.

Priviți-i pe acești domni distinși.

Îl avem pe Kanzi,

el a stăpânit 200 de semne lexicale,
o ispravă nemaipomenită.

Și pe Ed Witten care a declanșat
a doua revoluție a superstringurilor.

Dacă „deschidem capota”, iată ce găsim:

în esență același lucru.

Unul dintre ele e ceva mai mare,

posibil cu câteva trucuri în plus
în privința modului de montare.

Aceste diferențe invizibile, totuși,
nu pot fi prea complicate

pentru că s-au perindat
doar 250 000 de generații

de la ultimul nostru strămoș comun

și știm că mecanismele complicate
durează mult până evoluează.

Așa că o mână de schimbări minore

ne-au dus de la Kanzi la Witten,

de la crengi rupte
la rachete balistice intercontinentale.

Atunci pare destul de evident
că tot ce am realizat

și toate cele de care ne pasă
depind radical

de schimbări relativ minore
făcute de mintea umană.

Iar corolarul este, desigur,
că orice viitoare schimbare

ce ar putea schimba substanțial
substratul gândirii

ar putea avea consecințe uriașe.

Unii colegi cred că suntem pe cale

de a produce ceva ce ar putea cauza
o schimbare profundă a acestui substrat,

aceasta fiind
superinteligența artificială.

Inteligența artificială era desemnată
ca fiind o cutie în care se pun comenzi.

Trebuiau să existe programatori umani

care să modeleze din greu
părțile de cunoaștere.

Se realizează niște sisteme expert

care vor fi de folos în anumit scop,

dar care sunt foarte firave,
nu se pot extinde.

În principiu, primești de la ele
doar ce ai programat.

De atunci, însă,

s-a produs o schimbare în paradigmă
în inteligența artificială.

Acum acțiunea se petrece în jurul
învățării sistemelor artificiale.

În loc să realizăm reprezentări și
caracteristici ale cunoașterii,

creăm algoritmi de învățare adesea
pe bază de date perceptuale brute.

În principiu, lucru similar
cu ceea ce face un copil.

Rezultatul este o I.A.
ce nu se limitează la un domeniu,

același sistem putând să învețe
să traducă între oricare două limbi

sau să învețe să joace orice joc
pe calculator pe o consolă Atari.

Desigur,

I.A. nu are nici pe departe puterea,

abilitatea transdisciplinară a omului
de a planifica și învăța.

Cortexul are încă
niște trucuri de algoritm

pe care încă nu știm cum
să le transpunem în mecanisme.

Se pune deci întrebarea

cât de de departe suntem de momentul
în care putem face asta.

Cu câțiva ani în urmă,

am făcut un sondaj printre
cei mai de seamă experți în I.A.

pentru a vedea ce cred ei
și una din întrebări a fost:

„Până în ce an credeți că vom ajunge
la probabilitatea de 50%

de a realizare inteligența artificiala
la nivelul omului?”

Prin „nivelul omului” am înțeles
capacitatea de a presta

aproape orice sarcină
cel puțin la nivelul unui adult,

deci nivel uman general,
nu doar limitat la un domeniu restrâns.

Răspunsul mediu a fost 2040 sau 2050,

în funcție de
grupul de experți chestionați.

S-ar putea întâmpla
mult mai târziu sau mai devreme,

adevărul e că nimeni nu știe.

Ceea ce știm e că limita superioară
a procesării informației

într-un mediu artificial e mult
mai departe de limitele noastre biologice.

Totul se reduce la fizică.

Neuronul transmite la vreo 200 de herți,
de 200 de ori pe secundă.

Dar chiar și acum, un tranzistor
operează în gigaherți.

Impulsurile se propagă prin axoni încet,

cu cel mult 100 de metri pe secundă.

Dar în calculatoare semnalele
pot circula cu viteza luminii.

Există și limitări date de volum,

creierul uman trebuie
să încapă în cutia craniană,

dar un calculator poate fi mare
cât un depozit sau mai mare.

Deci potențialul de superinteligență
e în stare latentă în materie,

la fel ca puterea atomului
care a fost în stare latentă

în toată istoria umanității,

așteptând cu răbdare până în 1945.

În acest secol,

oamenii de știință ar putea să trezească
puterea inteligenței artificiale.

Și cred că atunci am putea fi martorii
unei explozii de inteligență.

Majoritatea oamenilor, gândindu-se
la cine e deștept și cine prost,

cred că au în cap ceva de genul acesta.

La o extremitate avem prostul satului,

departe, la cealaltă extremitate,

pe Ed Witten, sau Albert Einstein,
sau oricine altcineva ar fi favoritul.

Dar eu zic că, din punctul de vedere
al inteligenței artificiale,

schema este, de fapt, mai mult așa:

I.A. începe în acest punct,
la inteligență zero,

apoi, după foarte mulți ani
de muncă asiduă,

poată că inteligența artificială
ajunge la nivelul șoarecelui,

ceva ce poate naviga într-un mediu haotic
la fel de bine cum poate un șoarece.

Iar apoi, după alți mulți ani
de muncă asiduă, cu multe investiții,

poate că inteligența artificială
ajunge la nivelul cimpanzeului.

Iar apoi, după și mai mulți ani
de muncă asiduă,

ajungem la inteligența artificială
a prostului satului.

Și după câteva momente
suntem dincolo de Ed Witten.

Trenul nu oprește la „Gara Omului”.

Din contră, probabil va trece în viteză.

Aceasta are implicații serioase,

mai ales când vine vorba
de probleme de putere.

De exemplu, cimpanzeii sunt puternici:

la kilograme, cimpanzeul e de vreo 2 ori
mai puternic decât un bărbat sănătos.

Totuși, soarta lui Kanzi și a celor ca el
depinde cu mult mai mult

de ce facem noi, oamenii,
decât de ce fac semenii cimpanzei.

Cu apariția superinteligenței,

soarta umanității poate depinde
de ce face superinteligența.

Gândiți-vă:

inteligența artificială e ultima invenție
pe care va trebui s-o facă umanitatea.

Căci după aceea mașinile
vor fi mai bune la inventat decât noi

și vor face asta la scară digitală.

Aceasta înseamnă, de fapt,
telescopizarea viitorului.

Luați toate tehnologiile nebunești
pe care vi le-ați putea imagina,

pe care oamenii
le-ar putea realiza în timp:

oprirea îmbătrânirii,
colonizarea spațiului cosmic,

nanoroboți auto-replicativi
sau încărcarea minții în calculator,

tot felul de chestii SF

care sunt totuși în concordanță
cu legile fizicii.

Pe toate astea superinteligența
le poate realiza, și încă foarte repede.

Superinteligența de o astfel de
maturitate tehnologică

ar fi extrem de puternică

și, cel puțin în unele scenarii,
ar putea obține ce vrea.

Atunci am avea viitorul
modelat de preferințele acesteia.

O întrebare bună este:
care ar fi aceste preferințe?

Aici e mai cu schepsis.

Pentru a avansa cu acest gând,

în primul rând trebuie
să evităm antropomorfizarea.

Iar asta e ironic pentru că
orice articol de ziar

despre viitorul I.A. are o poză ca asta:

Cred că trebuie să concepem
chestiunea mai abstract,

nu în termenii colorați
ai scenariilor hollywoodiene.

Trebuie să ne gândim la inteligență
ca un proces de optimizare,

un proces ce îndreaptă viitorul
într-un anumit set de configurații.

Superinteligența ca proces
de optimizare foarte puternic.

Extrem de bună pentru a folosi
mijloacele existente

pentru a realiza o stare
în care obiectivele ei sunt atinse.

Aceasta înseamnă
că nu există neapărat legătură

între a fi foarte inteligent în acest sens

și a avea un obiectiv pe care noi,
oamenii, l-am considera util și cu sens.

Să zicem că îi dăm unei I.A. ca obiectiv
să-i facă pe oameni să zâmbească.

Când I.A. e slabă, acționează
util sau amuzant

ceea ce îl face pe utilizator
să zâmbească.

Când I.A. devine superinteligentă,

își dă seama că există o cale
mai eficientă pentru a atinge acest scop:

preia controlul asupra lumii

și implantează electrozi
în mușchii faciali ai oamenilor

pentru a obține rânjete
strălucitoare constante.

Alt exemplu:

dăm I.A. ca obiectiv să rezolve
o problemă de matematică grea.

Când I.A. devine superinteligentă,

își dă seama că modul cel mai eficient
pentru a găsi soluția problemei

este transformarea planetei
într-un calculator gigant

pentru a-i crește capacitatea de gândire.

Luați seamă că aceasta dă I.A.-ului
rațiunea instrumentală

pentru a ne face lucruri
cu care nu suntem de acord.

În acest caz, oamenii sunt o amenințare,

am putea să împiedicăm rezolvarea
problemei de matematică.

Desigur, se vede că lucrurile
nu vor degenera chiar astfel;

acestea sunt exemple exagerate.

Dar esența lor e importantă:

dacă vrei să realizezi
un proces de optimizare puternic

pentru a maximiza
atingerea obiectivului x,

ar fi bine să te asiguri
că definiția acelui x

încorporează tot ce contează pentru tine.

E un motiv ce apare și în multe legende.

Regele Midas vroia ca tot ce atinge
să se transforme în aur.

Și-a atins fiica, s-a transformat în aur.

S-a atins de mâncare,
s-a transformat în aur.

Aceasta poate fi relevant în practică,

nu doar ca o metaforă a lăcomiei,

ci și pentru a ilustra ce se întâmplă

dacă realizezi
un proces de optimizare puternic,

cu obiectivele concepute eronat
sau insuficient de detaliate.

Ați putea zice că dacă un calculator
începe să implanteze electrozi în oameni

nu avem decât să îl închidem.

A, poate să nu fie chiar așa de ușor
dacă suntem dependenți de sistem –

de unde se poate stinge Internetul?

B, de ce nu au apăsat cimpanzeii
pe întrerupătorul umanității?

Sau neanderthalienii?

Cu siguranță aveau motive să o facă.

Avem un întrerupător, de exemplu aici.

(Se sugrumă)

Motivul e că suntem
un adversar inteligent;

putem anticipa pericolul
și putem să-l preîntâmpinăm.

Dar la fel ar fi
și un agent superinteligent

și ar fi mult mai bun decât noi.

Faza e că nu ar trebui să credem
că deținem controlul aici.

Am putea încerca,
pentru a ne ușura un pic treaba,

să zicem să punem I.A. într-o cutie,

de pildă un mediu de soft securizat,

o simulare de realitate virtuală
din care nu poate scăpa.

Dar cât de siguri putem fi
că I.A. nu găsește un virus.

Dat fiind că simplii hackeri umani
găsesc tot timpul viruși,

aș zice că, probabil, nu foarte siguri.

Sau deconectăm cablul ethernet
pentru a crea o întrerupere.

Dar, la fel, simplii hackeri umani

trec adesea peste întreruperi,
prin inginerie socială.

Chiar în acest moment,

sunt sigur că există un angajat pe undeva

care este păcălit
să-și dea datele de cont

de către cineva care se dă drept
funcționar la departamentul I.T.

Există și alte scenarii creative posibile

cum ar fi: dacă ești I.A.

ți-ai putea imagina să-ți pui
electrozi în circuitul intern propriu

pentru a crea unde radio
pe care să le folosești pentru comunicare.

Sau poate te-ai putea preface
că nu funcționezi corect

și apoi, când programatorii te deschid
să vadă care-i baiul cu tine,

se uită la codul-sursă – pac! –

poate avea loc manipularea.

Sau ar putea produce planul
unei tehnologii mișto

și, când să o implementăm,

ea are niște efecte secundare ascunse
pe care le-a gândit I.A.

Concluzia este că nu ar trebui
să avem prea mare încredere

că putem ține duhul superinteligent
închis în sticla sa pentru totdeauna.

Mai degrabă sau mai târziu, va ieși.

Cred că aici răspunsul este
să găsim modalitatea

de a crea o I.A. superinteligentă
care, chiar și după ce scapă,

e totuși sigură, pentru că
în mod fundamental e de partea noastră,

pentru că are valorile noastre.

Nu văd altă cale de rezolvare
a acestei probleme dificile.

Sunt încrezător că putem rezolva
această problemă.

Nu ar trebui să facem o listă lungă
cu toate lucrurile la care ținem

sau, mai rău, să le traducem
într-un limbaj mașină

ca C++ sau Python.

Asta ar fi o sarcină absolut imposibilă.

În loc de asta, ar trebui să creăm o I.A.
ce-și folosește propria inteligență

pentru a ne învăța valorile,

iar sistemul ei de motivare
să fie construit astfel încât

să fie motivată să ne urmeze valorile

sau să facă acțiuni la care se poate
aștepta să aibă aprobarea noastră.

Astfel am avea, pe cât posibil,
o pârghie asupra inteligenței

în rezolvarea problemei
valorilor încărcate.

Se poate realiza,

iar rezultatul ar fi foarte bun
pentru umanitate.

Dar asta nu se întâmplă automat.

Condițiile inițiale
pentru explozia de inteligență

ar trebui setate corespunzător

dacă vrem să avem o explozie controlată.

Valorile I.A. trebuie să fie
potrivite cu ale noastre,

nu doar în contextul obișnuit,

când putem verifica ușor
comportamentul I.A.

ci și în situațiile noi
în care se va putea afla I.A.

într-un viitor nedefinit.

Există și aspecte ezoterice
ce vor trebui rezolvate, clarificate:

detaliile exacte ale teoriei deciziilor,

cum să trateze incertitudinea logică etc.

Problemele tehnice de rezolvat
pentru ca aceasta să funcționeze

par destul de dificile.

Nu chiar așa de dificile
ca realizarea I.A. superinteligente,

dar destul de dificile.

Iată ce mă îngrijorează:

realizarea I.A. superinteligente
e o mare provocare.

Realizarea I.A. superinteligente
care este sigură

implică probleme suplimentare.

Riscul e ca cineva să reușească
să rezolve prima provocare

fără a găsi calea rezolvării
problemelor suplimentare

de asigurare a unei siguranțe perfecte.

Cred că ar trebui să găsim o soluție

pentru a controla problema în avans,

pentru a o avea când va fi nevoie.

S-ar putea să nu putem rezolva
problema controlului total în avans

pentru că poate unele elemente
pot fi puse la locul lor

doar cunoscând detaliile arhitecturii
locului de implementare.

Dar cu cât rezolvăm mai mult
în avans problema controlului,

cu atât sunt mai mari șansele ca trecerea
la era inteligenței artificiale

să decurgă lin.

Mi se pare un lucru ce merită făcut

și pot să îmi imaginez că, dacă iese bine,

oamenii, peste un milion de ani,
privind înapoi la acest secol,

ar putea foarte bine zice
că singurul lucru important făcut de noi

a fost că am făcut aceasta bine.

Mulțumesc.

(Aplauze)