Cum învaţă calculatoarele să fie creative

Suntem în faţa unei noi frontiere în arta şi creativitate, care nu este umană. Blaise Agüera y Arcas, cercetător principal la Google, lucrează cu reţele neuronale profunde pentru percepţie artificială şi învăţare distribuitivă. În această demonstraţie captivantă, el arată cum reţelele neuronale programate să recunoască imagini pot fi acţionate în sens invers, pentru a le crea. Rezultatele sunt nişte colaje (şi poeme!) spectaculoase, halucinante care sfidează catalogarea. „Percepţia şi creativitatea sunt conectate foarte profund'' susţine Agüera y Arcas. „Orice creatură, orice fiinţă care este capabilă de acte de percepţie, este de asemenea capabilă să creeze.”

Conduc o echipă Google care
se ocupa de inteligenţa artificială;

adică disciplina inginerească
a creării de computere şi dispozitive

ce pot face câteva
din lucrurile făcute de creier.

Asta ne face să fim interesaţi
de creierele reale şi de neurostiinţă,

dar mai ales de lucrurile
pe care creierele noastre le fac

la niveluri mult superioare
performanţelor computerelor.

Cronologic, unul din aceste domenii
a fost percepţia:

procesul prin care
lucruri din lumea reală

– sunete şi imagini –

se pot transforma în concepte ale minţii.

Asta e esenţial pentru creierul nostru

şi e destul de util şi pentru un computer.

De exemplu, algoritmii
de percepţie artificială creaţi de noi,

sunt cei ce permit ca fotografiile voastre
din Google Photos să poată fi căutate,

în funcţie de ce conţin.

Reversul percepţiei e creativitatea:

transformarea unui concept
în ceva real, concret.

În ultimul an, munca noastră
în domeniul percepţiei artificiale

s-a conectat în mod surprinzător
şi cu lumea creativităţii artificiale

şi a artei artificiale.

Cred că Michelangelo
a avut o intuiţie profundă

privind această relaţie duală
dintre percepţie şi creativitate.

Iată un citat faimos al lui:

„Fiecare bucată de piatră
are o statuie în interiorul său,

iar rolul sculptorului
e să o descopere”.

Cred că ce intuia Michelangelo

e că noi creăm prin percepţie

şi că percepţia însăşi
e un act de imaginaţie

şi ţine de creativitate.

Organul ce se ocupă de gândire, percepţie
şi imaginaţie e, desigur, creierul.

Aş vrea să încep cu puţină istorie

despre ce ştim despre creier.

Spre deosebire de inimă sau intestine

nu poţi spune prea multe
despre un creier doar uitându-te la el,

cel puţin nu cu ochiul liber.

Primii anatomişti
care se uitau la creierul uman

au dat structurilor superficiale
ale acestuia tot felul de nume fanteziste,

ca hipocamp, care înseamnă „crevete mic”.

Lucruri de genul ăsta
nu ne spun mare lucru

despre ce se petrece de fapt în interior.

Prima persoană care
cred că a înţeles oarecum

ce se petrece în creier,

a fost marele neuroanatonomist spaniol
din secolul 19, Santiago Ramón y Cajal,

care a folosit microscopia
şi coloraţii speciale

ce puteau umple selectiv,
să redea în contrast foarte înalt

celulele individuale ale creierului,

ca să poată începe
să le înţeleagă morfologia.

Iată desenele neuronilor
făcute de el în secolul 19.

Ăsta e de la creierul unei păsări.

Vedeţi aceasta varietate incredibilă
de diverse tipuri de celule,

chiar şi teoria celulară era
destul de nouă la acel moment.

Iar aceste structuri,

aceste celule ce au aceste ramificaţii,

aceste ramuri ce pot ajunge
la distanţe foarte mari...

asta era o mare noutate atunci.

Seamănă, desigur, cu firele.

E posibil ca asta să fi fost evident
pentru unii din secolul 19;

revoluţia tehnologică a cablurilor
şi electricităţii tocmai începea.

Dar în multe sensuri,

desenele de microanatomie ale lui
Ramón y Cajal, precum acesta,

sunt încă, într-un fel, inegalabile.

După mai mult de un secol,

încă încercăm să terminăm opera
începută de Ramón y Cajal.

Astea sunt datele brute
de la colaboratorii noştri

de la Institutul
de Neuroştiintă Max Planck.

Colaboratorii noştri

au scanat mici părţi de ţesut cerebral.

Întreaga mostră de aici
are cam un milimetru cub,

iar eu vă arăt aici
doar o foarte mică parte din ea.

Acea linie din stânga
are aproape un micron.

Structurile pe care le vedeţi
sunt mitocondrii,

ce au dimensiunile unei bacterii.

Astea sunt secţiuni consecutive

prin aceasta foarte mică bucată de ţesut.

Doar de dragul comparaţiei,

diametrul mediu al unui fir de păr
e de aproximativ 100 de microni.

Deci ne uităm la ceva mult, mult mai mic

decât un singur fir de par.

Din aceste tipuri de felii consecutive
de microscopie electronică,

se pot face reconstrucţii 3D
ale neuronilor care arată aşa.

Sunt cam în acelaşi stil ca cele
ale lui Ramón y Cajal.

Doar caţiva neuroni se aprind,

deoarece altfel nu am putea
distinge nimic aici.

Ar fi atât de aglomerat,

atât de plin de structuri,

de fire care conectează un
neuron de celălalt.

Ramón y Cajal a fost
cu un pas înaintea epocii sale,

iar dezvoltarea înţelegerii creierului

a continuat încet în următoarele decenii.

Dar ştiam că neuronii
folosesc electricitate

şi prin 1940, tehnologia
era destul de avansată

ca să facem experimente
electrice pe neuroni vii

pentru a înţelege mai bine
cum funcţionează.

În exact aceeaşi perioadă
erau inventate computerele,

care se bazau pe ideea
modelării creierului

– a „maşinăriei inteligente”,
cum a numit-o Alan Turing,

unul dintre părinţii informaticii.

Warren McCulloch şi Walter Pitts
s-au uitat la desenul lui Ramón y Cajal

cu cortexul vizual
– pe care îl vedeţi aici.

Acesta este cortexul care procesează
imaginile venite de la ochi.

Pentru ei, asta arată
ca diagrama unui circuit electric.

Sunt multe detalii din diagrama
lui McCulloch şi Pitts

care nu sunt tocmai corecte.

Dar ideea de bază,

că acest cortex vizual funcţionează
ca o serie de elemente computaţionale

care transmit informaţia
unul către altul în cascadă,

e în esenţă corectă.

Hai să vorbim puţin

despre ce ar trebui să facă un model
al procesării informaţiei vizuale.

Sarcina principală a percepţiei

e să ia o imagine ca aceasta şi să zică,

„Aia e o pasăre”,

un lucru simplu
pentru creierul nostru.

Trebuie să înţelegeţi
că pentru un computer,

asta era imposibil acum câţiva ani.

Paradigma computaţională clasică,

nu e una în care sarcina asta
e uşor de îndeplinit.

Deci ce se întâmplă între pixeli,

între imaginea păsării
şi cuvântul „pasăre”,

e de fapt un set de neuroni interconectaţi
într-o reţea neuronală,

ca în această diagramă.

Această reţea neuronală
poate fi biologică, în cortexul vizual,

sau, acum începem să avem
capacitatea să modelăm

astfel de reţele neuronale
pe calculator.

Iată cum arată asta de fapt.

Vă puteţi imagina pixelii
ca primul strat de neuroni,

de fapt, aşa funcţionează ochiul

– sunt neuronii din retină.

Ei transmit semnalul
mai departe

prin straturi de neuroni consecutive,

conectate prin sinapse
de diferite dimensiuni.

Comportarea acestei reţele

e caracterizată de puterile
tuturor sinapselor.

Ele caracterizează trăsăturile
computaţionale ale acestei reţele.

Iar la final

veţi avea un neuron
sau un grup mic de neuroni

care se aprind zicând „pasăre”.

Voi reprezenta acum acele trei lucruri:

pixelii de intrare şi sinapsele
din reţeaua neuronală,

şi pasărea – rezultatul –

prin trei variabile: x, w, şi y.

Pot fi aproximativ un milion de x,

un milion de pixeli în acea imagine.

Sunt miliarde sau un trilioane de w,

care reprezintă puterea tuturor
sinapselor din reţeaua neuronală.

Mai exista un număr foarte mic de y,

de rezultate ale reţelei.

„Pasăre” are doar 6 litere, corect?

Să spunem că asta e doar o formulă simplă

x "x" w = y.

Pun înmulţirea între ghilimele

pentru că acolo se petrece, de fapt,

o serie foarte complicată
de operaţii matematice,

avem o ecuaţie.

Avem trei variabile.

Cu toţii ştim că dacă ai o ecuaţie

poţi afla o variabilă
dacă le ştii pe celelalte două.

Deci problema deducţiei,

adică să descoperi
că imaginea unei păsări e o pasăre

e aceasta:

y e necunoscut în timp ce
w şi x sunt cunoscute.

Cunoaştem reţeaua neuronală,
cunoaştem pixelii.

Cum puteţi vedea,
e o problemă relativ simplă.

Înmulţim 2 ori 3 şi am rezolvat.

Vă voi arăta o reţea
neuronală artificială

pe care am creat-o recent.

Aceasta rulează în timp real
pe un telefon mobil,

şi deja acest lucru e uimitor,

că telefoanele pot face aşa multe
miliarde şi trilioane de operaţii/secundă.

Acesta e un telefon

care se uită la o serie de imagini
ale unei păsări,

şi nu zice doar „da, e o pasăre”,

dar identifică şi specia păsării,
folosind o reţea de acest tip.

Deci în acea poză,

x şi w sunt cunoscute
iar y e necunoscut.

Sar peste partea foarte dificilă,

anume, cum reuşim să-l descoperim w,

care e creierul care poate face asta?

Cum am putea găsi un astfel de model?

Acest proces al învăţării,
al aflării lui w,

dacă am face asta cu ecuaţia simplă

în care gândim variabilele ca numere,

ştim exact cum s-o rezolvăm: 6 = 2 x w,

împărţim la 2 şi am terminat.

Problema e cu acest operator.

Împărţirea

– folosim împărţirea deoarece
e inversul înmulţirii,

dar, aşa cum am spus,

înmulţirea e o mică minciună aici –

e o operaţie foarte complicată,
foarte non-lineară,

nu are un invers.

Deci trebuie să găsim un mod
de a rezolva ecuaţia

fără a folosi împărţirea.

Iar soluţia e destul de simplă.

Să zicem că facem un truc aritmetic

şi mutăm cifra 6
în partea dreapta a ecuaţiei.

Astfel încă folosim înmulţirea.

Iar acel zero, să-l privim
ca pe o eroare.

Altfel spus, dacă am aflat w
în modul corect,

atunci eroarea va fi zero.

Dacă am greşit,

eroarea va fi mai mare decât zero.

Acum putem încerca să ghicim,
pentru a reduce eroarea.

Ăsta e unul din lucrurile
la care computerele excelează.

Deci iniţial am presupus:

dacă w = 0? Eroarea ar fi 6.

Dacă w = 1? Eroarea e 4.

Atunci computerul
ar putea să o ia pe bâjbâite,

şi ar reduce eroarea până aproape de zero.

Pe măsură ce face asta,
obţine aproximări succesive ale lui w.

Normal, nu ajunge la rezultatul exact,
dar cam după o duzină de paşi,

ajungem la w = 2,999,
ceea ce e destul de aproape.

Acesta e procesul de învăţare.

Recapitulând, ce facem aici

e să luăm o groază
de x şi y cunoscuţi

ca să-l descoperim w
printr-un proces iterativ.

E exact aşa cum facem noi când învăţăm.

Ca bebeluşi vedem multe, multe imagini

şi ni se spune „asta e o pasăre,
asta nu e o pasăre”.

Cu timpul, prin repetiţie,

îl aflăm pe w, descoperim
conexiunile neuronale.

Acum am păstrat constante x şi w
pentru a-l afla pe y;

asta e percepţia rapidă, de zi cu zi.

Ne dăm seama cum putem descoperi w,

asta e învăţarea, care e mult mai grea,

deoarece trebuie să minimizăm eroarea
prin multe încercări de învăţare.

Cam acum un an, Alex Mordvintsev
din echipa noastră,

a hotărât să vadă ce se întâmplă
dacă încercăm să descoperim x,

când sunt date w şi y.

Cu alte cuvinte,

ştiţi că e o pasăre

şi aveţi deja reţeaua neuronală
care a fost pregătită pe păsări,

dar ce este imaginea unei păsări?

Folosind aceeaşi procedură
de minimizare a erorii,

se poate face asta cu reţeaua pregătită
să recunoască păsări,

iar rezultatul va fi...

o imagine cu păsări.

Asta e o imagine cu păsări
generată integral de o reţea neuronală

pregătită să recunoască păsări,

doar cerându-i să-l afle pe x
în loc să-l afle pe y

şi făcând asta iterativ.

Iată un alt exemplu distractiv.

E o lucrare făcută de Mike Tyka
în grupul nostru,

intitulată „Parada animalelor”.

Seamănă puţin cu operele de artă
ale lui William Kentridge,

în care face schiţe, le şterge,

face schiţe, le sterge,

şi aşa face un film.

În acest caz,

Mike îl modifică pe y
în funcţie de diferite animale,

într-o reţea creată să recunoască
şi să distingă diferite animale,

iar rezultatul e o metamorfoză ciudată
de tip Escher, de la un animal la altul.

Aici el şi Alex
au încercat să-l reducă pe y

la un spaţiu cu două dimensiuni,

făcând astfel o hartă
din spaţiul tuturor lucrurilor

recunoscute de această reţea..

Făcând acest tip de sinteză

sau generare a imaginilor
pe întreaga suprafaţă,

schimbându-l pe y pe suprafaţă,
faci un fel de hartă,

o hartă vizuală a tuturor lucrurilor
pe care reţeaua le recunoaşte.

Animalele sunt aici;
Tatuul (armadillo) e în punctul ăla.

Se poate face asta
şi cu alte tipuri de reţele.

Asta e o reţea creată să recunoască feţe,

sa distingă un chip de altul.

Aici introducem un y numit „eu”,

parametrii chipului meu.

Iar când îl află pe x,

generează această imagine a mea

nebuneasca, cubista,
suprarealista, psihedelică

combinând mai multe puncte de vedere.

Pare că sunt mai multe
puncte de vedere simultan

pentru că reţeaua e creată
ca să elimine ambiguitatea

unui chip pus într-o postură sau alta,

văzut într-o lumină sau alta.

Când faci acest tip de reconstrucţie,

dacă nu foloseşti o imagine de control

sau statistici de control,

atunci vei avea un fel de confuzie
a mai multor puncte de vedere

deoarece e ambiguu.

Asta se întâmplă dacă Alex foloseşte
chipul său ca imagine de control

în timpul procesului de optimizare
pentru reconstrucţia feţei mele.

Puteţi vedea că nu e perfect.

E încă destul de multă muncă

pentru optimizarea
acestui proces de optimizare,

dar începem să obţinem
ceva ce aduce mai mult cu o faţă,

Când folosim ca referinţă chipul meu.

Nu trebuie început cu o pânză goală

sau cu zgomot alb.

Când vrei să-l afli pe x,

poţi începe cu un x care deja
e el însuşi o altă imagine.

Asta reprezintă aceasta mică demonstraţie.

Asta e o reţea creată să clasifice

tot felul de obiecte diferite –
structuri create de om, animale...

Aici începem cu imaginea unor nori,

şi pe măsură ce optimizăm,

această reţea îşi imaginează
ce vede în nori.

Cu cât priviţi asta mai mult,

cu atât mai multe lucruri
veţi vedea şi voi în nori.

Am putea folosi şi reţeaua chipurilor
pentru a halucina astfel,

şi obţii lucruri destul de nebuneşti.

(Râsete)

Mike a făcut şi alte experimente

în care ia acea imagine a norilor,

halucinează, măreşte, halucinează,
măreşte, halucinează, măreşte.

Şi în felul ăsta,

poţi obţine un fel de fugă disociativă
a reţelei, presupun,

sau un fel de asociere liberă,

în care reţeaua îşi mănâncă propria coada.

Deci acum fiecare imagine e baza pentru:

„Ce cred că văd acum?

Ce cred că văd acum?
Ce cred că văd acum?”

Prima dată, am prezentat
asta în public

unui grup la un curs din Seattle,
intitulat „Educaţia Superioară”.

Asta se petrecea chiar
după legalizarea marijuanei.

(Râsete)

Vreau să închei repede

menţionând că această tehnologie
nu e restricţionată.

V-am arătat doar exemple vizuale
deoarece sunt distractive.

Nu e doar tehnologie vizuală.

Colaboratorul nostru,
artistul Ross Godwin,

a făcut experimente cu o cameră
care face o fotografie

şi apoi un computer din rucsacul lui scrie
o poezie folosind reţelele neuronale,

pornind de la conţinutul imaginii.

Acea reţea neuronală de poezie
a fost antrenată

cu o colecţie mare
de poezii al secolului 20.

Iar poezia nu e deloc rea
după părerea mea.

(Râsete).

În încheiere,

în privinţa lui Michelangelo

cred că avea dreptate;

percepţia şi creativitatea
sunt puternic conectate.

Tocmai am văzut reţele neuronale
pregătite să distingă

sau să recunoască
diferite lucruri din lume,

ce pot fi rulate în sens invers,
ca să genereze.

Unul din lucrurile sugerate de asta

e nu numai că Michelangelo chiar a văzut

sculptura din interiorul
blocului de piatră,

dar că orice creatură, orice fiinţă,
orice extraterestru

care e capabil
de acte perceptive de acel gen

e capabil şi să creeze

deoarece acelaşi mecanism
e folosit în ambele cazuri.

Cred de asemenea că percepţia şi
creativitatea nu sunt exclusiv umane.

Începem să avem modele informatice
care fac exact genul ăsta de lucruri.

Asta nu ar trebui să ne surprindă:
creierul e computaţional.

Şi în sfârşit,

informatica început ca un exerciţiu
de creare a inteligenţei artificiale.

A fost modelată după ideea

„cum putem face maşinăriile inteligente”.

Acum începem să împlinim

câteva dintre promisiunile
primilor pioneri,

ale lui Turing şi von Neumann

şi McCulloch şi Pitts.

Cred că informatica
nu mai însemnă doar contabilitate,

sau să joci Candy Crush sau altceva.

Încă de la început, le-am creat
după minţile noastre.

Şi ne-au dat capacitatea să ne înţelegem
mai bine propriile minţi

şi să le extindem.

Vă mulţumesc foarte mult.

(Aplauze)