Hoe computers leren creatief te zijn

We staan voor een nieuwe ontwikkeling in de kunst en creativiteit en het is niet menselijk. Blaise Agüera y Arcas, staat aan het hoofd van een team wetenschappers bij Google. Hij werkt met diepliggende neurale netwerken voor machineperceptie en gedistribueerd leren. In deze fascinerende demonstratie toont hij hoe neuronennetwerken geoefend kunnen worden om afbeeldingen te herkennen, en andersom ook afbeeldingen kunnen genereren. De resultaten zijn spectaculaire en hallucinogene collages (en gedichten!) die niet onder één vakje onder te brengen zijn. "Waarneming en creativiteit zijn zeer nauw met elkaar verbonden", zegt Agüera y Arcas. "Alle wezens die in staat zijn waar te nemen, zijn ook in staat om te creëren".

Ik leid het onderzoeksteam
naar machine-intelligentie bij Google.

Dat is de wetenschap die computers
en andere apparaten in staat wil stellen

om dezelfde dingen te doen
die onze hersenen kunnen.

Daarom zijn we geïnteresseerd
in echte hersenen

en in neurowetenschappen.

We zijn zeer geïnteresseerd in alles
wat onze hersenen kunnen,

maar wat voor computers
nog veel te ingewikkeld is.

Eén van deze onderzoeksgebieden
is altijd al waarneming geweest,

het proces waarbij dingen
in de buitenwereld,

zoals geluiden en beelden,

in onze hersenen kunnen
veranderen in concepten.

Dat is een belangrijke taak
van onze hersenen.

Maar het is ook handig voor een computer.

De perceptie-algoritmes die we
schrijven voor machines, bijvoorbeeld,

maken het mogelijk om foto's
op te zoeken in Google Photos,

volgens wat erop te zien is.

De keerzijde van perceptie
is creativiteit.

Hierbij worden concepten omgezet
in iets in de echte wereld.

Het afgelopen jaar is ons werk
over machinewaarneming

ook onverwacht in verband geraakt
met de wereld van machine-creativiteit,

en machinekunst.

Volgens mij had Michelangelo
een diepzinnig inzicht

in deze duale verhouding
tussen waarneming en creativiteit.

Dit is één van zijn beroemde citaten:

"In iedere blok steen
zit een standbeeld verborgen...

De taak van de beeldhouwer is
om dat eruit te halen."

Ik denk dat Michelangelo bedoelde

dat we door waar te nemen
zelf gaan creëren.

En dat waarneming zelf
een manier van inbeelding is.

En daar draait het om bij creativiteit.

Het orgaan dat verantwoordelijk is
voor de waarneming en inbeelding

zijn de hersenen, natuurlijk.

En ik zou willen beginnen
met een korte geschiedenis

van wat we weten over onze hersenen.

In tegenstelling tot het hart of de darmen

zijn de hersenen niet veelzeggend
als je er gewoon naar kijkt,

althans niet met het blote oog.

De eerste anatomisten
die de hersenen bestudeerden,

hebben veel namen gegeven aan de
oppervlaktestructuren van de hersenen,

zoals de hippocampus, of 'kleine garnaal'.

Maar die benamingen zeggen ons
natuurlijk niet veel

over wat er aan de binnenkant gebeurt.

De eerste persoon die, denk ik,
een eerste inzicht bracht

over wat er echt gebeurt in de hersenen,

was de grote Spaanse neuro-anatomist,
Santiago Ramón y Cajal,

in de negentiende eeuw.

Hij gebruikte microscopen
en speciale beitsen

die individuele hersencellen
selectief konden opvullen

of in contrast konden weergeven,

zodat hij hun morfologie kon onderzoeken.

Dit zijn de soort tekeningen
die hij maakte van neuronen

in de negentiende eeuw.

Dit komt van de hersenen van een vogel.

Je ziet hier de geweldige verscheidenheid
aan soorten cellen.

Zelfs de cellentheorie was nogal nieuw
op dat moment.

Deze structuren...

die cellen met hun boomstructuur,

en vertakkingen
die zeer uitgestrekt kunnen zijn.

Dat was heel vernieuwend toen.

Ze doen ons natuurlijk denken aan kabels.

Misschien dachten enkele mensen
dit ook al in de negentiende eeuw.

De revolutie van de elektriciteit
en de bedrading waren in volle gang.

Maar in vele opzichten

zijn de micro-analytische tekeningen
van Ramón y Calal, zoals deze,

in veel opzichten
nog steeds onovertroffen.

Meer dan een eeuw later

zetten we nog steeds
het werk van Ramón y Cajal verder.

Dit zijn de ruwe gegevens
van onze collega's

in het Max Planck Institute
of Neuroscience.

Daar hebben onze collega's

kleine deeltjes van het hersenweefsel
in beeld gebracht.

Het volledige monster is ongeveer
één kubieke millimeter groot.

En dit is een heel klein stukje daarvan.

Het staafje links
is ongeveer één micron groot.

Deze structuren hier, zijn mitochondriën.

Ze zijn zowat de grootte van een bacterie.

En dit zijn de volgende plakken

in dit zeer kleine blokje weefsel.

Om even te vergelijken...

De doorsnede van een haar is gemiddeld
zo'n honderd micron.

Dit is dus veel, veel kleiner

dan één enkel haartje.

Uit deze reeksen elektro-
microscopische beelden

kunnen we 3D-modellen maken van neuronen,
die er dan als volgt uitzien:

ze zijn gemaakt in dezelfde stijl
als Ramón y Cajals tekeningen.

Je ziet maar een paar neuronen,

anders zou het zo druk worden
dat je niets meer ziet.

Het zou zo opeengepakt zijn,

vol van structuren,

bekabeling die de neuronen
met elkaar verbindt.

Ramón y Cajal was zijn tijd wat vooruit

en de vooruitgang van onze kennis
van de hersenen

evolueerde maar traag
in de volgende decennia.

Maar we wisten dat neuronen
elektriciteit gebruikten.

Tegen WO II was onze technologie
geavanceerd genoeg

om met elektriciteit te experimenteren
op levende neuronen,

om beter te begrijpen hoe ze functioneren.

In diezelfde periode werd
de computer uitgevonden.

Computers zijn gebaseerd op het idee
dat het brein moduleerbaar is.

De 'intelligente machine',
in termen van Alan Turing,

een grondlegger
van de computerwetenschap.

Warren McCulloch en Walter Pitts
bestudeerden Ramón y Cayals tekening

van de visuele cortex,

die je hier ziet.

De cortex verwerkt de beelden
die binnenkomen via het oog.

Het zag er volgens hen uit
als een schakelschema.

Het schakelschema van McCullough
en Pitt bevat veel details

die niet helemaal kloppen.

Maar het basisidee

dat de visuele cortex werkt
als een reeks computeronderdelen

die informatie doorgeven
van één niveau naar het andere

is in essentie correct.

Laat me het even hebben

over wat een model dat visuele info
wil verwerken moet kunnen doen.

De kerntaak van perceptie

is om naar een afbeelding
te kijken en te zeggen:

"Dat is een vogel."

Dat is zeer eenvoudig voor onze hersenen,

maar je moet begrijpen
dat tot voor enkele jaren geleden,

dit vrijwel onmogelijk was
voor een computer.

Binnen het klassieke computermodel

is dat geen eenvoudige taak.

Wat gebeurt er nu tussen de pixels,

de afbeelding van een vogel,
en het woord 'vogel'?

Een reeks neuronen zijn
met elkaar verbonden

in een neuraal netwerk,

zoals op deze schets hier.

Dit neuraal netwerk kan biologisch zijn,
binnen onze visuele cortex,

maar tegenwoordig zijn we in staat

om neurale netwerken
na te maken op de computer.

Ik zal jullie laten zien
hoe dat eruitziet.

De pixels kan je zien
als de eerste laag neuronen.

Hier zie je in feite
de werking van het oog.

Dat zijn de neuronen
in het netvlies.

Deze geven hun informatie door

naar de volgende lagen neuronen.

Ze zijn verbonden met zenuwknopen
van verschillende groottes.

Het gedrag van dit netwerk

wordt gekenmerkt door de kracht
van al deze zenuwknopen.

Zij bepalen de computationele
eigenschappen van dat netwerk.

Op het einde van de rit

is er een neuron,
of een kleine groep neuronen

die oplichten en zeggen: "Vogel."

Ik wil nu deze drie dingen,

de pixels en de synaps
van het neuronennetwerk, of de input,

en de vogel, of de output,

voorstellen door de variabelen x, w en y.

Er zit misschien wel een miljoen x'en,

of pixels, in deze afbeelding.

En een miljard, of triljard w's.

Ze vertegenwoordigen al de zenuwknopen
in het neurale netwerk.

En er zijn maar een klein aantal y's,

of output van het netwerk.

Het woord 'vogel' telt
slechts vijf letters, niet?

Laten we het even voorstellen
als een simpele formule:

x 'maal' w is gelijk aan y.

'Maal' staat tussen aanhalingstekens,

want in werkelijkheid
gebeurt er natuurlijk

een hele reeks ingewikkelde
wiskundige berekeningen.

Dat is één vergelijking,

met drie variabelen.

We weten allemaal dat als je
over twee variabelen beschikt

je de derde variabele kan achterhalen.

Dus het proces van gevolgtrekking,

het uit de afbeelding
afleiden dat dit een vogel is,

is als volgt:

wanneer de y de onbekende is
en de w en x allebei gekend.

Je hebt de neuronennetwerken en de pixels.

Je kunt zien dat dit probleem
relatief eenvoudig is.

Je vermenigvuldigt twee met drie en klaar.

Ik toon jullie nu een netwerk neuronen
dat we gebouwd hebben

om dit op te lossen.

Dit werkt realtime
op een mobiele telefoon.

Dat is op zich natuurlijk
al verbazingwekkend,

dat een telefoon zoveel miljarden
en biljarden bewerkingen kan uitvoeren

per seconde.

Jullie zien hier een telefoon

waarop een reeks afbeeldingen
verschijnen van vogels.

Hij herkent ze niet alleen als vogels,

maar hij kan ook de soort identificeren
met dit type netwerk.

In die afbeelding

waren de x en de w gekend
en was de y de onbekende.

Ik sla het ingewikkeldste
deel over, natuurlijk,

namelijk, hoe achterhalen we de w,

de hersenen die tot dit alles
in staat zijn?

Hoe hebben we ooit zo'n model aangeleerd?

Dit leerproces,
waarbij we de w willen oplossen,

als we dit in een eenvoudige
vergelijking gieten,

waarbij we getallen gebruiken,

weten we wat we moeten doen:
6 is gelijk aan 2 maal w.

We delen 6 door 2 en het zit erop.

Het probleem zit 'm bij deze bewerking.

Deling...

We gebruiken deling, want dat is
het omgekeerde van vermenigvuldiging.

Maar zoals ik zopas zei,

klopt de vermenigvuldiging hier niet echt.

Dit is een zeer gecompliceerde,
zeer non-lineaire bewerking,

die niet omgekeerd kan worden.

We moeten een manier vinden
om die vergelijking op te lossen,

zonder te moeten delen.

We doen dit op een zeer eenvoudige manier.

We spelen wat met de algebra

en verplaatsen de 6
naar de rechterkant van de vergelijking.

We vermenigvuldigen nog steeds.

Maar laten we die nul de foutmarge noemen.

Met andere woorden,
als we de w juist oplossen,

dan zal die marge nul bedragen.

En als de oplossing niet klopt,

dan zal de marge groter zijn dan nul.

Nu kunnen we beginnen te gokken en
de foutmarge zo klein mogelijk maken,

daar zijn computers zeer goed in.

Laten we eens gokken:

w = 0 misschien?

Dan zou de marge 6 bedragen.

En als w gelijk zou zijn aan 1,
dan zou de marge 4 zijn.

De computer kan blijven raden

en de foutmarge tot bijna nul reduceren.

En ondertussen komt hij
steeds dichter bij w.

Hij raakt nooit helemaal tot bij w,
maar na zo'n twaalf stappen

zien we dat w gelijk is aan 2,999
en dat is precies genoeg.

Dat is het leerproces.

Vergeet niet wat we hier
aan het doen zijn.

We hebben zeer veel
van die gekende x'en en y's genomen

en daar de w in het midden
mee achterhaald door een iteratief proces.

Wij leren op precies dezelfde manier.

Als baby hebben we zeer veel afbeeldingen.

Ze vertellen ons: "Dit is een vogel.
Dat is geen vogel."

Wanneer we de bewerking
eindeloos herhalen

kunnen we de w achterhalen
voor deze zenuwverbindingen.

Nu hebben we naar de x en w
gekeken om de y te achterhalen.

Dat is alledaagse, snelle waarneming.

Nu willen we weten hoeveel w is.

Da's veel moeilijker,
want dat is leren.

Om de foutenmarge te beperken,
hebben we veel voorbeelden nodig.

Zo'n jaar geleden besloot iemand
van ons team, Alex Mordvintsev,

om eens te kijken wat er zou gebeuren
als we de x probeerden op te lossen

als we de w en de y zouden kennen.

Met andere woorden,

je weet dat het een vogel is

en je netwerk zenuwcellen
kunnen al vogels herkennen.

Maar wat is nu
een afbeelding van een vogel?

Blijkbaar kan je met dezelfde
foutenminimalisatie-procedure,

gebruik makend van het netwerk
dat vogels kan herkennen,

het volgende resultaat krijgen ...

een afbeelding van vogels.

Deze afbeelding van vogels is volledig
gegenereerd door een neuraal netwerk

dat vogels kon herkennen,

door simpelweg naar de x te zoeken
in plaats van naar de y

en dat dan eindeloos te herhalen.

Dit is nog een leuk voorbeeld.

Dit is het werk
van Mike Tyka in onze groep.

Hij noemt het 'Animal Parade'.

Het doet me wat denken
aan William Kentridges' schilderijen.

Hij maakt schetsen en veegt ze uit,

altijd maar opnieuw,
en zo creëert hij een film.

In dit geval probeert Mike

de y te laten variëren over de ruimte
van de verschillende dieren

in een netwerk dat dieren
van elkaar kan onderscheiden.

En dan krijg je zo'n Escher-achtige
overgang van het ene dier in het andere.

Hier hebben hij en Alex geprobeerd
om de y's terug te brengen

tot een tweedimensionale ruimte.

De uitkomst daarvan was een kaart
met daarop de ruimte van alle dingen

die dit netwerk kon herkennen.

Bij dit soort synthese

of beeldweergave
over die hele oppervlakte,

waarbij de y varieert
over het oppervlak,

creëer je een visuele kaart
van alles wat het netwerk herkent.

Alle dieren staan hierop aangeduid.
Dat daar is een gordeldier.

Dit werkt ook met andere netwerken.

Dit netwerk is ontwikkeld
om gezichten te herkennen,

om gezichten van elkaar te onderscheiden.

Hier hebben we de y ingevoerd
die mij vertegenwoordigt.

Het zijn mijn gezichtsparameters.

Als dit systeem naar x gaat zoeken,

genereert het een absurd,

nogal kubistisch, surreëel
en psychedelisch beeld van mij,

vanuit verschillende perspectieven.

Je ziet hier verschillende
perspectieven tegelijkertijd,

omdat ons netwerk zo ontworpen is
dat het de dubbelzinnigheid tegengaat

van de verschillende mogelijke poses

of de verschillende
mogelijke belichtingen.

Als je zo'n reconstructie uitvoert

en je geen afbeelding of statistieken

als richtlijnen gebruikt,

dan krijg je een samenraapsel
van 'n heleboel perspectieven,

want het is ambigue.

Dit is het resultaat wanneer Alex
zijn eigen gezicht gebruikt als richtlijn

tijdens het optimalisatieproces
om mijn gezicht te reconstrueren.

Je ziet dat het niet perfect is.

We hebben nog wat werk voor de boeg

om het optimalisatieproces
te optimaliseren.

Maar je krijgt toch iets
wat meer lijkt op een gezicht,

met mijn gezicht als richtlijn.

Je hoeft niet meer te beginnen
met een wit doek,

of met 'witte ruis'.

Wanneer je naar x zoekt,

kan je beginnen met een x
die op zich al een afbeelding is.

Dat toont de volgende demo.

Dit is een netwerk dat ontworpen is

om allerlei verschillende
voorwerpen te categoriseren,

zoals kunstmatige structuren, dieren...

We vertrokken hier gewoon
van een afbeelding van wolken.

Terwijl we het beeld optimaliseren,

probeert het netwerk te bepalen
wat het kan zien in de wolken.

Hoe langer je hier naar kijkt,

hoe meer je ook gaat zien in deze wolken.

Je kunt er ook hallucinaties
van het gezichtsnetwerk in verwerken.

Dat levert ook gekke beelden op.

(Gelach)

Mike heeft nog enkele
andere experimenten uitgevoerd,

waarbij hij de afbeelding
van de wolken neemt,

een hallucinatie toevoegt, inzoomt,
weer 'n hallucinatie toevoegt, inzoomt.

Op deze manier

krijg je een soort
dissociatieve vlucht, denk ik,

of een soort vrije associatie,

waarin het netwerk
haar eigen staart opeet.

Iedere afbeelding is de basis voor...

"Wat zie ik hierna?"

"En wat daarna? En wat daarna?"

Ik heb dit voor het eerst getoond

aan een groep in Seattle
bij een lezing, genaamd 'Hoger Onderwijs'.

Marihuana was toen
nog maar net gelegaliseerd.

(Gelach)

Ik zou snel willen afsluiten

door te zeggen dat deze technologie
geen grenzen kent.

Ik heb enkel visuele voorbeelden getoond,
omdat die leuk zijn om naar te kijken.

Maar de technologie is niet enkel visueel.

Ross Goodwin, een medewerker van ons,

heeft enkele experimenten gedaan
waarbij hij foto's nam met een camera

en die dan gebruikte om een gedicht
mee te schrijven, met z'n computer,

op basis van de inhoud van de afbeelding.

Dat poëzienetwerk werd getraind

op een groot corpus gedichten
uit de 20e eeuw.

En de gedichten zijn, weet je,

al bij al niet slecht, denk ik.

(Gelach)

Om af te sluiten...

Ik denk dat Michelangelo

het bij het rechte eind had.

Waarneming en creativiteit zijn
zeer nauw met elkaar verbonden.

We hebben zopas gezien
dat neurale netwerken

die getraind zijn om keuzes te maken

of om dingen in de wereld te herkennen,

ook andersom kunnen werken
en kunst voortbrengen.

Dit doet mij afleiden

dat Michelangelo

de kunstwerken kon zien
uit massieve blokken steen,

maar ook dat eender welk wezen,
van eender welke planeet

die in staat is om waar te nemen

ook in staat is om te creëren.

Want in beide gevallen wordt exact
hetzelfde mechanisme gebruikt.

Ik ben er ook van overtuigd
dat waarneming en creativiteit

helemaal niet uniek zijn aan mensen.

Onze computermodellen
kunnen deze dingen ook al.

En dat zou niet mogen verrassen,
ons brein is immers computationeel.

En ten slotte...

Computertechnologie begon als een manier
om intelligente machines te ontwikkelen.

Het was gebaseerd op het idee

dat machines intelligent
gemaakt konden worden.

We beginnen nu eindelijk
enkele van de beloftes waar te maken

van vroege pioniers,

zoals Turing en von Neuman,

en McCulloch en Pitts.

Ik denk dat het bij computers
niet enkel draait om berekeningen,

of 'Candy Crush' of andere spelletjes.

We hebben ze steeds vormgegeven
volgens onze hersenen.

Ze geven ons de mogelijkheid
om onze hersenen beter te begrijpen

en om onze capaciteiten uit te breiden.

Dankjewel.

(Applaus)