De wonderbaarlijke en schrikwekkende implicaties van computers die kunnen leren | Jeremy Howard | TEDxBrussels

Wat gebeurt er als we een computer leren leren? Technoloog Jeremy Howard bespreekt enkele verrassende nieuwe ontwikkelingen over het snel evoluerende gebied van 'deep learning', een techniek die computers de mogelijkheid geeft om Chinees te leren, om objecten in foto's te herkennen of om mee te denken bij een medische diagnose. (Eén 'deep learning'-toepassing maakte zich het begrip 'katten' eigen door het bekijken van uren YouTube.) Word bijgepraat over een veld dat de manier waarop computers zich gedragen zal veranderen... waarschijnlijk sneller dan je denkt.

Als je vroeger een computer
iets nieuws wilde laten doen,

moest je hem programmeren.

Voor wie het nooit zelf heeft gedaan:

programmeren vereist
dat je tot in het allerpijnlijkste detail

elke stap uitschrijft
van wat je wil dat de computer doet

om je doel te bereiken.

Als je iets wil doen, waarvan je
zelf niet weet hoe je het moet doen,

dan is dit een grote uitdaging.

Dat was de uitdaging
voor deze man, Arthur Samuel.

In 1956 wilde hij
deze computer zover krijgen

dat hij Samuel zelf kon verslaan
bij het dammen.

Hoe schrijf je een programma

dat tot in het allerpijnlijkste detail,
beter is in dammen dan je zelf bent?

Hij kwam met een idee:

hij liet de computer duizenden keren
tegen zichzelf spelen

en daarbij leren hoe te dammen.

Het werkte en in 1962 versloeg

deze computer de kampioen
van de staat Connecticut.

Zo werd Arthur Samuel
de vader van het ‘machinaal leren’.

Ik heb veel aan hem te danken,

want ik doe aan machinaal leren.

Ik was voorzitter van Kaggle,

een gemeenschap van meer dan
200.000 machinaal-lerenbeoefenaars.

Kaggle organiseert wedstrijden

om eerder onopgeloste problemen
op te lossen.

Dat lukte al honderden keren.

Daardoor kon ik heel wat te weten komen

over wat machinaal leren kon doen
in het verleden, vandaag,

en wat het zou kunnen doen in de toekomst.

Misschien is Google het eerste grote
commerciële succes van machinaal leren.

Google liet zien dat het mogelijk is
om informatie te vinden

met een computeralgoritme.

Dit algoritme is gebaseerd
op machinaal leren.

Sinds die tijd heeft machinaal leren
heel wat commerciële successen geboekt.

Bedrijven als Amazon en Netflix
gebruiken machinaal leren

om producten te suggereren
die je misschien wilt kopen,

of films om naar te kijken.

Soms is het bijna griezelig.

Bedrijven zoals LinkedIn en Facebook

kunnen je soms vertellen
wie je vrienden zouden kunnen zijn

en je hebt geen idee
hoe dat in zijn werk ging.

Dat is de kracht van machinaal leren.

Deze algoritmen hebben dit
uit gegevens geleerd te doen

in plaats van door manueel programmeren.

Daarom ook kon Watson van IBM

de twee wereldkampioenen
bij "Jeopardy" verslaan

door heel subtiele en complexe vragen
als deze te beantwoorden.

["O.a. de oude 'Leeuw van Nimrod' verdween
hier in 2003 uit het nationaal museum."]

Ook daarom kunnen we nu
de eerste zelfsturende auto's zien.

Het verschil zien tussen
een boom en een voetganger

is dan nogal belangrijk.

We weten niet hoe we zulke programma's
handmatig moeten schrijven,

maar met machinaal leren kan het.

Deze auto heeft er al meer
dan een miljoen kilometer opzitten

zonder ongevallen en op gewone wegen.

We weten nu dat computers kunnen leren,

en computers dingen kunnen leren doen

waarvan we eigenlijk soms niet weten
hoe we ze zelf moeten doen,

of kunnen ze misschien beter doen dan wij.

Een van de meest
verbazingwekkende voorbeelden

van machinaal leren die ik heb gezien,

zag ik op een project
dat ik op Kaggle leidde.

Een team geleid door Geoffrey Hinton
van de Universiteit van Toronto

won een wedstrijd in het geautomatiseerd
ontdekken van geneesmiddelen.

Het was al buitengewoon
dat ze alle algoritmen van Merck

en de internationale
academische gemeenschap versloegen,

maar daarbij had niemand in het team
een achtergrond

in scheikunde, biologie
of levenswetenschappen,

en ze deden het in twee weken.

Hoe deden ze het?

Ze gebruikten een buitengewoon algoritme:
‘deep learning’.

Zo belangrijk was dat,
dat het een paar weken later

in The New York Times
als voorpagina-artikel verscheen.

Dit is Geoffrey Hinton hier links.

Deep learning is een algoritme
geïnspireerd op het menselijk brein.

Daardoor is het een algoritme

zonder theoretische beperkingen
op wat het kan doen.

Hoe meer gegevens
en rekentijd je het geeft,

hoe beter het wordt.

De New York Times toonde
in dit artikel ook

een ander uitzonderlijk resultaat
van deep learning.

Ik ga het je nu laten zien.

Het toont aan dat computers
kunnen luisteren en begrijpen.

(Video) Richard Rashid:
De laatste stap

die ik in dit proces wil kunnen zetten,

is om je daadwerkelijk
in het Chinees aan te spreken.

Het belangrijkste is

dat we een grote hoeveelheid informatie
van vele Chinese sprekers konden vergaren

en een tekst-naar-spraaksysteem produceren

dat Chinese tekst
omzet naar Chinese spreektaal.

Daarna hebben we een paar uren
mijn eigen stem opgenomen

en ze gebruikt om het standaard
tekst-naar-spraak systeem te moduleren

zodat het zou klinken zoals ik.

Het resultaat is niet perfect.

Er zitten nogal wat fouten in.

(In het Chinees)

(Applaus)

Er is nog veel werk te doen
op dit gebied.

(In het Chinees)

(Applaus)

Jeremy Howard: Dat was op een conferentie
over machinaal leren in China.

Op wetenschappelijke congressen

hoor je niet vaak spontaan applaus,

maar natuurlijk wel eens
bij TEDx conferenties, het mag.

Alles wat je zag,
gebeurde met deep learning.

(Applaus)
Dank je.

De transcriptie in het Engels
was deep learning.

Ook de vertaling naar Chinees en de tekst
in de rechterbovenhoek is deep learning.

De constructie van de stem,
weer deep learning.

Deep learning is buitengewoon.

Een enkel algoritme
lijkt bijna alles te kunnen.

Een jaar eerder ontdekte ik
dat het systeem ook had leren zien.

Bij een minder bekende
wedstrijd in Duitsland,

de German Traffic Sign
Recognition Benchmark,

heeft deep learning verkeersborden
zoals deze leren herkennen.

Niet alleen kan het verkeersborden
beter dan enig ander algoritme herkennen,

het scorebord liet zien dat het ook
ongeveer twee keer beter was dan mensen.

In 2011 hadden we dus het eerste voorbeeld

van computers die beter
kunnen zien dan mensen.

Sinds die tijd is er veel gebeurd.

In 2012 kondigde Google aan
dat ze een deep learning-algoritme

YouTube-video’s lieten bekijken.

Het verwerkte een maand lang
de gegevens op 16.000 computers,

en de computer leerde zelfstandig
over begrippen als mensen en katten

gewoon door naar de video's te kijken.

Net als de manier waarop mensen leren.

Mensen leren niet doordat hen
wordt verteld wat ze zien,

maar door zichzelf
deze dingen te leren.

Ook in 2012, won Geoffrey Hinton,
die we eerder zagen,

de zeer populaire ImageNet-wedstrijd,

door te kijken naar anderhalf miljoen
afbeeldingen om erachter te komen

wat ze voorstelden.

Vanaf 2014 zitten we op
een zes procent foutenpercentage

bij beeldherkenning.

Dit is alweer beter dan mensen.

Machines kunnen dit buitengewoon goed

en het wordt nu gebruikt in de industrie.

Vorig jaar kondigde
Google bijvoorbeeld aan

dat ze elke locatie in Frankrijk
in twee uur tijd in kaart hadden gebracht,

door Street View-beelden

met een deep learning-algoritme te herkennen
en de huisnummers te lezen.

Stel je voor hoe lang het
anders zou hebben geduurd:

tientallen mensen, vele jaren.

Dit gebeurt ook in China.

Baidu is een soort Chinese Google,
denk ik,

en wat je hier ziet
in de linkerbovenhoek,

is een voorbeeld van een foto
die ik heb geüpload

naar Baidu’s deep learning-systeem.

Daaronder kun je zien dat het systeem
heeft begrepen wat dat beeld is

en gelijkaardige beelden vond.

De gelijkaardige beelden
hebben gelijkaardige achtergronden,

dezelfde richtingen van gezichten,

sommige zelfs met hun tong uit.

Dit is niet zomaar wat kijken
naar de tekst van een webpagina.

Alles wat ik uploadde, waren beelden.

Dus hebben we nu computers
die echt begrijpen wat ze zien

en derhalve databases

van honderden miljoenen beelden
in real time doorzoeken.

Wat betekent het nu
dat computers kunnen zien?

Computers kunnen niet alleen maar zien.

Deep learning doet meer.

Complexe, genuanceerde zinnen zoals deze

zijn nu begrijpelijk
met deep learning-algoritmen.

Zoals je hier kunt zien,

heeft dit systeem van Stanford
met de rode stip bovenaan

uitgeknobbeld dat deze zin
een negatief sentiment weergeeft.

Deep learning komt in de buurt
van menselijke prestaties

bij het begrijpen waar zinnen over gaan
en wat ze zeggen over die dingen.

Ook is deep learning gebruikt
om Chinees te lezen,

weer op ongeveer het niveau
van Chinese moedertaalsprekers.

Dit algoritme werd
in Zwitserland ontwikkeld

alweer door mensen die geen
Chinees spreken of begrijpen.

Zoals ik al zei, deep learning

is zowat het beste systeem
ter wereld hiervoor,

zelfs in vergelijking
met autochtoon menselijk begrijpen.

Het is een systeem dat we
op mijn bedrijf hebben ontwikkeld

door dit allemaal te combineren.

Dit zijn foto’s
zonder bijhorende tekst,

en terwijl ik hier zinnen typ,

begrijpt het deze foto’s in real time,

zoekt uit waarover ze gaan

en vindt foto’s die lijken op
de tekst die ik schrijf.

Zoals jullie kunnen zien, begrijpt het
mijn zinnen en deze foto's echt.

Dit heb je vast al gezien op Google,

waar je woorden kunt intypen
en het je afbeeldingen toont,

maar eigenlijk doorzoekt het
de webpagina op tekst.

Dat is heel wat anders dan
werkelijk begrijpen van de afbeeldingen.

Dit kunnen computers alleen nog maar

sinds de laatste paar maanden.

Computers kunnen dus niet alleen zien,
maar ook lezen,

en, zoals we hebben aangetoond,
ook begrijpen wat ze horen.

Misschien niet zo verwonderlijk
dat ik je vertel dat ze kunnen schrijven.

Deze tekst genereerde ik gisteren
met een deep learning-algoritme.

En hier een stukje tekst dat
een algoritme van Stanford genereerde.

Elk van deze zinnen werd gegenereerd

door een deep learning-algoritme
om elk van deze foto's te beschrijven.

Dit algoritme had nog nooit een man
in een zwart shirt gitaar zien spelen.

Het had al apart een man, zwart

en een gitaar gezien,

maar genereerde onafhankelijk
de nieuwe beschrijving van dit beeld.

We zijn nog niet zover
als menselijke prestaties,

maar we komen in de buurt.

Bij tests geven mensen
één op de vier keer de voorkeur

aan het bijschrift van de computer.

Dit systeem is nog maar twee weken oud,

dus waarschijnlijk
zal in de loop van volgend jaar,

het computer-algoritme
het beter doen dan mensen.

Computers kunnen dus ook schrijven.

Dit alles tezamen leidt
tot zeer interessante mogelijkheden.

In de geneeskunde heeft
een team in Boston aangekondigd

tientallen nieuwe klinisch relevante
eigenschappen van tumoren

te hebben ontdekt, wat artsen helpt bij
het maken van prognoses voor kanker.

Ook in Stanford maakte een groep bekend

dat ze, kijkend
naar weefsels onder vergroting,

een op machinaal-leren gebaseerd
systeem hebben ontwikkeld

dat beter was dan menselijke pathologen

in het voorspellen van overlevingskansen
voor kankerpatiënten.

In beide gevallen werden niet alleen
de voorspellingen nauwkeuriger,

maar ze genereerden
nieuwe inzichtelijke wetenschap.

Bij de radiologie

waren dat nieuwe klinische indicatoren
die mensen kunnen begrijpen.

Bij de pathologie

ontdekte het computersysteem
dat de cellen rond de kanker

even belangrijk zijn
als de kankercellen zelf

bij het maken van een diagnose.

Dit is het tegenovergestelde van wat
pathologen decennialang hadden geleerd.

In beide gevallen
werden systemen ontwikkeld

door een combinatie van medische experts
en machinaal-lerenexperts,

maar dat was vorig jaar,
nu staan we verder.

Dit is een voorbeeld van identificatie
van carcinomateuze gebieden

van menselijk weefsel
onder een microscoop.

Het systeem dat hier wordt getoond,

kan deze doelgebieden
preciezer identificeren

of ongeveer net zo precies
als menselijke pathologen, maar werd

geheel ontwikkeld met deep learning
zonder medische expertise

door mensen zonder achtergrond
op dat gebied.

Evenzo bij deze neuronen-segmentatie.

We kunnen nu neuronen ongeveer

net zo nauwkeurig onderscheiden
als mensen het kunnen,

maar dit systeem
is ontwikkeld met deep learning

met mensen zonder eerdere
achtergrond in de geneeskunde.

Ikzelf, als iemand zonder eerdere
achtergrond in de geneeskunde,

lijk helemaal gekwalificeerd te zijn om
een nieuw medisch bedrijf op te starten,

wat ik dan ook deed.

Ik was doodsbang om het te doen,

maar de theorie leek te suggereren
dat het mogelijk moet zijn

om aan zeer bruikbare geneeskunde te doen
met deze data-analyse technieken.

Gelukkig is de feedback
fantastisch geweest.

Niet alleen van de media

maar ook van de medische gemeenschap,
die zeer positief reageerde.

De theorie is dat wij het middelste deel
van het medische proces kunnen overnemen

en dat zoveel mogelijk
in gegevensanalyse omzetten

om artsen dat te laten doen
waarin ze uitblinken.

Ik geef een voorbeeld.

Het kost ons nu ongeveer 15 minuten

om een nieuwe medische diagnostische
test te genereren.

Ik toon het in real-time,

maar comprimeerde het tot drie minuten
door wat weg te laten.

In plaats van het creëren van
een medisch-diagnostische test te tonen,

toon ik een diagnostische test
van afbeeldingen van auto's,

want dat begrijpen we allemaal.

We beginnen hier met ongeveer
1,5 miljoen afbeeldingen van auto's,

en ik wil iets maken
dat hen kan sorteren

volgens de hoek
vanwaar de foto werd genomen.

Deze beelden zijn ongelabeld,
dus moet ik beginnen vanaf nul.

Met ons deep learning-algoritme

kan het automatisch structuurdelen
identificeren in deze beelden.

Het leuke is dat mens en computer
nu kunnen samenwerken.

De mens zoals hier te zien,

wijst de computer op aandachtsgebieden

waarvan hij wil dat de computer ze
gebruikt om het algoritme te verbeteren.

Deze deep learning-systemen zijn in feite
in een 16.000-dimensionale ruimte.

Je kunt de computer dit
in die ruimte zien draaien,

om nieuwe structuurgebieden te vinden.

Als dat lukt,

kan de mens dan wijzen
op gebieden die interessant zijn.

Hier heeft de computer
goede gebieden gevonden,

bijvoorbeeld hoeken.

Bij het doorlopen van dit proces,

vertellen we de computer
geleidelijk aan meer en meer

over de soorten structuren
die we zoeken.

Je kunt je voorstellen
dat in een diagnostische test

een patholoog zieke gebieden
gaat identificeren

of een radioloog potentieel
gevaarlijke knobbeltjes aanwijst.

Soms wordt het moeilijk
voor het algoritme.

Hier raakte het in de war.

De voor- en achterkanten van de auto's
worden door elkaar gehaald.

Dus moeten we hier wat preciezer zijn,

voor- en achterkanten handmatig selecteren

en de computer vertellen

dat dit een soort groep is
waarin we geïnteresseerd zijn.

Dat doen we even,
we slaan even wat over,

en trainen daarmee
het machinaal-lerenalgoritme

op basis van die paar honderd dingen,

en hopen dat het dan veel beter gaat.

Jullie zien, hij begint nu
sommige van deze foto’s te vervagen,

en laat daarmee zien dat het
sommige ervan zelf begint te begrijpen.

We kunnen dan gebruik maken
van het concept van soortgelijke foto's,

daarmee kun je nu zien

dat de computer in staat is om alleen
de voorkanten van auto’s te vinden.

Nu kan de mens de computer vertellen:

“Oké, dat heb je goed gedaan.”

Maar zelfs op dit punt

is het soms nog steeds moeilijk
groepen te scheiden.

Zelfs na de computer
dit een tijdje te laten roteren,

zien we nog steeds dat foto’s
van de linker- en de rechterzijde

door elkaar worden gehaald.

We kunnen dan de computer
weer enkele tips geven,

en zeggen dat hij een projectie
moet zoeken

die de linker- en rechterkant
zoveel mogelijk scheidt

door middel van
een deep learning-algoritme.

En met die hint –
ah, oké, het is gelukt.

Hij vond een manier
van denken over deze objecten

dat ze van elkaar scheidde.

Je ziet het idee erachter.

Hier werd de mens
niet vervangen door een computer,

maar ze werkten samen.

Dit zou een team van vijf of zes personen
zeven jaar hebben gekost.

Dit duurt 15 minuten

voor één enkele persoon.

Dit proces neemt ongeveer
vier of vijf iteraties in beslag.

Je kunt zien dat we nu 62%

van onze 1,5 miljoen beelden
correct hebben geclassificeerd.

Vanaf nu kunnen we vrij snel
heel grote secties aanpakken

en controleren of er
geen fouten werden gemaakt.

Waar fouten zijn,
kunnen we de computer daarop wijzen.

Met dit soort proces voor elk
van de verschillende groepen,

hebben we nu een 80% kans op succes

bij het sorteren
van de 1,5 miljoen afbeeldingen.

Dan is het nog zaak

het kleine aantal te vinden
dat niet correct werd ingedeeld

en proberen te begrijpen waarom.

Met behulp van die aanpak

krijgen we op 15 minuten
tot 97% juiste classificatie.

Dit soort techniek stelt ons in staat
een groot probleem op te lossen,

namelijk het gebrek
aan medische expertise in de wereld.

Het Wereld Economisch Forum zegt
dat er tussen de 10 en 20 keer

te weinig artsen zijn
in de derde wereld.

Het zou ongeveer 300 jaar duren

om voldoende mensen op te leiden
om dat probleem op te lossen.

Stel dat we hun efficiëntie
kunnen verbeteren

met behulp van deep learning?

Ik ben erg enthousiast
over de mogelijkheden.

Maar ik zie ook problemen.

Het probleem hier is dat
elk gebied in het blauw op deze kaart

ergens is waar de dienstensector instaat
voor meer dan 80% van de werkgelegenheid.

Wat zijn diensten?

Dit zijn diensten.

Dit zijn ook exact die dingen
die computers net hebben leren doen.

Dus 80% van de werkgelegenheid
in de ontwikkelde wereld

zijn zaken die computers
net hebben leren doen.

Wat betekent dat?

Het komt wel goed.

Er komen wel andere banen.

Bijvoorbeeld meer banen
voor datawetenschappers.

Nou, niet echt. Datawetenschappers
kunnen deze dingen heel snel ontwikkelen.

Zo werden deze vier algoritmes
alle ontwikkeld door dezelfde man.

Als je denkt: “Ach, het is allemaal
al eerder gebeurd,

we zagen wat er vroeger gebeurde
als er nieuwe dingen kwamen,

ze worden vervangen door nieuwe banen.”

Maar wat zullen deze nieuwe banen zijn?

Moeilijk in te schatten,

omdat menselijk kunnen
met dit geleidelijke tempo groeit,

maar we hebben nu
een deep learning-systeem

dat eigenlijk exponentieel
in mogelijkheden toeneemt.

Hier zijn we.

We kijken naar wat we hebben

en zeggen: "Ach, computers zijn
nog steeds behoorlijk dom." Ja?

Maar in vijf jaar tijd zullen computers
buiten deze grafiek vallen.

Daar moeten we nu al beginnen
over na te denken.

Hebben we dit niet
al eerder zien gebeuren?

In de Industriële Revolutie

deden we een grote stap
in mogelijkheden dankzij machines.

Maar na een tijdje vlakte het wat af.

Er was maatschappelijke ontwrichting,

maar zodra machines in alle situaties
voor energie gingen zorgen,

kalmeerde het weer.

De Machinaal-Leren Revolutie

zal heel wat anders zijn
dan de Industriële Revolutie,

omdat de Machinaal-Leren Revolutie
nooit gaat stoppen.

Hoe beter computers worden
in intellectuele activiteiten,

hoe meer ze betere computers kunnen bouwen
om intellectuele vermogens te verbeteren.

Dit gaat om een soort verandering

die de wereld nog nooit
eerder heeft meegemaakt.

Je vorige idee van wat mogelijk is,
schiet tekort.

Dit beïnvloedt ons nu al.

Terwijl in de afgelopen 25 jaar
de kapitaalproductiviteit toenam,

ging het voor de arbeidsproductiviteit
zelfs een beetje omlaag.

Ik zou deze discussie
nu willen opstarten.

Ik weet dat wanneer ik
mensen hierover vertel,

ze vaak heel afwijzend zijn:

"Computers kunnen toch niet echt denken,

voelen, poëzie begrijpen.

We begrijpen niet echt hoe ze werken."

Dus?

Computers kunnen nu dingen doen

waarvoor mensen al hun hele leven
betaald werden,

dus is het nu tijd om te gaan nadenken

hoe we onze sociale
en economische structuren gaan aanpassen

en ons bewust worden
van deze nieuwe realiteit.

Bedankt.

(Applaus)