Machine-intelligentie maakt menselijke moraal belangrijker

Machine-intelligentie is er en we gebruiken ze al om persoonlijke beslissingen te nemen. Maar de complexe manier waarop AI groeit en verbetert, maakt ze moeilijk te begrijpen en nog moeilijker te beheersen. In deze kritische talk legt techno-socioloog Zeynep Tüfekçi uit hoe intelligente machines kunnen falen op een manier die niet passen in menselijke foutenpatronen -- en wel op een onverwachte manier waarop we niet zijn voorbereid.. "We mogen onze verantwoordelijkheden niet uitbesteden aan machines", zegt ze. "We moeten steeds strakker aan menselijke waarden en menselijke ethiek blijven vasthouden."

Ik begon mijn eerste baan
als computerprogrammeur

in mijn eerste jaar aan de universiteit.

Ik was nog een tiener.

Spoedig nadat ik er begon

met het schrijven
van software voor een bedrijf,

kwam een manager van het bedrijf
naar me toe en fluisterde:

"Weet hij of ik lieg?"

Er was niemand anders in de kamer.

Ik: "Weet wie dat je liegt?
En waarom fluisteren we?"

De manager wees
naar de computer in de kamer.

"Weet hij of ik lieg?"

Nu had die manager
een affaire met de receptioniste.

(Gelach)

En ik was nog een tiener.

Dus fluister-schreeuwde ik naar hem terug:

"Ja, de computer weet of je liegt."

(Gelach)

Nou, ik lachte, maar op dit moment
zou ik moeten worden uitgelachen.

Tegenwoordig zijn er computersystemen

die emotionele toestanden
en zelfs liegen herkennen

door het interpreteren
van menselijke gezichten.

Adverteerders en zelfs regeringen
zijn zeer geïnteresseerd.

Ik was computerprogrammeur geworden

omdat ik een van die kinderen was
die gek zijn op wiskunde en wetenschap.

Maar ik leerde wat over kernwapens

en werd echt bezorgd
over de ethiek van de wetenschap.

Ik was in de war.

Door familieomstandigheden

moest ik zo snel mogelijk
aan werk geraken.

Ik dacht, nou, laat me
een technisch gebied uitkiezen

waarin ik gemakkelijk een baan kan vinden

en waar ik niet hoef in te gaan
op eventuele lastige vragen over ethiek.

Dus koos ik voor computers.

(Gelach)

Nou ja, ha, ha, ha! Lach maar.

Tegenwoordig bouwen
computerwetenschappers systemen

die elke dag een miljard
mensen controleren.

Ze ontwikkelen auto's die zouden
kunnen beslissen wie ze overrijden.

Ze bouwen zelfs machines, wapens,

die in de oorlog mensen
zouden kunnen doden.

Het is ethiek, al wat de klok slaat.

Machine-intelligentie is hier.

We nemen allerlei beslissingen
aan de hand van berekeningen,

maar ook nieuwe typen beslissingen.

We stellen vragen aan de computer
waar niet één enkel antwoord op is,

die subjectief zijn

met een open einde en waardegeladen.

We stellen vragen als:

"Wie moet het bedrijf inhuren?"

"Welke update van welke vriend
moet je te zien krijgen?"

"Welke gevangene heeft
meer kans om te recidiveren?"

"Welke nieuwsbericht of film
moeten we aanbevelen?"

Ik weet dat we al een tijdje
computers gebruiken,

maar dit is anders.

Dit is een historisch keerpunt,

omdat we voor dergelijke
subjectieve beslissingen

niet op berekeningen kunnen vertrouwen,

zoals we dat doen voor het vliegen
van vliegtuigen, het bouwen van bruggen

of naar de maan gaan.

Zijn vliegtuigen veiliger?
Is de brug gaan zwaaien en ingestort?

Daar hebben we vrij duidelijke
normen voor afgesproken

en we hebben natuurwetten
om ons te leiden.

Dergelijke ijkpunten
en normen hebben we niet

voor besluiten in rommelige
menselijke aangelegenheden.

Om de zaken nog ingewikkelder te maken,
wordt onze software steeds krachtiger,

maar ook steeds
minder transparant en complexer.

Recentelijk, in het afgelopen decennium,

hebben complexe algoritmen
grote vooruitgang geboekt.

Ze kunnen menselijke gezichten herkennen.

Ze kunnen handschrift ontcijferen.

Ze kunnen creditcardfraude detecteren,

spam blokkeren

en vertalingen maken.

Ze kunnen tumoren detecteren
bij medische beeldvorming.

Ze kunnen mensen
met schaken en go verslaan.

Een groot deel van deze vooruitgang

komt van een methode
'machine learning' genaamd.

Machine learning is anders
dan het traditionele programmeren,

waar je de computer gedetailleerde,
exacte, nauwgezette instructies geeft.

Het is meer alsof je
het systeem veel data voert,

ook ongestructureerde data,

zoals we ze genereren
in ons digitale leven.

En het systeem leert
door op deze gegeven te broeden.

Ook van cruciaal belang is

dat deze systemen niet werken
met een één-antwoord logica.

Ze geven geen simpel antwoord;
het is meer probabilistisch:

"Dit is waarschijnlijk meer wat je zoekt."

Het voordeel is dat deze methode
echt krachtig is.

Het hoofd van Google's
AI-systemen noemde het:

"De onredelijke effectiviteit van data."

Het nadeel is

dat we niet echt begrijpen
wat het systeem leerde.

Dat is in feite zijn kracht.

Dit lijkt minder op het geven
van instructies aan een computer

dan op het trainen
van een puppy-machine-schepsel

dat we niet echt begrijpen of controleren.

Dus dit is ons probleem.

Als het kunstmatige-intelligentie systeem
in de fout gaat, hebben we een probleem.

Het is ook een probleem
wanneer het goed werkt,

omdat we niet eens weten

wanneer het in de fout gaat
bij een subjectief probleem.

We weten niet wat dit ding denkt.

Denk eens aan een algoritme
voor aanwerving --

een systeem dat wordt gebruikt
om mensen aan te nemen

met behulp van machine learning-systemen.

Een dergelijk systeem werd getraind
met data van vroegere werknemers

en geïnstrueerd voor het vinden en inhuren

van mensen zoals de beste
presteerders in het bedrijf.

Klinkt goed.

Ik heb eens een conferentie bijgewoond

met human-resourcesmanagers
en leidinggevenden,

hoge pieten,

die dergelijke systemen
voor het inhuren gebruiken.

Ze waren superenthousiast.

Ze dachten dat dit het inhuren

objectiever en minder
bevooroordeeld zou maken

en vrouwen en minderheden
betere kansen zouden geven

ten opzichte van vooringenomen
menselijke managers.

En ja -- het inhuren
door mensen is bevooroordeeld.

Ik weet het.

In een van mijn eerste banen
als programmeur

kwam mijn directe manager
soms naar me toe,

heel vroeg in de ochtend
of erg laat in de middag,

en zei: "Zeynep, laten we gaan lunchen!"

Ik was verbaasd over de vreemde timing.

Het is vier uur in de namiddag. Lunch?

Ik was blut. Dus gratis lunch?
Ik ging altijd mee.

Ik besefte pas later wat er loos was.

Mijn directe managers
hadden hun oversten niet verteld

dat de programmeur die ze
voor een serieuze baan hadden ingehuurd

een tienermeisje was

dat op het werk een spijkerbroek
en sportschoenen droeg.

Ik deed mijn werk goed,
ik zag er alleen niet uit

en had de verkeerde leeftijd en geslacht.

Dus inhuren zonder oog
voor geslacht of ras,

daar kan ik alleen maar blij mee zijn.

Maar met deze systemen
ligt het ingewikkelder en wel hierom:

momenteel kunnen computersystemen
allerlei dingen over je afleiden

uit je digitale kruimels,

zelfs als je die dingen niet hebt verteld.

Ze kunnen je seksuele geaardheid afleiden,

je persoonlijkheidskenmerken,

je politieke kleur.

Ze kunnen met grote
nauwkeurigheid voorspellen.

Nogmaals -- ook voor dingen
die je nog niet eens hebt bekendgemaakt.

Dat is inferentie.

Ik heb een vriend die dergelijke
computersystemen heeft ontwikkeld

om de waarschijnlijkheid van klinische
of postpartumdepressie te voorspellen

op basis van social-mediagegevens.

De resultaten zijn indrukwekkend.

Haar systeem kan de kans
op depressie voorspellen

maanden vóór het begin van de symptomen --

maanden eerder.

Geen symptomen, wel een voorspelling.

Ze hoopt dat het zal worden gebruikt
voor vroege interventie. Geweldig!

Maar bekijk dat nu eens
in het kader van aanwerven.

Op deze conferentie
voor human-resourcesmanagers

benaderde ik een vooraanstaande manager
van een zeer groot bedrijf

en zei tegen haar:
"Kijk, wat als zonder dat je het weet,

je systeem mensen met een hoge
toekomstige kans op depressie uitwiedt?

Ze zijn nu niet depressief,
maar in de toekomst waarschijnlijk wel.

Wat als het vrouwen uitwiedt
omdat ze kans hebben om zwanger te worden

in de volgende paar jaar,
maar nu niet zwanger zijn?

Wat als het agressieve mensen inhuurt,
omdat dat jullie werkplekcultuur is?"

Je weet dit niet door te kijken
naar analyses voor geslacht.

Die kunnen in evenwicht zijn.

En aangezien dit machine learning is
en geen traditioneel programmeren,

is er geen variabele
gelabeld 'groter risico op depressie',

'hoger risico op zwangerschap'

of een 'agressieve-man-schaal'.

Niet alleen weet je niet
waarop jouw systeem selecteert,

je weet niet eens
waar je moet gaan zoeken.

Het is een zwarte doos.

Het heeft voorspellende kracht,
maar je begrijpt het niet.

"Welke garanties", vroeg ik, "heb je

om ervoor te zorgen dat jouw zwarte doos
geen rare dingen gaat doen?"

Ze keek me aan alsof ik
op tien puppystaarten tegelijk trapte.

(Gelach)

Ze keek me aan en zei:

"Hier wil ik geen woord meer over horen."

En ze draaide zich om en liep weg.

Let wel -- ze was niet onbeleefd.

Het was duidelijk: wat ik niet weet,
is mijn probleem niet, ga weg, lege blik.

(Gelach)

Kijk, een dergelijk systeem
kan misschien minder bevooroordeeld zijn

dan menselijke managers,
in sommige opzichten.

Het kan misschien wel geld besparen.

Maar het kan ook leiden

tot een gestage, maar sluipende
uitsluiting uit de arbeidsmarkt

van mensen met een
hoger risico op depressie.

Is dit het soort
samenleving dat we willen,

zonder zelfs maar te weten
dat we dat hebben gedaan,

omdat we besluitvorming
delegeerden naar machines

die we niet helemaal begrijpen?

Een ander probleem is dit:

deze systemen worden vaak getraind
met data gegenereerd door onze acties,

menselijke indrukken.

Nou, die zouden wel eens
onze vooroordelen kunnen weerspiegelen,

welke die systemen vervolgens
vlekkeloos overnemen,

ze versterken

en weer aan ons terugkaatsen,

terwijl we onszelf wijsmaken:

"We maken objectieve,
neutrale berekeningen."

Onderzoekers ontdekten dat op Google

vrouwen minder kans hebben dan mannen

om vacatures voor goedbetaalde banen
te zien te krijgen.

Het zoeken naar Afro-Amerikaanse namen

geeft een grotere kans op advertenties

die een criminele geschiedenis suggereren,

zelfs wanneer er geen is.

Dergelijke verborgen vooroordelen
en zwarte-doosalgoritmen,

die onderzoekers soms ontdekken
maar soms ook niet,

kunnen iemands leven
diepgaand beïnvloeden.

In Wisconsin werd een verdachte
veroordeeld tot zes jaar gevangenis

door te gaan lopen voor de politie.

Misschien weten jullie dit niet,

maar algoritmen
worden steeds meer gebruikt

bij voorwaardelijke
invrijheidstelling en straftoemeting.

Hij wilde weten hoe dat
deze score berekend wordt.

Het is een commerciële zwarte doos.

Het bedrijf weigerde

zijn algoritme in een openbare
rechtszitting te laten betwisten.

Maar ProPublica, een onderzoekende
non-profit, testte dat algoritme

met openbare gegevens
die ze konden vinden,

en vond dat de resultaten ervan
bevooroordeeld waren

en dat de voorspellende kracht onduidelijk
en nauwelijks beter dan het toeval was.

Ze labelde zwarte verdachten
onterecht als toekomstige criminelen

en wel twee keer zo vaak als blanken.

Bekijk dit geval:

deze vrouw was wat laat
om een meisje op te pikken

op een school in Broward County, Florida.

Ze liep op straat met een vriendin.

Op een veranda zagen ze
een kinderfiets en een scooter.

Zonder nadenken sprongen ze erop.

Terwijl ze wegreden,
kwam een vrouw naar buiten en zei:

"Hé! Dat is de fiets van mijn kind!"

Ze lieten hem vallen, liepen door,
maar werden gearresteerd.

Ze ging in de fout, ze was dom,
maar ze was ook pas 18.

Ze had een paar
jeugdmisdrijven op haar naam.

Ondertussen werd deze man gearresteerd
voor winkeldiefstal in Home Depot --

85 dollar aan spullen,
soortgelijke kleine criminaliteit.

Maar hij had twee eerdere veroordelingen
voor gewapende overval.

Het algoritme scoorde haar
als hoog risico en hem niet.

Twee jaar later vond ProPublica
dat ze niet had gerecidiveerd.

Maar ze vond wel moeilijk
een baan met haar strafblad.

Hij daarentegen recidiveerde

en zit nu voor acht jaar in de gevangenis
voor een latere misdaad.

Het is duidelijk dat we
onze zwarte dozen moeten controleren

en ze niet dit soort ongecontroleerde
macht moeten geven.

(Applaus)

Audits zijn geweldig en belangrijk,
maar ze lossen niet al onze problemen op.

Neem Facebook's krachtige
nieuwsfeed-algoritme --

je weet wel, hetgeen dat alles sorteert
en beslist wat jij te zien krijgt

van alle vrienden
en pagina's die je volgt.

Moet je nog een babyfoto
voorgeschoteld krijgen?

(Gelach)

Een sombere opmerking van een kennis?

Een belangrijk
maar moeilijk nieuwsbericht?

Er is geen juist antwoord.

Facebook optimaliseert
voor betrokkenheid op de site:

wat je leuk vindt, deelt
of becommentarieert.

In augustus 2014

braken protesten uit
in Ferguson, Missouri,

na het doden van een Afro-Amerikaanse
tiener door een blanke politieagent

onder duistere omstandigheden.

Het nieuws van de protesten
was prominent aanwezig

op mijn algoritmisch
ongefilterde Twitter-feed,

maar nergens op mijn Facebook.

Waren het mijn Facebookvrienden?

Ik schakelde het Facebookalgoritme uit,

wat moeilijk is,
want Facebook houdt je liever

onder de controle van het algoritme.

Ik zag dat mijn vrienden erover praatten.

Maar het algoritme liet het me niet zien.

Ik onderzocht dit en vond dat dit
een wijdverbreid probleem was.

Het verhaal van Ferguson
was niet 'algoritmevriendelijk'.

Het was niet 'sympathiek'.

Wie gaat er een 'vind ik leuk' aan geven?

Het is zelfs niet makkelijk
te becommentariëren.

Zonder vind-ik-leuk's en commentaar

toonde het algoritme het waarschijnlijk
aan nog minder mensen,

zodat we het niet te zien kregen.

In plaats daarvan benadrukte
Facebook's algoritme die week dit:

de ALS Ice Bucket Challenge.

Giet ijswater, doneer
aan een goed doel, allemaal fijn.

Maar het was uiterst
algoritmevriendelijk.

De machine nam die beslissing voor ons.

Een zeer belangrijk maar moeilijk gesprek

zou zijn gesmoord,

als Facebook het enige kanaal was geweest.

Nu kunnen deze systemen ook verkeerd zijn

op een manier die niet
op menselijke systemen lijkt.

Herinneren jullie zich Watson,
IBM's machine-intelligentie-systeem

dat op Jeopardy de vloer aanveegde
met de menselijke deelnemers?

Het was een geweldige speler.

Maar in de finale kreeg Watson deze vraag:

"Zijn grootste luchthaven is vernoemd
naar een held uit WO II,

zijn tweede grootste
naar een slag uit WO II."

(Neuriet Final Jeopardy-muziek)

Chicago.

De twee mensen hadden het goed.

Maar Watson antwoordde "Toronto" --

voor een stad van de VS!

Het indrukwekkende systeem
maakte ook een fout

die een mens nooit zou maken,
die een zevenjarige niet zou maken.

Onze machine-intelligentie kan mislukken

op een manier die niet past
in foutpatronen van mensen,

op een onverwachte manier
waarop we niet zijn voorbereid.

Het zou stom zijn
om een baan mis te lopen

waarvoor je gekwalificeerd bent,

maar het zou driedubbel stom zijn
als het was vanwege een stack overflow

in de een of andere subroutine.

(Gelach)

In mei 2010

ontstond een flash crash op Wall Street,
aangewakkerd door een terugkoppeling

in Wall Streets 'verkopen'-algoritme.

Het wiste een biljoen dollar weg
in 36 minuten.

Ik wil er niet eens aan denken
wat 'fout' betekent

als het over dodelijke
autonome wapens gaat.

Dus ja, mensen hebben altijd vooroordelen.

Beslissers en bewakers,

in rechtbanken, in het nieuws,
in de oorlog...

maken ze fouten;
maar dat is precies wat ik bedoel.

We kunnen niet ontsnappen
aan deze moeilijke vragen.

We kunnen onze verantwoordelijkheden
niet uitbesteden aan machines.

(Applaus)

Kunstmatige intelligentie stelt ons
niet vrij van de ethische vraagstukken.

Datawetenschapper Fred Benenson
noemt dit 'wiskunde-wassen'.

We moeten het tegenovergestelde doen.

Algoritmes verdienen een cultuur
van achterdocht, controle en onderzoek.

We moeten zorgen
voor algoritmische verantwoording,

auditing en betekenisvolle transparantie.

We moeten accepteren dat het toepassen
van wiskunde en berekening

op rommelige, waardegeladen
menselijke aangelegenheden

geen objectiviteit met zich meebrengt,

maar dat de complexiteit van menselijke
aangelegenheden in de algoritmen sluipt.

Ja, we kunnen en we moeten
berekening gebruiken

om ons te helpen
om betere beslissingen te nemen.

Maar het uiteindelijke oordeel
blijft onze morele verantwoordelijkheid,

en binnen dat kader kunnen
we algoritmen gebruiken,

niet als een middel om
onze verantwoordelijkheden

van mens tot mens te ontlopen.

Machine-intelligentie is hier.

Dat betekent dat we
steeds strakker moeten vasthouden

aan menselijke waarden
en menselijke ethiek.

Dank je.

(Applaus)