Algoritmes zijn overal.
Ze scheiden de winnaars van de verliezers.
De winnaars krijgen de baan
of een goede creditcard-aanbieding.
De verliezers mogen niet eens
op gesprek komen
of betalen meer voor hun verzekering.
Onze score wordt berekend
met geheime formules die we niet begrijpen
en waar je vaak niet
tegen in beroep kan gaan.
Hierdoor rijst de vraag:
wat als algoritmes fouten maken?
Een algoritme vraagt om twee dingen:
data, wat in het verleden gebeurd is,
en een definitie voor succes,
dat wat je hoopt te vinden.
Je laat een algoritme data bestuderen
om te ontcijferen wat leidt tot succes.
Welke factoren spelen daarin mee?
Iedereen gebruikt algoritmes.
Alleen zetten ze het niet om
in computercode.
Een voorbeeld.
Ik gebruik elke dag een algoritme
om een maaltijd te koken voor mijn gezin.
De gegevens die ik gebruik
zijn de ingrediënten in huis,
de hoeveelheid tijd die ik heb,
de gewenste inspanning,
en daarna orden ik die data.
Kleine pakjes ramen noedels
reken ik niet mee als voedsel.
(Gelach)
Mijn definitie voor succes is:
een maaltijd is succesvol
als mijn kinderen groenten eten.
Als mijn zoontje de baas was,
zou hij iets heel anders zeggen.
Voor hem is succes als hij
onbeperkt Nutella mag eten.
(Gelach)
Maar ik bepaal wat succes is.
Ik ben de baas. Mijn mening is belangrijk.
Dat is de eerste regel van algoritmes.
Algoritmes zijn meningen
vastgelegd in code.
Dat is heel iets anders dan
wat de meeste mensen denken dat het zijn.
Zij denken dat algoritmes objectief,
waar en wetenschappelijk zijn.
Dat is een marketingtruc.
(Gelach)
Het is ook een marketingtruc
om je te intimideren met algoritmes,
om te zorgen dat je algoritmes vertrouwt
én er bang voor bent,
net zoals je op wiskunde vertrouwt
en er bang voor bent.
Het kan flink misgaan
als we blind vertrouwen op Big Data.
Dit is Kiri Soares. Ze is directrice
van een middelbare school in Brooklyn.
In 2011 werden haar docenten beoordeeld
met behulp van een complex,
geheim algoritme,
het zogeheten 'meerwaardemodel'.
Ik zei: "Probeer achter de formule
te komen, dan leg ik het je uit."
Ze zei: "Dat heb ik geprobeerd,
maar op het Ministerie van Onderwijs
zeiden ze het wiskunde was
en dat ik dat toch niet zou begrijpen."
(Gelach)
Het wordt nog erger.
De New York Post deed een beroep
op de vrijheid van informatie,
verzamelde alle namen
van docenten en hun scores
en publiceerde die
om ze publiekelijk terecht te wijzen.
Toen ik zelf probeerde de formules,
de broncode, te bemachtigen,
werd gezegd dat dat onmogelijk was.
Ik werd geweigerd.
Pas later kwam ik erachter
dat niemand in New York
toegang had tot de formule.
Niemand begreep het.
Toen raakte de intelligente
Gary Rubinstein bij de zaak betrokken.
In de gegevens van de New York Post
vond hij 665 docenten
die twee scores bleken te hebben.
Dat gebeurde als ze wiskunde gaven
aan de brugklas en de tweede klas.
Hij besloot ze in kaart te brengen.
Elke stip is een docent.
(Gelach)
Wat is dat?
(Gelach)
Dat hadden ze nooit mogen gebruiken
voor individuele beoordeling.
Het lijkt meer op een toevalsgenerator.
(Applaus)
En dat was ook zo.
Dit is Sarah Wysocki.
Samen met 205 andere docenten
werd ze ontslagen
in het schooldistrict van Washington,
ondanks de lovende aanbevelingen
van de schoolleiding
en de ouders van haar leerlingen.
Ik hoor jullie al denken,
vooral de datawetenschappers,
de KI-experts hier:
zo'n onbetrouwbaar algoritme
zou ik nooit maken.
Maar het kan fout gaan met algoritmes,
soms zelfs met desastreuze gevolgen,
ondanks goede bedoelingen.
Maar als een slecht ontworpen vliegtuig
neerstort, dan ziet iedereen dat,
maar een slecht ontworpen algoritme
kan lange tijd
ongemerkt schade aanrichten.
Dit is Roger Ailes.
(Gelach)
Hij richtte in 1996 Fox News op.
Meer dan 20 vrouwen klaagden
over seksuele intimidatie.
Ze zeiden dat ze
geen promotie kregen bij Fox News.
Hij is vorig jaar afgezet,
maar het blijkt nu
dat het probleem
nog steeds niet is opgelost.
Dan rijst de vraag:
wat moet Fox News doen
om dit te veranderen?
Wat als ze voortaan mensen zouden werven
met behulp van een zelflerend algoritme?
Klinkt goed, toch?
Maar wat houdt dat in?
Welke data ga je gebruiken?
De sollicitaties van de afgelopen
21 jaar zou redelijk zijn.
Redelijk.
En wanneer is het een succes?
Een redelijke keuze zou zijn:
wie is succesvol bij Fox News?
Iemand die er al vier jaar werkt
en minstens een keer
promotie heeft gemaakt.
Klinkt redelijk.
En dan wordt het algoritme getraind.
Het leert zoeken naar mensen
om te weten wat tot succes leidt,
welke sollicitaties
in het verleden succesvol waren
volgens die definitie.
Wat zou er gebeuren
als we dit zouden toepassen
op de huidige kandidaten?
Het zou vrouwen eruit filteren,
want zo te zien waren zij
niet succesvol in het verleden.
Algoritmes maken dingen niet eerlijker
als je ze klakkeloos toepast.
Ze maken het niet eerlijker.
Ze herhalen onze eerdere ervaringen,
onze patronen.
Ze automatiseren de status quo.
Dat werkt goed
als de wereld perfect zou zijn,
maar dat is niet zo.
Ook hebben de meeste bedrijven
geen pijnlijke rechtszaken lopen,
maar hun datawetenschappers
worden gedwongen de data te volgen,
met nadruk op nauwkeurigheid.
En wat betekent dat?
Want onze vooroordelen zorgen ervoor
dat seksisme het systeem binnendringt,
net als andere vormen
van onverdraagzaamheid.
Even een gedachte-experiment,
want die zijn leuk:
een volledig gesegregeerde samenleving --
naar ras gescheiden,
alle steden, alle wijken --
waar we de politie alleen
op wijken met minderheden afsturen
om criminaliteit op te sporen.
De arrestatiedata zouden
sterk bevooroordeeld zijn.
Wat zou er gebeuren
als we datawetenschappers betaalden
om te voorspellen waar
de volgende misdaad zou plaatsvinden?
In de wijk met minderheden.
Of wie de volgende crimineel zou zijn?
Iemand uit een minderheidsgroep.
De datawetenschappers zouden opscheppen
over hoe geweldig
en nauwkeurig hun model was
en ze zouden gelijk hebben.
Zo erg is het nog niet,
maar ernstige segregatie
vindt in de meeste steden plaats
en we hebben genoeg bewijzen
van bevooroordeelde politie
en rechtssysteem.
We voorspellen daadwerkelijk gebieden
waar zich criminaliteit zal voordoen.
En ook waar criminele
eenmansacties zullen plaatsvinden.
De nieuwsorganisatie ProPublica
onderzocht onlangs zo'n zogeheten
'recidive risico'-algoritme
dat in Florida wordt gebruikt
tijdens de veroordeling door de rechter.
Bernard, links, de zwarte man,
scoorde tien uit tien.
Dylan, rechts, drie uit tien.
Tien uit tien, hoog risico.
Drie uit tien, laag risico.
Ze werden allebei opgepakt
voor drugsbezit.
Ze hadden allebei een strafblad,
maar Dylan voor een misdrijf
en Bernard niet.
Dat maakt uit, want hoe hoger de score,
des te zwaarder je gestraft wordt.
Hoe kan dit?
Door het witwassen van data.
Dit gebeurt als technologen
de lelijke waarheid
in een zwarte doos
van algoritmes verbergen
en ze objectief noemen,
ze meritocratisch noemen.
Geheime, essentiële
en destructieve algoritmes
krijgen van mij de naam
'datavernietigingswapens'.
(Gelach)
(Applaus)
Ze zijn overal, echt waar.
Dit zijn particuliere bedrijven
die eigen algoritmes maken
voor eigen gebruik.
Zelfs die waar ik het over had
voor docenten en politie,
kwamen van particuliere bedrijven
en werden verkocht
aan overheidsinstellingen.
Ze noemen het hun 'geheime recept' --
daarom willen ze er niets over zeggen.
Het gaat ook om private macht.
Ze maken handig gebruik van hun gezag
over dingen die onbegrijpelijk zijn.
Omdat alles in particuliere handen is
en er concurrentie is,
denk je wellicht dat de vrije markt
dit probleem wel oplost.
Onjuist.
Er wordt grof geld verdiend
met oneerlijke praktijken.
Ook zijn wij geen
economisch rationele wezens.
We zijn bevooroordeeld.
We zijn racistisch en onverdraagzaam,
erger dan we willen toegeven
en vaak zonder dat we het doorhebben.
Dit weten we
doordat sociologen keer op keer
met hun onderzoeken hebben bewezen
dat als je sollicitaties verstuurt
met dezelfde opleiding,
maar met deels 'witte' namen
deels 'zwarte' namen,
dat de resultaten
altijd zullen tegenvallen.
Wij zijn degenen met vooroordelen
en daar injecteren we de algoritmes mee
door te kiezen welke data
worden verzameld,
zoals ik besloot
ramen noedels uit te sluiten --
omdat ik het niet relevant vond.
Maar als we vertrouwen op data
die uitgaan van eerder gedrag
en een definitie voor succes hanteren,
waarom denken we dan dat de algoritmes
daar ongeschonden uitkomen?
Onmogelijk.
We moeten controleren of ze redelijk zijn.
Gelukkig is het mogelijk
ze op redelijkheid te testen.
Algoritmes kan je ondervragen
en ze zullen steeds
eerlijk antwoord geven.
We kunnen ze herstellen.
We kunnen ze verbeteren.
Dit noem ik een algoritme-inspectie
en ik leg even uit hoe dat werkt.
Allereerst, een data-integriteitscontrole.
Voor het 'recidive risico'-algoritme
dat ik eerder noemde,
betekent een data-integriteitscontrole
dat we moeten accepteren
dat in de VS
de witte en de zwarte bevolking
net zoveel marihuana roken
maar de zwarte bevolking
vaker wordt gearresteerd --
vier tot vijf keer vaker zelfs,
afhankelijk van de buurt.
Hoe ziet die vertekening eruit
in andere misdrijfcategorieën
en hoe verantwoorden we dat?
Ten tweede, we moeten kijken
naar onze definitie voor succes
en dat checken.
Weet je nog het wervingsalgoritme
waar we het over hadden?
Iemand die vier jaar in dienst is
en één keer promotie maakt?
Dat is een succesvolle werknemer,
maar het is ook een werknemer
die de goedkeuring krijgt
van de bedrijfscultuur.
Kortom, vooroordelen.
We moeten die twee dingen
uit elkaar houden.
Laten we het voorbeeld nemen
van de blinde orkestauditie.
De mensen die auditie doen,
zitten daarbij achter een laken.
Wat volgens mij relevant is,
is dat de toehoorders
hebben besloten wat belangrijk is
en daar zullen ze niet vanaf wijken.
Toen de blinde orkestaudities begonnen,
schoot het aantal vrouwen
in orkesten met factor vijf omhoog.
Ook moeten we kijken naar nauwkeurigheid.
Hier zou het meerwaardemodel
voor docenten direct falen.
Geen enkel algoritme is perfect,
dus we moeten rekening houden
met de fouten van ieder algoritme.
Hoe vaak worden fouten gemaakt
en wie is daar het slachtoffer van?
Wat zijn de gevolgen?
En tot slot moeten we stilstaan
bij de gevolgen van algoritmes
op de lange termijn,
de terugkoppeling
die het met zich meebrengt.
Dat klinkt vaag,
maar stel dat de Facebookontwerpers
daar aan hadden gedacht
voordat ze besloten ons alleen te laten
zien wat onze vrienden hadden gepost.
Ik wil nog twee dingen kwijt.
Allereerst aan de datawetenschappers:
wij zijn niet de scheidsrechters
die bepalen wat waar is.
Wij moeten de ethische discussies
die zich voordoen,
begrijpelijk maken
voor de hele samenleving.
(Applaus)
En tegen alle
niet-datawetenschappers zeg ik:
dit is geen wiskundetest.
Dit is een politiek gevecht.
We moeten onze algoritmebazen
ter verantwoording roepen.
(Applaus)
Het wordt tijd dat er een eind komt
aan het blinde vertrouwen in Big Data.
Dank jullie wel.
(Applaus)