Algoritmes zijn overal.
Ze scheiden de winnaars van de verliezers.
De winnaars krijgen de baan
of een goede creditcard-aanbieding.
De verliezers mogen niet eens op gesprek komen
of betalen meer voor hun verzekering.
Onze score wordt berekend met geheime formules die we niet begrijpen
en waar je vaak niet tegen in beroep kan gaan.
Hierdoor rijst de vraag:
wat als algoritmes fouten maken?
Een algoritme vraagt om twee dingen:
data, wat in het verleden gebeurd is,
en een definitie voor succes,
dat wat je hoopt te vinden.
Je laat een algoritme data bestuderen
om te ontcijferen wat leidt tot succes.
Welke factoren spelen daarin mee?
Iedereen gebruikt algoritmes.
Alleen zetten ze het niet om in computercode.
Een voorbeeld.
Ik gebruik elke dag een algoritme om een maaltijd te koken voor mijn gezin.
De gegevens die ik gebruik
zijn de ingrediënten in huis, de hoeveelheid tijd die ik heb,
de gewenste inspanning,
en daarna orden ik die data.
Kleine pakjes ramen noedels reken ik niet mee als voedsel.
(Gelach)
Mijn definitie voor succes is:
een maaltijd is succesvol als mijn kinderen groenten eten.
Als mijn zoontje de baas was, zou hij iets heel anders zeggen.
Voor hem is succes als hij onbeperkt Nutella mag eten.
(Gelach)
Maar ik bepaal wat succes is.
Ik ben de baas. Mijn mening is belangrijk.
Dat is de eerste regel van algoritmes.
Algoritmes zijn meningen vastgelegd in code.
Dat is heel iets anders dan wat de meeste mensen denken dat het zijn.
Zij denken dat algoritmes objectief, waar en wetenschappelijk zijn.
Dat is een marketingtruc.
(Gelach)
Het is ook een marketingtruc
om je te intimideren met algoritmes,
om te zorgen dat je algoritmes vertrouwt én er bang voor bent,
net zoals je op wiskunde vertrouwt en er bang voor bent.
Het kan flink misgaan als we blind vertrouwen op Big Data.
Dit is Kiri Soares. Ze is directrice van een middelbare school in Brooklyn.
In 2011 werden haar docenten beoordeeld
met behulp van een complex, geheim algoritme,
het zogeheten 'meerwaardemodel'.
Ik zei: "Probeer achter de formule te komen, dan leg ik het je uit."
Ze zei: "Dat heb ik geprobeerd,
maar op het Ministerie van Onderwijs zeiden ze het wiskunde was
en dat ik dat toch niet zou begrijpen."
(Gelach)
Het wordt nog erger.
De New York Post deed een beroep op de vrijheid van informatie,
verzamelde alle namen van docenten en hun scores
en publiceerde die om ze publiekelijk terecht te wijzen.
Toen ik zelf probeerde de formules, de broncode, te bemachtigen,
werd gezegd dat dat onmogelijk was.
Ik werd geweigerd.
Pas later kwam ik erachter
dat niemand in New York toegang had tot de formule.
Niemand begreep het.
Toen raakte de intelligente Gary Rubinstein bij de zaak betrokken.
In de gegevens van de New York Post vond hij 665 docenten
die twee scores bleken te hebben.
Dat gebeurde als ze wiskunde gaven aan de brugklas en de tweede klas.
Hij besloot ze in kaart te brengen.
Elke stip is een docent.
(Gelach)
Wat is dat?
(Gelach)
Dat hadden ze nooit mogen gebruiken voor individuele beoordeling.
Het lijkt meer op een toevalsgenerator.
(Applaus)
En dat was ook zo.
Dit is Sarah Wysocki.
Samen met 205 andere docenten werd ze ontslagen
in het schooldistrict van Washington,
ondanks de lovende aanbevelingen van de schoolleiding
en de ouders van haar leerlingen.
Ik hoor jullie al denken,
vooral de datawetenschappers, de KI-experts hier:
zo'n onbetrouwbaar algoritme zou ik nooit maken.
Maar het kan fout gaan met algoritmes,
soms zelfs met desastreuze gevolgen, ondanks goede bedoelingen.
Maar als een slecht ontworpen vliegtuig neerstort, dan ziet iedereen dat,
maar een slecht ontworpen algoritme
kan lange tijd ongemerkt schade aanrichten.
Dit is Roger Ailes.
(Gelach)
Hij richtte in 1996 Fox News op.
Meer dan 20 vrouwen klaagden over seksuele intimidatie.
Ze zeiden dat ze geen promotie kregen bij Fox News.
Hij is vorig jaar afgezet, maar het blijkt nu
dat het probleem nog steeds niet is opgelost.
Dan rijst de vraag:
wat moet Fox News doen om dit te veranderen?
Wat als ze voortaan mensen zouden werven met behulp van een zelflerend algoritme?
Klinkt goed, toch?
Maar wat houdt dat in?
Welke data ga je gebruiken?
De sollicitaties van de afgelopen 21 jaar zou redelijk zijn.
Redelijk.
En wanneer is het een succes?
Een redelijke keuze zou zijn:
wie is succesvol bij Fox News?
Iemand die er al vier jaar werkt
en minstens een keer promotie heeft gemaakt.
Klinkt redelijk.
En dan wordt het algoritme getraind.
Het leert zoeken naar mensen om te weten wat tot succes leidt,
welke sollicitaties in het verleden succesvol waren
volgens die definitie.
Wat zou er gebeuren
als we dit zouden toepassen op de huidige kandidaten?
Het zou vrouwen eruit filteren,
want zo te zien waren zij niet succesvol in het verleden.
Algoritmes maken dingen niet eerlijker
als je ze klakkeloos toepast.
Ze maken het niet eerlijker.
Ze herhalen onze eerdere ervaringen,
onze patronen.
Ze automatiseren de status quo.
Dat werkt goed als de wereld perfect zou zijn,
maar dat is niet zo.
Ook hebben de meeste bedrijven geen pijnlijke rechtszaken lopen,
maar hun datawetenschappers
worden gedwongen de data te volgen,
met nadruk op nauwkeurigheid.
En wat betekent dat?
Want onze vooroordelen zorgen ervoor dat seksisme het systeem binnendringt,
net als andere vormen van onverdraagzaamheid.
Even een gedachte-experiment,
want die zijn leuk:
een volledig gesegregeerde samenleving --
naar ras gescheiden, alle steden, alle wijken --
waar we de politie alleen op wijken met minderheden afsturen
om criminaliteit op te sporen.
De arrestatiedata zouden sterk bevooroordeeld zijn.
Wat zou er gebeuren als we datawetenschappers betaalden
om te voorspellen waar de volgende misdaad zou plaatsvinden?
In de wijk met minderheden.
Of wie de volgende crimineel zou zijn?
Iemand uit een minderheidsgroep.
De datawetenschappers zouden opscheppen
over hoe geweldig en nauwkeurig hun model was
en ze zouden gelijk hebben.
Zo erg is het nog niet,
maar ernstige segregatie vindt in de meeste steden plaats
en we hebben genoeg bewijzen
van bevooroordeelde politie en rechtssysteem.
We voorspellen daadwerkelijk gebieden waar zich criminaliteit zal voordoen.
En ook waar criminele eenmansacties zullen plaatsvinden.
De nieuwsorganisatie ProPublica
onderzocht onlangs zo'n zogeheten 'recidive risico'-algoritme
dat in Florida wordt gebruikt tijdens de veroordeling door de rechter.
Bernard, links, de zwarte man, scoorde tien uit tien.
Dylan, rechts, drie uit tien.
Tien uit tien, hoog risico. Drie uit tien, laag risico.
Ze werden allebei opgepakt voor drugsbezit.
Ze hadden allebei een strafblad,
maar Dylan voor een misdrijf
en Bernard niet.
Dat maakt uit, want hoe hoger de score,
des te zwaarder je gestraft wordt.
Hoe kan dit?
Door het witwassen van data.
Dit gebeurt als technologen de lelijke waarheid
in een zwarte doos van algoritmes verbergen
en ze objectief noemen,
ze meritocratisch noemen.
Geheime, essentiële en destructieve algoritmes
krijgen van mij de naam
'datavernietigingswapens'.
(Gelach)
(Applaus)
Ze zijn overal, echt waar.
Dit zijn particuliere bedrijven die eigen algoritmes maken
voor eigen gebruik.
Zelfs die waar ik het over had voor docenten en politie,
kwamen van particuliere bedrijven
en werden verkocht aan overheidsinstellingen.
Ze noemen het hun 'geheime recept' --
daarom willen ze er niets over zeggen.
Het gaat ook om private macht.
Ze maken handig gebruik van hun gezag over dingen die onbegrijpelijk zijn.
Omdat alles in particuliere handen is
en er concurrentie is,
denk je wellicht dat de vrije markt dit probleem wel oplost.
Onjuist.
Er wordt grof geld verdiend met oneerlijke praktijken.
Ook zijn wij geen economisch rationele wezens.
We zijn bevooroordeeld.
We zijn racistisch en onverdraagzaam, erger dan we willen toegeven
en vaak zonder dat we het doorhebben.
Dit weten we
doordat sociologen keer op keer met hun onderzoeken hebben bewezen
dat als je sollicitaties verstuurt met dezelfde opleiding,
maar met deels 'witte' namen deels 'zwarte' namen,
dat de resultaten altijd zullen tegenvallen.
Wij zijn degenen met vooroordelen
en daar injecteren we de algoritmes mee
door te kiezen welke data worden verzameld,
zoals ik besloot ramen noedels uit te sluiten --
omdat ik het niet relevant vond.
Maar als we vertrouwen op data die uitgaan van eerder gedrag
en een definitie voor succes hanteren,
waarom denken we dan dat de algoritmes daar ongeschonden uitkomen?
Onmogelijk.
We moeten controleren of ze redelijk zijn.
Gelukkig is het mogelijk ze op redelijkheid te testen.
Algoritmes kan je ondervragen
en ze zullen steeds eerlijk antwoord geven.
We kunnen ze herstellen. We kunnen ze verbeteren.
Dit noem ik een algoritme-inspectie
en ik leg even uit hoe dat werkt.
Allereerst, een data-integriteitscontrole.
Voor het 'recidive risico'-algoritme dat ik eerder noemde,
betekent een data-integriteitscontrole dat we moeten accepteren
dat in de VS
de witte en de zwarte bevolking net zoveel marihuana roken
maar de zwarte bevolking vaker wordt gearresteerd --
vier tot vijf keer vaker zelfs, afhankelijk van de buurt.
Hoe ziet die vertekening eruit in andere misdrijfcategorieën
en hoe verantwoorden we dat?
Ten tweede, we moeten kijken naar onze definitie voor succes
en dat checken.
Weet je nog het wervingsalgoritme waar we het over hadden?
Iemand die vier jaar in dienst is en één keer promotie maakt?
Dat is een succesvolle werknemer,
maar het is ook een werknemer
die de goedkeuring krijgt van de bedrijfscultuur.
Kortom, vooroordelen.
We moeten die twee dingen uit elkaar houden.
Laten we het voorbeeld nemen van de blinde orkestauditie.
De mensen die auditie doen, zitten daarbij achter een laken.
Wat volgens mij relevant is,
is dat de toehoorders hebben besloten wat belangrijk is
en daar zullen ze niet vanaf wijken.
Toen de blinde orkestaudities begonnen,
schoot het aantal vrouwen in orkesten met factor vijf omhoog.
Ook moeten we kijken naar nauwkeurigheid.
Hier zou het meerwaardemodel voor docenten direct falen.
Geen enkel algoritme is perfect,
dus we moeten rekening houden met de fouten van ieder algoritme.
Hoe vaak worden fouten gemaakt en wie is daar het slachtoffer van?
Wat zijn de gevolgen?
En tot slot moeten we stilstaan
bij de gevolgen van algoritmes op de lange termijn,
de terugkoppeling die het met zich meebrengt.
Dat klinkt vaag,
maar stel dat de Facebookontwerpers daar aan hadden gedacht
voordat ze besloten ons alleen te laten zien wat onze vrienden hadden gepost.
Ik wil nog twee dingen kwijt. Allereerst aan de datawetenschappers:
wij zijn niet de scheidsrechters die bepalen wat waar is.
Wij moeten de ethische discussies die zich voordoen,
begrijpelijk maken voor de hele samenleving.
(Applaus)
En tegen alle niet-datawetenschappers zeg ik:
dit is geen wiskundetest.
Dit is een politiek gevecht.
We moeten onze algoritmebazen ter verantwoording roepen.
(Applaus)
Het wordt tijd dat er een eind komt aan het blinde vertrouwen in Big Data.
Dank jullie wel.
(Applaus)