Algoritmes zijn overal. Ze scheiden de winnaars van de verliezers. De winnaars krijgen de baan of een goede creditcard-aanbieding. De verliezers mogen niet eens op gesprek komen of betalen meer voor hun verzekering. Onze score wordt berekend met geheime formules die we niet begrijpen en waar je vaak niet tegen in beroep kan gaan. Hierdoor rijst de vraag: wat als algoritmes fouten maken? Een algoritme vraagt om twee dingen: data, wat in het verleden gebeurd is, en een definitie voor succes, dat wat je hoopt te vinden. Je laat een algoritme data bestuderen om te ontcijferen wat leidt tot succes. Welke factoren spelen daarin mee? Iedereen gebruikt algoritmes. Alleen zetten ze het niet om in computercode. Een voorbeeld. Ik gebruik elke dag een algoritme om een maaltijd te koken voor mijn gezin. De gegevens die ik gebruik zijn de ingrediënten in huis, de hoeveelheid tijd die ik heb, de gewenste inspanning, en daarna orden ik die data. Kleine pakjes ramen noedels reken ik niet mee als voedsel. (Gelach) Mijn definitie voor succes is: een maaltijd is succesvol als mijn kinderen groenten eten. Als mijn zoontje de baas was, zou hij iets heel anders zeggen. Voor hem is succes als hij onbeperkt Nutella mag eten. (Gelach) Maar ik bepaal wat succes is. Ik ben de baas. Mijn mening is belangrijk. Dat is de eerste regel van algoritmes. Algoritmes zijn meningen vastgelegd in code. Dat is heel iets anders dan wat de meeste mensen denken dat het zijn. Zij denken dat algoritmes objectief, waar en wetenschappelijk zijn. Dat is een marketingtruc. (Gelach) Het is ook een marketingtruc om je te intimideren met algoritmes, om te zorgen dat je algoritmes vertrouwt én er bang voor bent, net zoals je op wiskunde vertrouwt en er bang voor bent. Het kan flink misgaan als we blind vertrouwen op Big Data. Dit is Kiri Soares. Ze is directrice van een middelbare school in Brooklyn. In 2011 werden haar docenten beoordeeld met behulp van een complex, geheim algoritme, het zogeheten 'meerwaardemodel'. Ik zei: "Probeer achter de formule te komen, dan leg ik het je uit." Ze zei: "Dat heb ik geprobeerd, maar op het Ministerie van Onderwijs zeiden ze het wiskunde was en dat ik dat toch niet zou begrijpen." (Gelach) Het wordt nog erger. De New York Post deed een beroep op de vrijheid van informatie, verzamelde alle namen van docenten en hun scores en publiceerde die om ze publiekelijk terecht te wijzen. Toen ik zelf probeerde de formules, de broncode, te bemachtigen, werd gezegd dat dat onmogelijk was. Ik werd geweigerd. Pas later kwam ik erachter dat niemand in New York toegang had tot de formule. Niemand begreep het. Toen raakte de intelligente Gary Rubinstein bij de zaak betrokken. In de gegevens van de New York Post vond hij 665 docenten die twee scores bleken te hebben. Dat gebeurde als ze wiskunde gaven aan de brugklas en de tweede klas. Hij besloot ze in kaart te brengen. Elke stip is een docent. (Gelach) Wat is dat? (Gelach) Dat hadden ze nooit mogen gebruiken voor individuele beoordeling. Het lijkt meer op een toevalsgenerator. (Applaus) En dat was ook zo. Dit is Sarah Wysocki. Samen met 205 andere docenten werd ze ontslagen in het schooldistrict van Washington, ondanks de lovende aanbevelingen van de schoolleiding en de ouders van haar leerlingen. Ik hoor jullie al denken, vooral de datawetenschappers, de KI-experts hier: zo'n onbetrouwbaar algoritme zou ik nooit maken. Maar het kan fout gaan met algoritmes, soms zelfs met desastreuze gevolgen, ondanks goede bedoelingen. Maar als een slecht ontworpen vliegtuig neerstort, dan ziet iedereen dat, maar een slecht ontworpen algoritme kan lange tijd ongemerkt schade aanrichten. Dit is Roger Ailes. (Gelach) Hij richtte in 1996 Fox News op. Meer dan 20 vrouwen klaagden over seksuele intimidatie. Ze zeiden dat ze geen promotie kregen bij Fox News. Hij is vorig jaar afgezet, maar het blijkt nu dat het probleem nog steeds niet is opgelost. Dan rijst de vraag: wat moet Fox News doen om dit te veranderen? Wat als ze voortaan mensen zouden werven met behulp van een zelflerend algoritme? Klinkt goed, toch? Maar wat houdt dat in? Welke data ga je gebruiken? De sollicitaties van de afgelopen 21 jaar zou redelijk zijn. Redelijk. En wanneer is het een succes? Een redelijke keuze zou zijn: wie is succesvol bij Fox News? Iemand die er al vier jaar werkt en minstens een keer promotie heeft gemaakt. Klinkt redelijk. En dan wordt het algoritme getraind. Het leert zoeken naar mensen om te weten wat tot succes leidt, welke sollicitaties in het verleden succesvol waren volgens die definitie. Wat zou er gebeuren als we dit zouden toepassen op de huidige kandidaten? Het zou vrouwen eruit filteren, want zo te zien waren zij niet succesvol in het verleden. Algoritmes maken dingen niet eerlijker als je ze klakkeloos toepast. Ze maken het niet eerlijker. Ze herhalen onze eerdere ervaringen, onze patronen. Ze automatiseren de status quo. Dat werkt goed als de wereld perfect zou zijn, maar dat is niet zo. Ook hebben de meeste bedrijven geen pijnlijke rechtszaken lopen, maar hun datawetenschappers worden gedwongen de data te volgen, met nadruk op nauwkeurigheid. En wat betekent dat? Want onze vooroordelen zorgen ervoor dat seksisme het systeem binnendringt, net als andere vormen van onverdraagzaamheid. Even een gedachte-experiment, want die zijn leuk: een volledig gesegregeerde samenleving -- naar ras gescheiden, alle steden, alle wijken -- waar we de politie alleen op wijken met minderheden afsturen om criminaliteit op te sporen. De arrestatiedata zouden sterk bevooroordeeld zijn. Wat zou er gebeuren als we datawetenschappers betaalden om te voorspellen waar de volgende misdaad zou plaatsvinden? In de wijk met minderheden. Of wie de volgende crimineel zou zijn? Iemand uit een minderheidsgroep. De datawetenschappers zouden opscheppen over hoe geweldig en nauwkeurig hun model was en ze zouden gelijk hebben. Zo erg is het nog niet, maar ernstige segregatie vindt in de meeste steden plaats en we hebben genoeg bewijzen van bevooroordeelde politie en rechtssysteem. We voorspellen daadwerkelijk gebieden waar zich criminaliteit zal voordoen. En ook waar criminele eenmansacties zullen plaatsvinden. De nieuwsorganisatie ProPublica onderzocht onlangs zo'n zogeheten 'recidive risico'-algoritme dat in Florida wordt gebruikt tijdens de veroordeling door de rechter. Bernard, links, de zwarte man, scoorde tien uit tien. Dylan, rechts, drie uit tien. Tien uit tien, hoog risico. Drie uit tien, laag risico. Ze werden allebei opgepakt voor drugsbezit. Ze hadden allebei een strafblad, maar Dylan voor een misdrijf en Bernard niet. Dat maakt uit, want hoe hoger de score, des te zwaarder je gestraft wordt. Hoe kan dit? Door het witwassen van data. Dit gebeurt als technologen de lelijke waarheid in een zwarte doos van algoritmes verbergen en ze objectief noemen, ze meritocratisch noemen. Geheime, essentiële en destructieve algoritmes krijgen van mij de naam 'datavernietigingswapens'. (Gelach) (Applaus) Ze zijn overal, echt waar. Dit zijn particuliere bedrijven die eigen algoritmes maken voor eigen gebruik. Zelfs die waar ik het over had voor docenten en politie, kwamen van particuliere bedrijven en werden verkocht aan overheidsinstellingen. Ze noemen het hun 'geheime recept' -- daarom willen ze er niets over zeggen. Het gaat ook om private macht. Ze maken handig gebruik van hun gezag over dingen die onbegrijpelijk zijn. Omdat alles in particuliere handen is en er concurrentie is, denk je wellicht dat de vrije markt dit probleem wel oplost. Onjuist. Er wordt grof geld verdiend met oneerlijke praktijken. Ook zijn wij geen economisch rationele wezens. We zijn bevooroordeeld. We zijn racistisch en onverdraagzaam, erger dan we willen toegeven en vaak zonder dat we het doorhebben. Dit weten we doordat sociologen keer op keer met hun onderzoeken hebben bewezen dat als je sollicitaties verstuurt met dezelfde opleiding, maar met deels 'witte' namen deels 'zwarte' namen, dat de resultaten altijd zullen tegenvallen. Wij zijn degenen met vooroordelen en daar injecteren we de algoritmes mee door te kiezen welke data worden verzameld, zoals ik besloot ramen noedels uit te sluiten -- omdat ik het niet relevant vond. Maar als we vertrouwen op data die uitgaan van eerder gedrag en een definitie voor succes hanteren, waarom denken we dan dat de algoritmes daar ongeschonden uitkomen? Onmogelijk. We moeten controleren of ze redelijk zijn. Gelukkig is het mogelijk ze op redelijkheid te testen. Algoritmes kan je ondervragen en ze zullen steeds eerlijk antwoord geven. We kunnen ze herstellen. We kunnen ze verbeteren. Dit noem ik een algoritme-inspectie en ik leg even uit hoe dat werkt. Allereerst, een data-integriteitscontrole. Voor het 'recidive risico'-algoritme dat ik eerder noemde, betekent een data-integriteitscontrole dat we moeten accepteren dat in de VS de witte en de zwarte bevolking net zoveel marihuana roken maar de zwarte bevolking vaker wordt gearresteerd -- vier tot vijf keer vaker zelfs, afhankelijk van de buurt. Hoe ziet die vertekening eruit in andere misdrijfcategorieën en hoe verantwoorden we dat? Ten tweede, we moeten kijken naar onze definitie voor succes en dat checken. Weet je nog het wervingsalgoritme waar we het over hadden? Iemand die vier jaar in dienst is en één keer promotie maakt? Dat is een succesvolle werknemer, maar het is ook een werknemer die de goedkeuring krijgt van de bedrijfscultuur. Kortom, vooroordelen. We moeten die twee dingen uit elkaar houden. Laten we het voorbeeld nemen van de blinde orkestauditie. De mensen die auditie doen, zitten daarbij achter een laken. Wat volgens mij relevant is, is dat de toehoorders hebben besloten wat belangrijk is en daar zullen ze niet vanaf wijken. Toen de blinde orkestaudities begonnen, schoot het aantal vrouwen in orkesten met factor vijf omhoog. Ook moeten we kijken naar nauwkeurigheid. Hier zou het meerwaardemodel voor docenten direct falen. Geen enkel algoritme is perfect, dus we moeten rekening houden met de fouten van ieder algoritme. Hoe vaak worden fouten gemaakt en wie is daar het slachtoffer van? Wat zijn de gevolgen? En tot slot moeten we stilstaan bij de gevolgen van algoritmes op de lange termijn, de terugkoppeling die het met zich meebrengt. Dat klinkt vaag, maar stel dat de Facebookontwerpers daar aan hadden gedacht voordat ze besloten ons alleen te laten zien wat onze vrienden hadden gepost. Ik wil nog twee dingen kwijt. Allereerst aan de datawetenschappers: wij zijn niet de scheidsrechters die bepalen wat waar is. Wij moeten de ethische discussies die zich voordoen, begrijpelijk maken voor de hele samenleving. (Applaus) En tegen alle niet-datawetenschappers zeg ik: dit is geen wiskundetest. Dit is een politiek gevecht. We moeten onze algoritmebazen ter verantwoording roepen. (Applaus) Het wordt tijd dat er een eind komt aan het blinde vertrouwen in Big Data. Dank jullie wel. (Applaus)