Return to Video

De tijd voor blind vertrouwen in Big Data is voorbij

  • 0:01 - 0:03
    Algoritmes zijn overal.
  • 0:04 - 0:07
    Ze scheiden de winnaars van de verliezers.
  • 0:08 - 0:10
    De winnaars krijgen de baan
  • 0:10 - 0:12
    of een goede creditcard-aanbieding.
  • 0:12 - 0:15
    De verliezers mogen niet eens
    op gesprek komen
  • 0:15 - 0:17
    of betalen meer voor hun verzekering.
  • 0:18 - 0:23
    Onze score wordt berekend
    met geheime formules die we niet begrijpen
  • 0:23 - 0:26
    en waar je vaak niet
    tegen in beroep kan gaan.
  • 0:27 - 0:28
    Hierdoor rijst de vraag:
  • 0:28 - 0:32
    wat als algoritmes fouten maken?
  • 0:33 - 0:35
    Een algoritme vraagt om twee dingen:
  • 0:35 - 0:37
    data, wat in het verleden gebeurd is,
  • 0:37 - 0:38
    en een definitie voor succes,
  • 0:38 - 0:41
    dat wat je hoopt te vinden.
  • 0:41 - 0:46
    Je laat een algoritme data bestuderen
  • 0:46 - 0:50
    om te ontcijferen wat leidt tot succes.
  • 0:50 - 0:52
    Welke factoren spelen daarin mee?
  • 0:53 - 0:54
    Iedereen gebruikt algoritmes.
  • 0:54 - 0:57
    Alleen zetten ze het niet om
    in computercode.
  • 0:57 - 0:58
    Een voorbeeld.
  • 0:58 - 1:02
    Ik gebruik elke dag een algoritme
    om een maaltijd te koken voor mijn gezin.
  • 1:02 - 1:04
    De gegevens die ik gebruik
  • 1:04 - 1:08
    zijn de ingrediënten in huis,
    de hoeveelheid tijd die ik heb,
  • 1:08 - 1:09
    de gewenste inspanning,
  • 1:09 - 1:11
    en daarna orden ik die data.
  • 1:11 - 1:15
    Kleine pakjes ramen noedels
    reken ik niet mee als voedsel.
  • 1:15 - 1:17
    (Gelach)
  • 1:17 - 1:19
    Mijn definitie voor succes is:
  • 1:19 - 1:22
    een maaltijd is succesvol
    als mijn kinderen groenten eten.
  • 1:22 - 1:25
    Als mijn zoontje de baas was,
    zou hij iets heel anders zeggen.
  • 1:25 - 1:28
    Voor hem is succes als hij
    onbeperkt Nutella mag eten.
  • 1:28 - 1:29
    (Gelach)
  • 1:29 - 1:31
    Maar ik bepaal wat succes is.
  • 1:31 - 1:34
    Ik ben de baas. Mijn mening is belangrijk.
  • 1:34 - 1:37
    Dat is de eerste regel van algoritmes.
  • 1:37 - 1:41
    Algoritmes zijn meningen
    vastgelegd in code.
  • 1:42 - 1:45
    Dat is heel iets anders dan
    wat de meeste mensen denken dat het zijn.
  • 1:45 - 1:50
    Zij denken dat algoritmes objectief,
    waar en wetenschappelijk zijn.
  • 1:50 - 1:52
    Dat is een marketingtruc.
  • 1:52 - 1:53
    (Gelach)
  • 1:53 - 1:55
    Het is ook een marketingtruc
  • 1:55 - 1:59
    om je te intimideren met algoritmes,
  • 1:59 - 2:02
    om te zorgen dat je algoritmes vertrouwt
    én er bang voor bent,
  • 2:02 - 2:05
    net zoals je op wiskunde vertrouwt
    en er bang voor bent.
  • 2:06 - 2:11
    Het kan flink misgaan
    als we blind vertrouwen op Big Data.
  • 2:12 - 2:15
    Dit is Kiri Soares. Ze is directrice
    van een middelbare school in Brooklyn.
  • 2:15 - 2:18
    In 2011 werden haar docenten beoordeeld
  • 2:18 - 2:20
    met behulp van een complex,
    geheim algoritme,
  • 2:20 - 2:23
    het zogeheten 'meerwaardemodel'.
  • 2:23 - 2:26
    Ik zei: "Probeer achter de formule
    te komen, dan leg ik het je uit."
  • 2:27 - 2:29
    Ze zei: "Dat heb ik geprobeerd,
  • 2:29 - 2:32
    maar op het Ministerie van Onderwijs
    zeiden ze het wiskunde was
  • 2:32 - 2:34
    en dat ik dat toch niet zou begrijpen."
  • 2:34 - 2:35
    (Gelach)
  • 2:35 - 2:36
    Het wordt nog erger.
  • 2:37 - 2:40
    De New York Post deed een beroep
    op de vrijheid van informatie,
  • 2:40 - 2:43
    verzamelde alle namen
    van docenten en hun scores
  • 2:43 - 2:46
    en publiceerde die
    om ze publiekelijk terecht te wijzen.
  • 2:47 - 2:51
    Toen ik zelf probeerde de formules,
    de broncode, te bemachtigen,
  • 2:51 - 2:53
    werd gezegd dat dat onmogelijk was.
  • 2:53 - 2:54
    Ik werd geweigerd.
  • 2:54 - 2:56
    Pas later kwam ik erachter
  • 2:56 - 2:58
    dat niemand in New York
    toegang had tot de formule.
  • 2:58 - 3:00
    Niemand begreep het.
  • 3:02 - 3:05
    Toen raakte de intelligente
    Gary Rubinstein bij de zaak betrokken.
  • 3:05 - 3:09
    In de gegevens van de New York Post
    vond hij 665 docenten
  • 3:09 - 3:11
    die twee scores bleken te hebben.
  • 3:11 - 3:15
    Dat gebeurde als ze wiskunde gaven
    aan de brugklas en de tweede klas.
  • 3:15 - 3:17
    Hij besloot ze in kaart te brengen.
  • 3:17 - 3:19
    Elke stip is een docent.
  • 3:19 - 3:21
    (Gelach)
  • 3:22 - 3:23
    Wat is dat?
  • 3:23 - 3:24
    (Gelach)
  • 3:24 - 3:28
    Dat hadden ze nooit mogen gebruiken
    voor individuele beoordeling.
  • 3:28 - 3:29
    Het lijkt meer op een toevalsgenerator.
  • 3:29 - 3:32
    (Applaus)
  • 3:32 - 3:33
    En dat was ook zo.
  • 3:33 - 3:35
    Dit is Sarah Wysocki.
  • 3:35 - 3:37
    Samen met 205 andere docenten
    werd ze ontslagen
  • 3:37 - 3:40
    in het schooldistrict van Washington,
  • 3:40 - 3:43
    ondanks de lovende aanbevelingen
    van de schoolleiding
  • 3:43 - 3:45
    en de ouders van haar leerlingen.
  • 3:45 - 3:47
    Ik hoor jullie al denken,
  • 3:47 - 3:49
    vooral de datawetenschappers,
    de KI-experts hier:
  • 3:49 - 3:54
    zo'n onbetrouwbaar algoritme
    zou ik nooit maken.
  • 3:55 - 3:56
    Maar het kan fout gaan met algoritmes,
  • 3:56 - 4:02
    soms zelfs met desastreuze gevolgen,
    ondanks goede bedoelingen.
  • 4:03 - 4:07
    Maar als een slecht ontworpen vliegtuig
    neerstort, dan ziet iedereen dat,
  • 4:07 - 4:09
    maar een slecht ontworpen algoritme
  • 4:10 - 4:15
    kan lange tijd
    ongemerkt schade aanrichten.
  • 4:16 - 4:17
    Dit is Roger Ailes.
  • 4:17 - 4:20
    (Gelach)
  • 4:21 - 4:23
    Hij richtte in 1996 Fox News op.
  • 4:23 - 4:26
    Meer dan 20 vrouwen klaagden
    over seksuele intimidatie.
  • 4:26 - 4:29
    Ze zeiden dat ze
    geen promotie kregen bij Fox News.
  • 4:29 - 4:32
    Hij is vorig jaar afgezet,
    maar het blijkt nu
  • 4:32 - 4:35
    dat het probleem
    nog steeds niet is opgelost.
  • 4:36 - 4:37
    Dan rijst de vraag:
  • 4:37 - 4:40
    wat moet Fox News doen
    om dit te veranderen?
  • 4:41 - 4:46
    Wat als ze voortaan mensen zouden werven
    met behulp van een zelflerend algoritme?
  • 4:46 - 4:47
    Klinkt goed, toch?
  • 4:48 - 4:49
    Maar wat houdt dat in?
  • 4:49 - 4:51
    Welke data ga je gebruiken?
  • 4:51 - 4:56
    De sollicitaties van de afgelopen
    21 jaar zou redelijk zijn.
  • 4:56 - 4:58
    Redelijk.
  • 4:58 - 4:59
    En wanneer is het een succes?
  • 5:00 - 5:01
    Een redelijke keuze zou zijn:
  • 5:01 - 5:03
    wie is succesvol bij Fox News?
  • 5:03 - 5:07
    Iemand die er al vier jaar werkt
  • 5:07 - 5:09
    en minstens een keer
    promotie heeft gemaakt.
  • 5:09 - 5:10
    Klinkt redelijk.
  • 5:10 - 5:13
    En dan wordt het algoritme getraind.
  • 5:13 - 5:17
    Het leert zoeken naar mensen
    om te weten wat tot succes leidt,
  • 5:17 - 5:22
    welke sollicitaties
    in het verleden succesvol waren
  • 5:22 - 5:23
    volgens die definitie.
  • 5:24 - 5:26
    Wat zou er gebeuren
  • 5:26 - 5:29
    als we dit zouden toepassen
    op de huidige kandidaten?
  • 5:29 - 5:31
    Het zou vrouwen eruit filteren,
  • 5:32 - 5:36
    want zo te zien waren zij
    niet succesvol in het verleden.
  • 5:40 - 5:42
    Algoritmes maken dingen niet eerlijker
  • 5:42 - 5:45
    als je ze klakkeloos toepast.
  • 5:45 - 5:46
    Ze maken het niet eerlijker.
  • 5:46 - 5:49
    Ze herhalen onze eerdere ervaringen,
  • 5:49 - 5:50
    onze patronen.
  • 5:50 - 5:52
    Ze automatiseren de status quo.
  • 5:53 - 5:55
    Dat werkt goed
    als de wereld perfect zou zijn,
  • 5:56 - 5:57
    maar dat is niet zo.
  • 5:57 - 6:02
    Ook hebben de meeste bedrijven
    geen pijnlijke rechtszaken lopen,
  • 6:02 - 6:05
    maar hun datawetenschappers
  • 6:05 - 6:07
    worden gedwongen de data te volgen,
  • 6:07 - 6:09
    met nadruk op nauwkeurigheid.
  • 6:10 - 6:11
    En wat betekent dat?
  • 6:11 - 6:16
    Want onze vooroordelen zorgen ervoor
    dat seksisme het systeem binnendringt,
  • 6:16 - 6:18
    net als andere vormen
    van onverdraagzaamheid.
  • 6:19 - 6:21
    Even een gedachte-experiment,
  • 6:21 - 6:22
    want die zijn leuk:
  • 6:24 - 6:27
    een volledig gesegregeerde samenleving --
  • 6:28 - 6:32
    naar ras gescheiden,
    alle steden, alle wijken --
  • 6:32 - 6:34
    waar we de politie alleen
    op wijken met minderheden afsturen
  • 6:34 - 6:36
    om criminaliteit op te sporen.
  • 6:36 - 6:39
    De arrestatiedata zouden
    sterk bevooroordeeld zijn.
  • 6:40 - 6:42
    Wat zou er gebeuren
    als we datawetenschappers betaalden
  • 6:42 - 6:47
    om te voorspellen waar
    de volgende misdaad zou plaatsvinden?
  • 6:47 - 6:49
    In de wijk met minderheden.
  • 6:49 - 6:52
    Of wie de volgende crimineel zou zijn?
  • 6:53 - 6:54
    Iemand uit een minderheidsgroep.
  • 6:56 - 6:58
    De datawetenschappers zouden opscheppen
  • 6:58 - 7:01
    over hoe geweldig
    en nauwkeurig hun model was
  • 7:01 - 7:03
    en ze zouden gelijk hebben.
  • 7:04 - 7:05
    Zo erg is het nog niet,
  • 7:05 - 7:10
    maar ernstige segregatie
    vindt in de meeste steden plaats
  • 7:10 - 7:12
    en we hebben genoeg bewijzen
  • 7:12 - 7:15
    van bevooroordeelde politie
    en rechtssysteem.
  • 7:16 - 7:20
    We voorspellen daadwerkelijk gebieden
    waar zich criminaliteit zal voordoen.
  • 7:20 - 7:26
    En ook waar criminele
    eenmansacties zullen plaatsvinden.
  • 7:27 - 7:29
    De nieuwsorganisatie ProPublica
  • 7:29 - 7:33
    onderzocht onlangs zo'n zogeheten
    'recidive risico'-algoritme
  • 7:33 - 7:37
    dat in Florida wordt gebruikt
    tijdens de veroordeling door de rechter.
  • 7:38 - 7:42
    Bernard, links, de zwarte man,
    scoorde tien uit tien.
  • 7:43 - 7:45
    Dylan, rechts, drie uit tien.
  • 7:45 - 7:48
    Tien uit tien, hoog risico.
    Drie uit tien, laag risico.
  • 7:49 - 7:51
    Ze werden allebei opgepakt
    voor drugsbezit.
  • 7:51 - 7:52
    Ze hadden allebei een strafblad,
  • 7:52 - 7:55
    maar Dylan voor een misdrijf
  • 7:55 - 7:56
    en Bernard niet.
  • 7:58 - 8:01
    Dat maakt uit, want hoe hoger de score,
  • 8:01 - 8:04
    des te zwaarder je gestraft wordt.
  • 8:06 - 8:08
    Hoe kan dit?
  • 8:09 - 8:10
    Door het witwassen van data.
  • 8:11 - 8:15
    Dit gebeurt als technologen
    de lelijke waarheid
  • 8:15 - 8:17
    in een zwarte doos
    van algoritmes verbergen
  • 8:17 - 8:19
    en ze objectief noemen,
  • 8:19 - 8:21
    ze meritocratisch noemen.
  • 8:23 - 8:25
    Geheime, essentiële
    en destructieve algoritmes
  • 8:25 - 8:28
    krijgen van mij de naam
  • 8:28 - 8:30
    'datavernietigingswapens'.
  • 8:30 - 8:32
    (Gelach)
  • 8:32 - 8:35
    (Applaus)
  • 8:35 - 8:37
    Ze zijn overal, echt waar.
  • 8:38 - 8:41
    Dit zijn particuliere bedrijven
    die eigen algoritmes maken
  • 8:41 - 8:43
    voor eigen gebruik.
  • 8:43 - 8:46
    Zelfs die waar ik het over had
    voor docenten en politie,
  • 8:46 - 8:48
    kwamen van particuliere bedrijven
  • 8:48 - 8:51
    en werden verkocht
    aan overheidsinstellingen.
  • 8:51 - 8:52
    Ze noemen het hun 'geheime recept' --
  • 8:52 - 8:55
    daarom willen ze er niets over zeggen.
  • 8:55 - 8:57
    Het gaat ook om private macht.
  • 8:58 - 9:03
    Ze maken handig gebruik van hun gezag
    over dingen die onbegrijpelijk zijn.
  • 9:05 - 9:08
    Omdat alles in particuliere handen is
  • 9:08 - 9:09
    en er concurrentie is,
  • 9:09 - 9:12
    denk je wellicht dat de vrije markt
    dit probleem wel oplost.
  • 9:12 - 9:13
    Onjuist.
  • 9:13 - 9:17
    Er wordt grof geld verdiend
    met oneerlijke praktijken.
  • 9:17 - 9:21
    Ook zijn wij geen
    economisch rationele wezens.
  • 9:21 - 9:22
    We zijn bevooroordeeld.
  • 9:23 - 9:26
    We zijn racistisch en onverdraagzaam,
    erger dan we willen toegeven
  • 9:26 - 9:29
    en vaak zonder dat we het doorhebben.
  • 9:29 - 9:31
    Dit weten we
  • 9:32 - 9:37
    doordat sociologen keer op keer
    met hun onderzoeken hebben bewezen
  • 9:37 - 9:41
    dat als je sollicitaties verstuurt
    met dezelfde opleiding,
  • 9:41 - 9:43
    maar met deels 'witte' namen
    deels 'zwarte' namen,
  • 9:43 - 9:47
    dat de resultaten
    altijd zullen tegenvallen.
  • 9:48 - 9:49
    Wij zijn degenen met vooroordelen
  • 9:49 - 9:53
    en daar injecteren we de algoritmes mee
  • 9:53 - 9:55
    door te kiezen welke data
    worden verzameld,
  • 9:55 - 9:57
    zoals ik besloot
    ramen noedels uit te sluiten --
  • 9:57 - 9:59
    omdat ik het niet relevant vond.
  • 9:59 - 10:05
    Maar als we vertrouwen op data
    die uitgaan van eerder gedrag
  • 10:05 - 10:07
    en een definitie voor succes hanteren,
  • 10:07 - 10:11
    waarom denken we dan dat de algoritmes
    daar ongeschonden uitkomen?
  • 10:11 - 10:12
    Onmogelijk.
  • 10:12 - 10:16
    We moeten controleren of ze redelijk zijn.
  • 10:16 - 10:19
    Gelukkig is het mogelijk
    ze op redelijkheid te testen.
  • 10:19 - 10:22
    Algoritmes kan je ondervragen
  • 10:22 - 10:24
    en ze zullen steeds
    eerlijk antwoord geven.
  • 10:24 - 10:27
    We kunnen ze herstellen.
    We kunnen ze verbeteren.
  • 10:27 - 10:29
    Dit noem ik een algoritme-inspectie
  • 10:29 - 10:31
    en ik leg even uit hoe dat werkt.
  • 10:31 - 10:33
    Allereerst, een data-integriteitscontrole.
  • 10:34 - 10:37
    Voor het 'recidive risico'-algoritme
    dat ik eerder noemde,
  • 10:38 - 10:41
    betekent een data-integriteitscontrole
    dat we moeten accepteren
  • 10:41 - 10:42
    dat in de VS
  • 10:42 - 10:45
    de witte en de zwarte bevolking
    net zoveel marihuana roken
  • 10:45 - 10:47
    maar de zwarte bevolking
    vaker wordt gearresteerd --
  • 10:47 - 10:50
    vier tot vijf keer vaker zelfs,
    afhankelijk van de buurt.
  • 10:51 - 10:54
    Hoe ziet die vertekening eruit
    in andere misdrijfcategorieën
  • 10:54 - 10:56
    en hoe verantwoorden we dat?
  • 10:56 - 10:59
    Ten tweede, we moeten kijken
    naar onze definitie voor succes
  • 10:59 - 11:01
    en dat checken.
  • 11:01 - 11:03
    Weet je nog het wervingsalgoritme
    waar we het over hadden?
  • 11:03 - 11:06
    Iemand die vier jaar in dienst is
    en één keer promotie maakt?
  • 11:06 - 11:08
    Dat is een succesvolle werknemer,
  • 11:08 - 11:09
    maar het is ook een werknemer
  • 11:09 - 11:12
    die de goedkeuring krijgt
    van de bedrijfscultuur.
  • 11:12 - 11:14
    Kortom, vooroordelen.
  • 11:14 - 11:16
    We moeten die twee dingen
    uit elkaar houden.
  • 11:16 - 11:20
    Laten we het voorbeeld nemen
    van de blinde orkestauditie.
  • 11:20 - 11:23
    De mensen die auditie doen,
    zitten daarbij achter een laken.
  • 11:23 - 11:25
    Wat volgens mij relevant is,
  • 11:25 - 11:28
    is dat de toehoorders
    hebben besloten wat belangrijk is
  • 11:28 - 11:32
    en daar zullen ze niet vanaf wijken.
  • 11:33 - 11:36
    Toen de blinde orkestaudities begonnen,
  • 11:36 - 11:39
    schoot het aantal vrouwen
    in orkesten met factor vijf omhoog.
  • 11:40 - 11:43
    Ook moeten we kijken naar nauwkeurigheid.
  • 11:43 - 11:47
    Hier zou het meerwaardemodel
    voor docenten direct falen.
  • 11:48 - 11:50
    Geen enkel algoritme is perfect,
  • 11:51 - 11:54
    dus we moeten rekening houden
    met de fouten van ieder algoritme.
  • 11:55 - 11:59
    Hoe vaak worden fouten gemaakt
    en wie is daar het slachtoffer van?
  • 12:00 - 12:02
    Wat zijn de gevolgen?
  • 12:02 - 12:05
    En tot slot moeten we stilstaan
  • 12:06 - 12:08
    bij de gevolgen van algoritmes
    op de lange termijn,
  • 12:09 - 12:12
    de terugkoppeling
    die het met zich meebrengt.
  • 12:12 - 12:13
    Dat klinkt vaag,
  • 12:13 - 12:16
    maar stel dat de Facebookontwerpers
    daar aan hadden gedacht
  • 12:16 - 12:21
    voordat ze besloten ons alleen te laten
    zien wat onze vrienden hadden gepost.
  • 12:22 - 12:25
    Ik wil nog twee dingen kwijt.
    Allereerst aan de datawetenschappers:
  • 12:25 - 12:30
    wij zijn niet de scheidsrechters
    die bepalen wat waar is.
  • 12:30 - 12:32
    Wij moeten de ethische discussies
    die zich voordoen,
  • 12:32 - 12:35
    begrijpelijk maken
    voor de hele samenleving.
  • 12:36 - 12:38
    (Applaus)
  • 12:38 - 12:41
    En tegen alle
    niet-datawetenschappers zeg ik:
  • 12:41 - 12:43
    dit is geen wiskundetest.
  • 12:43 - 12:45
    Dit is een politiek gevecht.
  • 12:47 - 12:50
    We moeten onze algoritmebazen
    ter verantwoording roepen.
  • 12:51 - 12:54
    (Applaus)
  • 12:54 - 12:58
    Het wordt tijd dat er een eind komt
    aan het blinde vertrouwen in Big Data.
  • 12:58 - 12:59
    Dank jullie wel.
  • 12:59 - 13:04
    (Applaus)
Title:
De tijd voor blind vertrouwen in Big Data is voorbij
Speaker:
Cathy O'Neil
Description:

Algoritmes bepalen wie een lening krijgt, wie uitgenodigd wordt voor een sollicitatiegesprek en nog veel meer -- maar dat gaat er niet vanzelfsprekend eerlijk aan toe. Wiskundige en datawetenschapper Cathy O'Neil bedacht een term voor geheime, bepalende en schadelijke algoritmes: 'weapons of math destruction'. Leer meer over de verborgen agenda's achter de formules.
more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
13:18

Dutch subtitles

Revisions

Our website uses cookies for analysis purposes.