De tijd voor blind vertrouwen in Big Data is voorbij
-
0:01 - 0:03Algoritmes zijn overal.
-
0:04 - 0:07Ze scheiden de winnaars van de verliezers.
-
0:08 - 0:10De winnaars krijgen de baan
-
0:10 - 0:12of een goede creditcard-aanbieding.
-
0:12 - 0:15De verliezers mogen niet eens
op gesprek komen -
0:15 - 0:17of betalen meer voor hun verzekering.
-
0:18 - 0:23Onze score wordt berekend
met geheime formules die we niet begrijpen -
0:23 - 0:26en waar je vaak niet
tegen in beroep kan gaan. -
0:27 - 0:28Hierdoor rijst de vraag:
-
0:28 - 0:32wat als algoritmes fouten maken?
-
0:33 - 0:35Een algoritme vraagt om twee dingen:
-
0:35 - 0:37data, wat in het verleden gebeurd is,
-
0:37 - 0:38en een definitie voor succes,
-
0:38 - 0:41dat wat je hoopt te vinden.
-
0:41 - 0:46Je laat een algoritme data bestuderen
-
0:46 - 0:50om te ontcijferen wat leidt tot succes.
-
0:50 - 0:52Welke factoren spelen daarin mee?
-
0:53 - 0:54Iedereen gebruikt algoritmes.
-
0:54 - 0:57Alleen zetten ze het niet om
in computercode. -
0:57 - 0:58Een voorbeeld.
-
0:58 - 1:02Ik gebruik elke dag een algoritme
om een maaltijd te koken voor mijn gezin. -
1:02 - 1:04De gegevens die ik gebruik
-
1:04 - 1:08zijn de ingrediënten in huis,
de hoeveelheid tijd die ik heb, -
1:08 - 1:09de gewenste inspanning,
-
1:09 - 1:11en daarna orden ik die data.
-
1:11 - 1:15Kleine pakjes ramen noedels
reken ik niet mee als voedsel. -
1:15 - 1:17(Gelach)
-
1:17 - 1:19Mijn definitie voor succes is:
-
1:19 - 1:22een maaltijd is succesvol
als mijn kinderen groenten eten. -
1:22 - 1:25Als mijn zoontje de baas was,
zou hij iets heel anders zeggen. -
1:25 - 1:28Voor hem is succes als hij
onbeperkt Nutella mag eten. -
1:28 - 1:29(Gelach)
-
1:29 - 1:31Maar ik bepaal wat succes is.
-
1:31 - 1:34Ik ben de baas. Mijn mening is belangrijk.
-
1:34 - 1:37Dat is de eerste regel van algoritmes.
-
1:37 - 1:41Algoritmes zijn meningen
vastgelegd in code. -
1:42 - 1:45Dat is heel iets anders dan
wat de meeste mensen denken dat het zijn. -
1:45 - 1:50Zij denken dat algoritmes objectief,
waar en wetenschappelijk zijn. -
1:50 - 1:52Dat is een marketingtruc.
-
1:52 - 1:53(Gelach)
-
1:53 - 1:55Het is ook een marketingtruc
-
1:55 - 1:59om je te intimideren met algoritmes,
-
1:59 - 2:02om te zorgen dat je algoritmes vertrouwt
én er bang voor bent, -
2:02 - 2:05net zoals je op wiskunde vertrouwt
en er bang voor bent. -
2:06 - 2:11Het kan flink misgaan
als we blind vertrouwen op Big Data. -
2:12 - 2:15Dit is Kiri Soares. Ze is directrice
van een middelbare school in Brooklyn. -
2:15 - 2:18In 2011 werden haar docenten beoordeeld
-
2:18 - 2:20met behulp van een complex,
geheim algoritme, -
2:20 - 2:23het zogeheten 'meerwaardemodel'.
-
2:23 - 2:26Ik zei: "Probeer achter de formule
te komen, dan leg ik het je uit." -
2:27 - 2:29Ze zei: "Dat heb ik geprobeerd,
-
2:29 - 2:32maar op het Ministerie van Onderwijs
zeiden ze het wiskunde was -
2:32 - 2:34en dat ik dat toch niet zou begrijpen."
-
2:34 - 2:35(Gelach)
-
2:35 - 2:36Het wordt nog erger.
-
2:37 - 2:40De New York Post deed een beroep
op de vrijheid van informatie, -
2:40 - 2:43verzamelde alle namen
van docenten en hun scores -
2:43 - 2:46en publiceerde die
om ze publiekelijk terecht te wijzen. -
2:47 - 2:51Toen ik zelf probeerde de formules,
de broncode, te bemachtigen, -
2:51 - 2:53werd gezegd dat dat onmogelijk was.
-
2:53 - 2:54Ik werd geweigerd.
-
2:54 - 2:56Pas later kwam ik erachter
-
2:56 - 2:58dat niemand in New York
toegang had tot de formule. -
2:58 - 3:00Niemand begreep het.
-
3:02 - 3:05Toen raakte de intelligente
Gary Rubinstein bij de zaak betrokken. -
3:05 - 3:09In de gegevens van de New York Post
vond hij 665 docenten -
3:09 - 3:11die twee scores bleken te hebben.
-
3:11 - 3:15Dat gebeurde als ze wiskunde gaven
aan de brugklas en de tweede klas. -
3:15 - 3:17Hij besloot ze in kaart te brengen.
-
3:17 - 3:19Elke stip is een docent.
-
3:19 - 3:21(Gelach)
-
3:22 - 3:23Wat is dat?
-
3:23 - 3:24(Gelach)
-
3:24 - 3:28Dat hadden ze nooit mogen gebruiken
voor individuele beoordeling. -
3:28 - 3:29Het lijkt meer op een toevalsgenerator.
-
3:29 - 3:32(Applaus)
-
3:32 - 3:33En dat was ook zo.
-
3:33 - 3:35Dit is Sarah Wysocki.
-
3:35 - 3:37Samen met 205 andere docenten
werd ze ontslagen -
3:37 - 3:40in het schooldistrict van Washington,
-
3:40 - 3:43ondanks de lovende aanbevelingen
van de schoolleiding -
3:43 - 3:45en de ouders van haar leerlingen.
-
3:45 - 3:47Ik hoor jullie al denken,
-
3:47 - 3:49vooral de datawetenschappers,
de KI-experts hier: -
3:49 - 3:54zo'n onbetrouwbaar algoritme
zou ik nooit maken. -
3:55 - 3:56Maar het kan fout gaan met algoritmes,
-
3:56 - 4:02soms zelfs met desastreuze gevolgen,
ondanks goede bedoelingen. -
4:03 - 4:07Maar als een slecht ontworpen vliegtuig
neerstort, dan ziet iedereen dat, -
4:07 - 4:09maar een slecht ontworpen algoritme
-
4:10 - 4:15kan lange tijd
ongemerkt schade aanrichten. -
4:16 - 4:17Dit is Roger Ailes.
-
4:17 - 4:20(Gelach)
-
4:21 - 4:23Hij richtte in 1996 Fox News op.
-
4:23 - 4:26Meer dan 20 vrouwen klaagden
over seksuele intimidatie. -
4:26 - 4:29Ze zeiden dat ze
geen promotie kregen bij Fox News. -
4:29 - 4:32Hij is vorig jaar afgezet,
maar het blijkt nu -
4:32 - 4:35dat het probleem
nog steeds niet is opgelost. -
4:36 - 4:37Dan rijst de vraag:
-
4:37 - 4:40wat moet Fox News doen
om dit te veranderen? -
4:41 - 4:46Wat als ze voortaan mensen zouden werven
met behulp van een zelflerend algoritme? -
4:46 - 4:47Klinkt goed, toch?
-
4:48 - 4:49Maar wat houdt dat in?
-
4:49 - 4:51Welke data ga je gebruiken?
-
4:51 - 4:56De sollicitaties van de afgelopen
21 jaar zou redelijk zijn. -
4:56 - 4:58Redelijk.
-
4:58 - 4:59En wanneer is het een succes?
-
5:00 - 5:01Een redelijke keuze zou zijn:
-
5:01 - 5:03wie is succesvol bij Fox News?
-
5:03 - 5:07Iemand die er al vier jaar werkt
-
5:07 - 5:09en minstens een keer
promotie heeft gemaakt. -
5:09 - 5:10Klinkt redelijk.
-
5:10 - 5:13En dan wordt het algoritme getraind.
-
5:13 - 5:17Het leert zoeken naar mensen
om te weten wat tot succes leidt, -
5:17 - 5:22welke sollicitaties
in het verleden succesvol waren -
5:22 - 5:23volgens die definitie.
-
5:24 - 5:26Wat zou er gebeuren
-
5:26 - 5:29als we dit zouden toepassen
op de huidige kandidaten? -
5:29 - 5:31Het zou vrouwen eruit filteren,
-
5:32 - 5:36want zo te zien waren zij
niet succesvol in het verleden. -
5:40 - 5:42Algoritmes maken dingen niet eerlijker
-
5:42 - 5:45als je ze klakkeloos toepast.
-
5:45 - 5:46Ze maken het niet eerlijker.
-
5:46 - 5:49Ze herhalen onze eerdere ervaringen,
-
5:49 - 5:50onze patronen.
-
5:50 - 5:52Ze automatiseren de status quo.
-
5:53 - 5:55Dat werkt goed
als de wereld perfect zou zijn, -
5:56 - 5:57maar dat is niet zo.
-
5:57 - 6:02Ook hebben de meeste bedrijven
geen pijnlijke rechtszaken lopen, -
6:02 - 6:05maar hun datawetenschappers
-
6:05 - 6:07worden gedwongen de data te volgen,
-
6:07 - 6:09met nadruk op nauwkeurigheid.
-
6:10 - 6:11En wat betekent dat?
-
6:11 - 6:16Want onze vooroordelen zorgen ervoor
dat seksisme het systeem binnendringt, -
6:16 - 6:18net als andere vormen
van onverdraagzaamheid. -
6:19 - 6:21Even een gedachte-experiment,
-
6:21 - 6:22want die zijn leuk:
-
6:24 - 6:27een volledig gesegregeerde samenleving --
-
6:28 - 6:32naar ras gescheiden,
alle steden, alle wijken -- -
6:32 - 6:34waar we de politie alleen
op wijken met minderheden afsturen -
6:34 - 6:36om criminaliteit op te sporen.
-
6:36 - 6:39De arrestatiedata zouden
sterk bevooroordeeld zijn. -
6:40 - 6:42Wat zou er gebeuren
als we datawetenschappers betaalden -
6:42 - 6:47om te voorspellen waar
de volgende misdaad zou plaatsvinden? -
6:47 - 6:49In de wijk met minderheden.
-
6:49 - 6:52Of wie de volgende crimineel zou zijn?
-
6:53 - 6:54Iemand uit een minderheidsgroep.
-
6:56 - 6:58De datawetenschappers zouden opscheppen
-
6:58 - 7:01over hoe geweldig
en nauwkeurig hun model was -
7:01 - 7:03en ze zouden gelijk hebben.
-
7:04 - 7:05Zo erg is het nog niet,
-
7:05 - 7:10maar ernstige segregatie
vindt in de meeste steden plaats -
7:10 - 7:12en we hebben genoeg bewijzen
-
7:12 - 7:15van bevooroordeelde politie
en rechtssysteem. -
7:16 - 7:20We voorspellen daadwerkelijk gebieden
waar zich criminaliteit zal voordoen. -
7:20 - 7:26En ook waar criminele
eenmansacties zullen plaatsvinden. -
7:27 - 7:29De nieuwsorganisatie ProPublica
-
7:29 - 7:33onderzocht onlangs zo'n zogeheten
'recidive risico'-algoritme -
7:33 - 7:37dat in Florida wordt gebruikt
tijdens de veroordeling door de rechter. -
7:38 - 7:42Bernard, links, de zwarte man,
scoorde tien uit tien. -
7:43 - 7:45Dylan, rechts, drie uit tien.
-
7:45 - 7:48Tien uit tien, hoog risico.
Drie uit tien, laag risico. -
7:49 - 7:51Ze werden allebei opgepakt
voor drugsbezit. -
7:51 - 7:52Ze hadden allebei een strafblad,
-
7:52 - 7:55maar Dylan voor een misdrijf
-
7:55 - 7:56en Bernard niet.
-
7:58 - 8:01Dat maakt uit, want hoe hoger de score,
-
8:01 - 8:04des te zwaarder je gestraft wordt.
-
8:06 - 8:08Hoe kan dit?
-
8:09 - 8:10Door het witwassen van data.
-
8:11 - 8:15Dit gebeurt als technologen
de lelijke waarheid -
8:15 - 8:17in een zwarte doos
van algoritmes verbergen -
8:17 - 8:19en ze objectief noemen,
-
8:19 - 8:21ze meritocratisch noemen.
-
8:23 - 8:25Geheime, essentiële
en destructieve algoritmes -
8:25 - 8:28krijgen van mij de naam
-
8:28 - 8:30'datavernietigingswapens'.
-
8:30 - 8:32(Gelach)
-
8:32 - 8:35(Applaus)
-
8:35 - 8:37Ze zijn overal, echt waar.
-
8:38 - 8:41Dit zijn particuliere bedrijven
die eigen algoritmes maken -
8:41 - 8:43voor eigen gebruik.
-
8:43 - 8:46Zelfs die waar ik het over had
voor docenten en politie, -
8:46 - 8:48kwamen van particuliere bedrijven
-
8:48 - 8:51en werden verkocht
aan overheidsinstellingen. -
8:51 - 8:52Ze noemen het hun 'geheime recept' --
-
8:52 - 8:55daarom willen ze er niets over zeggen.
-
8:55 - 8:57Het gaat ook om private macht.
-
8:58 - 9:03Ze maken handig gebruik van hun gezag
over dingen die onbegrijpelijk zijn. -
9:05 - 9:08Omdat alles in particuliere handen is
-
9:08 - 9:09en er concurrentie is,
-
9:09 - 9:12denk je wellicht dat de vrije markt
dit probleem wel oplost. -
9:12 - 9:13Onjuist.
-
9:13 - 9:17Er wordt grof geld verdiend
met oneerlijke praktijken. -
9:17 - 9:21Ook zijn wij geen
economisch rationele wezens. -
9:21 - 9:22We zijn bevooroordeeld.
-
9:23 - 9:26We zijn racistisch en onverdraagzaam,
erger dan we willen toegeven -
9:26 - 9:29en vaak zonder dat we het doorhebben.
-
9:29 - 9:31Dit weten we
-
9:32 - 9:37doordat sociologen keer op keer
met hun onderzoeken hebben bewezen -
9:37 - 9:41dat als je sollicitaties verstuurt
met dezelfde opleiding, -
9:41 - 9:43maar met deels 'witte' namen
deels 'zwarte' namen, -
9:43 - 9:47dat de resultaten
altijd zullen tegenvallen. -
9:48 - 9:49Wij zijn degenen met vooroordelen
-
9:49 - 9:53en daar injecteren we de algoritmes mee
-
9:53 - 9:55door te kiezen welke data
worden verzameld, -
9:55 - 9:57zoals ik besloot
ramen noedels uit te sluiten -- -
9:57 - 9:59omdat ik het niet relevant vond.
-
9:59 - 10:05Maar als we vertrouwen op data
die uitgaan van eerder gedrag -
10:05 - 10:07en een definitie voor succes hanteren,
-
10:07 - 10:11waarom denken we dan dat de algoritmes
daar ongeschonden uitkomen? -
10:11 - 10:12Onmogelijk.
-
10:12 - 10:16We moeten controleren of ze redelijk zijn.
-
10:16 - 10:19Gelukkig is het mogelijk
ze op redelijkheid te testen. -
10:19 - 10:22Algoritmes kan je ondervragen
-
10:22 - 10:24en ze zullen steeds
eerlijk antwoord geven. -
10:24 - 10:27We kunnen ze herstellen.
We kunnen ze verbeteren. -
10:27 - 10:29Dit noem ik een algoritme-inspectie
-
10:29 - 10:31en ik leg even uit hoe dat werkt.
-
10:31 - 10:33Allereerst, een data-integriteitscontrole.
-
10:34 - 10:37Voor het 'recidive risico'-algoritme
dat ik eerder noemde, -
10:38 - 10:41betekent een data-integriteitscontrole
dat we moeten accepteren -
10:41 - 10:42dat in de VS
-
10:42 - 10:45de witte en de zwarte bevolking
net zoveel marihuana roken -
10:45 - 10:47maar de zwarte bevolking
vaker wordt gearresteerd -- -
10:47 - 10:50vier tot vijf keer vaker zelfs,
afhankelijk van de buurt. -
10:51 - 10:54Hoe ziet die vertekening eruit
in andere misdrijfcategorieën -
10:54 - 10:56en hoe verantwoorden we dat?
-
10:56 - 10:59Ten tweede, we moeten kijken
naar onze definitie voor succes -
10:59 - 11:01en dat checken.
-
11:01 - 11:03Weet je nog het wervingsalgoritme
waar we het over hadden? -
11:03 - 11:06Iemand die vier jaar in dienst is
en één keer promotie maakt? -
11:06 - 11:08Dat is een succesvolle werknemer,
-
11:08 - 11:09maar het is ook een werknemer
-
11:09 - 11:12die de goedkeuring krijgt
van de bedrijfscultuur. -
11:12 - 11:14Kortom, vooroordelen.
-
11:14 - 11:16We moeten die twee dingen
uit elkaar houden. -
11:16 - 11:20Laten we het voorbeeld nemen
van de blinde orkestauditie. -
11:20 - 11:23De mensen die auditie doen,
zitten daarbij achter een laken. -
11:23 - 11:25Wat volgens mij relevant is,
-
11:25 - 11:28is dat de toehoorders
hebben besloten wat belangrijk is -
11:28 - 11:32en daar zullen ze niet vanaf wijken.
-
11:33 - 11:36Toen de blinde orkestaudities begonnen,
-
11:36 - 11:39schoot het aantal vrouwen
in orkesten met factor vijf omhoog. -
11:40 - 11:43Ook moeten we kijken naar nauwkeurigheid.
-
11:43 - 11:47Hier zou het meerwaardemodel
voor docenten direct falen. -
11:48 - 11:50Geen enkel algoritme is perfect,
-
11:51 - 11:54dus we moeten rekening houden
met de fouten van ieder algoritme. -
11:55 - 11:59Hoe vaak worden fouten gemaakt
en wie is daar het slachtoffer van? -
12:00 - 12:02Wat zijn de gevolgen?
-
12:02 - 12:05En tot slot moeten we stilstaan
-
12:06 - 12:08bij de gevolgen van algoritmes
op de lange termijn, -
12:09 - 12:12de terugkoppeling
die het met zich meebrengt. -
12:12 - 12:13Dat klinkt vaag,
-
12:13 - 12:16maar stel dat de Facebookontwerpers
daar aan hadden gedacht -
12:16 - 12:21voordat ze besloten ons alleen te laten
zien wat onze vrienden hadden gepost. -
12:22 - 12:25Ik wil nog twee dingen kwijt.
Allereerst aan de datawetenschappers: -
12:25 - 12:30wij zijn niet de scheidsrechters
die bepalen wat waar is. -
12:30 - 12:32Wij moeten de ethische discussies
die zich voordoen, -
12:32 - 12:35begrijpelijk maken
voor de hele samenleving. -
12:36 - 12:38(Applaus)
-
12:38 - 12:41En tegen alle
niet-datawetenschappers zeg ik: -
12:41 - 12:43dit is geen wiskundetest.
-
12:43 - 12:45Dit is een politiek gevecht.
-
12:47 - 12:50We moeten onze algoritmebazen
ter verantwoording roepen. -
12:51 - 12:54(Applaus)
-
12:54 - 12:58Het wordt tijd dat er een eind komt
aan het blinde vertrouwen in Big Data. -
12:58 - 12:59Dank jullie wel.
-
12:59 - 13:04(Applaus)
- Title:
- De tijd voor blind vertrouwen in Big Data is voorbij
- Speaker:
- Cathy O'Neil
- Description:
-
Algoritmes bepalen wie een lening krijgt, wie uitgenodigd wordt voor een sollicitatiegesprek en nog veel meer -- maar dat gaat er niet vanzelfsprekend eerlijk aan toe. Wiskundige en datawetenschapper Cathy O'Neil bedacht een term voor geheime, bepalende en schadelijke algoritmes: 'weapons of math destruction'. Leer meer over de verborgen agenda's achter de formules.
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 13:18
Peter van de Ven approved Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven edited Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven accepted Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven edited Dutch subtitles for The era of blind faith in big data must end | ||
Lisette Feenstra edited Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven declined Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven edited Dutch subtitles for The era of blind faith in big data must end | ||
Peter van de Ven edited Dutch subtitles for The era of blind faith in big data must end |