0:00:00.975,0:00:02.992
Algoritmes zijn overal.

0:00:04.071,0:00:07.436
Ze scheiden de winnaars van de verliezers.

0:00:08.019,0:00:10.133
De winnaars krijgen de baan

0:00:10.133,0:00:12.050
of een goede creditcard-aanbieding.

0:00:12.050,0:00:15.015
De verliezers mogen niet eens [br]op gesprek komen

0:00:15.470,0:00:17.367
of betalen meer voor hun verzekering.

0:00:18.197,0:00:22.616
Onze score wordt berekend[br]met geheime formules die we niet begrijpen

0:00:22.616,0:00:26.262
en waar je vaak niet [br]tegen in beroep kan gaan.

0:00:27.240,0:00:28.446
Hierdoor rijst de vraag:

0:00:28.446,0:00:31.763
wat als algoritmes fouten maken?

0:00:32.920,0:00:34.654
Een algoritme vraagt om twee dingen:

0:00:34.654,0:00:36.889
data, wat in het verleden gebeurd is,

0:00:36.889,0:00:38.344
en een definitie voor succes,

0:00:38.344,0:00:41.081
dat wat je hoopt te vinden.

0:00:41.081,0:00:45.864
Je laat een algoritme data bestuderen

0:00:45.864,0:00:49.715
om te ontcijferen wat leidt tot succes.

0:00:49.739,0:00:52.202
Welke factoren spelen daarin mee?

0:00:52.881,0:00:54.433
Iedereen gebruikt algoritmes.

0:00:54.433,0:00:57.125
Alleen zetten ze het niet om [br]in computercode.

0:00:57.125,0:00:58.147
Een voorbeeld.

0:00:58.147,0:01:01.711
Ik gebruik elke dag een algoritme [br]om een maaltijd te koken voor mijn gezin.

0:01:02.121,0:01:03.597
De gegevens die ik gebruik

0:01:04.394,0:01:07.628
zijn de ingrediënten in huis,[br]de hoeveelheid tijd die ik heb,

0:01:07.628,0:01:08.721
de gewenste inspanning,

0:01:08.721,0:01:10.594
en daarna orden ik die data.

0:01:10.618,0:01:14.869
Kleine pakjes ramen noedels[br]reken ik niet mee als voedsel.

0:01:14.893,0:01:16.762
(Gelach)

0:01:16.786,0:01:18.561
Mijn definitie voor succes is:

0:01:18.561,0:01:21.875
een maaltijd is succesvol [br]als mijn kinderen groenten eten.

0:01:21.875,0:01:24.895
Als mijn zoontje de baas was, [br]zou hij iets heel anders zeggen.

0:01:24.895,0:01:27.763
Voor hem is succes als hij [br]onbeperkt Nutella mag eten.

0:01:27.763,0:01:29.013
(Gelach)

0:01:29.179,0:01:31.405
Maar ik bepaal wat succes is.

0:01:31.429,0:01:34.136
Ik ben de baas. Mijn mening is belangrijk.

0:01:34.160,0:01:36.835
Dat is de eerste regel van algoritmes.

0:01:36.859,0:01:40.564
Algoritmes zijn meningen [br]vastgelegd in code.

0:01:41.512,0:01:45.225
Dat is heel iets anders dan[br]wat de meeste mensen denken dat het zijn.

0:01:45.225,0:01:49.893
Zij denken dat algoritmes objectief, [br]waar en wetenschappelijk zijn.

0:01:50.387,0:01:52.086
Dat is een marketingtruc.

0:01:52.177,0:01:53.177
(Gelach)

0:01:53.269,0:01:55.394
Het is ook een marketingtruc

0:01:55.394,0:01:58.572
om je te intimideren met algoritmes,

0:01:58.596,0:02:02.257
om te zorgen dat je algoritmes vertrouwt [br]én er bang voor bent,

0:02:02.281,0:02:05.379
net zoals je op wiskunde vertrouwt[br]en er bang voor bent.

0:02:05.567,0:02:10.567
Het kan flink misgaan [br]als we blind vertrouwen op Big Data.

0:02:11.514,0:02:15.131
Dit is Kiri Soares. Ze is directrice [br]van een middelbare school in Brooklyn.

0:02:15.131,0:02:17.527
In 2011 werden haar docenten beoordeeld

0:02:17.527,0:02:20.392
met behulp van een complex,[br]geheim algoritme,

0:02:20.392,0:02:22.505
het zogeheten 'meerwaardemodel'.

0:02:22.505,0:02:26.296
Ik zei: "Probeer achter de formule [br]te komen, dan leg ik het je uit."

0:02:26.926,0:02:28.523
Ze zei: "Dat heb ik geprobeerd,

0:02:28.523,0:02:31.843
maar op het Ministerie van Onderwijs[br]zeiden ze het wiskunde was

0:02:31.843,0:02:33.803
en dat ik dat toch niet zou begrijpen."

0:02:33.803,0:02:35.174
(Gelach)

0:02:35.266,0:02:36.424
Het wordt nog erger.

0:02:36.558,0:02:40.058
De New York Post deed een beroep[br]op de vrijheid van informatie,

0:02:40.058,0:02:42.991
verzamelde alle namen [br]van docenten en hun scores

0:02:42.991,0:02:46.070
en publiceerde die [br]om ze publiekelijk terecht te wijzen.

0:02:47.084,0:02:50.784
Toen ik zelf probeerde de formules, [br]de broncode, te bemachtigen,

0:02:50.784,0:02:52.907
werd gezegd dat dat onmogelijk was.

0:02:52.907,0:02:53.947
Ik werd geweigerd.

0:02:53.947,0:02:55.575
Pas later kwam ik erachter

0:02:55.599,0:02:58.465
dat niemand in New York [br]toegang had tot de formule.

0:02:58.489,0:03:00.004
Niemand begreep het.

0:03:01.929,0:03:05.153
Toen raakte de intelligente [br]Gary Rubinstein bij de zaak betrokken.

0:03:05.177,0:03:08.798
In de gegevens van de New York Post [br]vond hij 665 docenten

0:03:08.822,0:03:10.688
die twee scores bleken te hebben.

0:03:10.712,0:03:14.709
Dat gebeurde als ze wiskunde gaven[br]aan de brugklas en de tweede klas.

0:03:14.946,0:03:16.722
Hij besloot ze in kaart te brengen.

0:03:16.722,0:03:18.635
Elke stip is een docent.

0:03:18.635,0:03:21.483
(Gelach)

0:03:21.507,0:03:23.028
Wat is dat?

0:03:23.028,0:03:24.329
(Gelach)

0:03:24.353,0:03:27.519
Dat hadden ze nooit mogen gebruiken [br]voor individuele beoordeling.

0:03:27.519,0:03:29.419
Het lijkt meer op een toevalsgenerator.

0:03:29.419,0:03:32.459
(Applaus)

0:03:32.459,0:03:33.485
En dat was ook zo.

0:03:33.485,0:03:34.515
Dit is Sarah Wysocki.

0:03:34.515,0:03:37.024
Samen met 205 andere docenten [br]werd ze ontslagen

0:03:37.024,0:03:39.890
in het schooldistrict van Washington,

0:03:40.014,0:03:42.843
ondanks de lovende aanbevelingen [br]van de schoolleiding

0:03:42.843,0:03:44.555
en de ouders van haar leerlingen.

0:03:45.230,0:03:46.746
Ik hoor jullie al denken,

0:03:46.746,0:03:49.431
vooral de datawetenschappers,[br]de KI-experts hier:

0:03:49.431,0:03:54.291
zo'n onbetrouwbaar algoritme [br]zou ik nooit maken.

0:03:54.633,0:03:56.460
Maar het kan fout gaan met algoritmes,

0:03:56.460,0:04:01.753
soms zelfs met desastreuze gevolgen, [br]ondanks goede bedoelingen.

0:04:02.531,0:04:06.658
Maar als een slecht ontworpen vliegtuig[br]neerstort, dan ziet iedereen dat,

0:04:06.935,0:04:09.166
maar een slecht ontworpen algoritme

0:04:10.245,0:04:14.560
kan lange tijd [br]ongemerkt schade aanrichten.

0:04:15.748,0:04:17.318
Dit is Roger Ailes.

0:04:17.342,0:04:19.983
(Gelach)

0:04:20.524,0:04:22.912
Hij richtte in 1996 Fox News op.

0:04:23.396,0:04:26.011
Meer dan 20 vrouwen klaagden [br]over seksuele intimidatie.

0:04:26.011,0:04:29.276
Ze zeiden dat ze [br]geen promotie kregen bij Fox News.

0:04:29.276,0:04:31.820
Hij is vorig jaar afgezet,[br]maar het blijkt nu

0:04:31.844,0:04:34.564
dat het probleem [br]nog steeds niet is opgelost.

0:04:35.614,0:04:37.054
Dan rijst de vraag:

0:04:37.054,0:04:40.102
wat moet Fox News doen [br]om dit te veranderen?

0:04:41.245,0:04:45.708
Wat als ze voortaan mensen zouden werven[br]met behulp van een zelflerend algoritme?

0:04:45.708,0:04:47.443
Klinkt goed, toch?

0:04:47.607,0:04:48.907
Maar wat houdt dat in?

0:04:48.907,0:04:50.876
Welke data ga je gebruiken?

0:04:50.876,0:04:56.007
De sollicitaties van de afgelopen [br]21 jaar zou redelijk zijn.

0:04:56.031,0:04:57.533
Redelijk.

0:04:57.557,0:04:59.495
En wanneer is het een succes?

0:04:59.861,0:05:01.299
Een redelijke keuze zou zijn:

0:05:01.299,0:05:02.857
wie is succesvol bij Fox News?

0:05:02.857,0:05:06.541
Iemand die er al vier jaar werkt

0:05:06.541,0:05:08.816
en minstens een keer [br]promotie heeft gemaakt.

0:05:08.816,0:05:10.377
Klinkt redelijk.

0:05:10.401,0:05:12.655
En dan wordt het algoritme getraind.

0:05:12.655,0:05:16.656
Het leert zoeken naar mensen[br]om te weten wat tot succes leidt,

0:05:17.189,0:05:21.537
welke sollicitaties [br]in het verleden succesvol waren

0:05:21.537,0:05:23.093
volgens die definitie.

0:05:24.200,0:05:25.765
Wat zou er gebeuren

0:05:25.765,0:05:28.744
als we dit zouden toepassen [br]op de huidige kandidaten?

0:05:29.119,0:05:31.078
Het zou vrouwen eruit filteren,

0:05:31.663,0:05:35.983
want zo te zien waren zij [br]niet succesvol in het verleden.

0:05:39.752,0:05:42.289
Algoritmes maken dingen niet eerlijker

0:05:42.289,0:05:44.727
als je ze klakkeloos toepast.

0:05:44.727,0:05:46.323
Ze maken het niet eerlijker.

0:05:46.323,0:05:48.665
Ze herhalen onze eerdere ervaringen,

0:05:48.665,0:05:49.672
onze patronen.

0:05:49.672,0:05:52.275
Ze automatiseren de status quo.

0:05:52.718,0:05:55.467
Dat werkt goed [br]als de wereld perfect zou zijn,

0:05:55.905,0:05:57.217
maar dat is niet zo.

0:05:57.241,0:06:01.773
Ook hebben de meeste bedrijven [br]geen pijnlijke rechtszaken lopen,

0:06:02.446,0:06:04.894
maar hun datawetenschappers

0:06:04.894,0:06:07.247
worden gedwongen de data te volgen,

0:06:07.247,0:06:09.414
met nadruk op nauwkeurigheid.

0:06:10.273,0:06:11.264
En wat betekent dat?

0:06:11.264,0:06:15.705
Want onze vooroordelen zorgen ervoor [br]dat seksisme het systeem binnendringt,

0:06:15.705,0:06:17.985
net als andere vormen[br]van onverdraagzaamheid.

0:06:19.488,0:06:20.909
Even een gedachte-experiment,

0:06:20.909,0:06:22.442
want die zijn leuk:

0:06:23.574,0:06:26.549
een volledig gesegregeerde samenleving --

0:06:28.247,0:06:31.575
naar ras gescheiden, [br]alle steden, alle wijken --

0:06:31.599,0:06:34.416
waar we de politie alleen[br]op wijken met minderheden afsturen

0:06:34.416,0:06:36.183
om criminaliteit op te sporen.

0:06:36.351,0:06:39.043
De arrestatiedata zouden [br]sterk bevooroordeeld zijn.

0:06:39.851,0:06:42.460
Wat zou er gebeuren[br]als we datawetenschappers betaalden

0:06:42.460,0:06:46.611
om te voorspellen waar[br]de volgende misdaad zou plaatsvinden?

0:06:47.275,0:06:48.762
In de wijk met minderheden.

0:06:49.285,0:06:52.410
Of wie de volgende crimineel zou zijn?

0:06:52.888,0:06:54.472
Iemand uit een minderheidsgroep.

0:06:55.748,0:06:57.678
De datawetenschappers zouden opscheppen

0:06:57.678,0:07:00.811
over hoe geweldig[br]en nauwkeurig hun model was

0:07:00.811,0:07:02.564
en ze zouden gelijk hebben.

0:07:03.951,0:07:05.406
Zo erg is het nog niet,

0:07:05.406,0:07:09.877
maar ernstige segregatie [br]vindt in de meeste steden plaats

0:07:09.901,0:07:11.794
en we hebben genoeg bewijzen

0:07:11.818,0:07:14.818
van bevooroordeelde politie[br]en rechtssysteem.

0:07:15.632,0:07:20.401
We voorspellen daadwerkelijk gebieden[br]waar zich criminaliteit zal voordoen.

0:07:20.401,0:07:25.958
En ook waar criminele [br]eenmansacties zullen plaatsvinden.

0:07:26.972,0:07:29.361
De nieuwsorganisatie ProPublica

0:07:29.361,0:07:33.388
onderzocht onlangs zo'n zogeheten [br]'recidive risico'-algoritme

0:07:33.388,0:07:37.388
dat in Florida wordt gebruikt [br]tijdens de veroordeling door de rechter.

0:07:38.411,0:07:42.246
Bernard, links, de zwarte man, [br]scoorde tien uit tien.

0:07:43.179,0:07:45.186
Dylan, rechts, drie uit tien.

0:07:45.210,0:07:47.841
Tien uit tien, hoog risico.[br]Drie uit tien, laag risico.

0:07:48.598,0:07:50.823
Ze werden allebei opgepakt [br]voor drugsbezit.

0:07:50.823,0:07:52.365
Ze hadden allebei een strafblad,

0:07:52.365,0:07:54.991
maar Dylan voor een misdrijf

0:07:54.991,0:07:56.191
en Bernard niet.

0:07:57.818,0:08:00.884
Dat maakt uit, want hoe hoger de score,

0:08:00.908,0:08:04.381
des te zwaarder je gestraft wordt.

0:08:06.294,0:08:07.828
Hoe kan dit?

0:08:08.526,0:08:10.238
Door het witwassen van data.

0:08:10.930,0:08:15.207
Dit gebeurt als technologen [br]de lelijke waarheid

0:08:15.207,0:08:17.276
in een zwarte doos [br]van algoritmes verbergen

0:08:17.276,0:08:18.836
en ze objectief noemen,

0:08:19.320,0:08:21.038
ze meritocratisch noemen.

0:08:22.998,0:08:25.472
Geheime, essentiële [br]en destructieve algoritmes

0:08:25.472,0:08:27.904
krijgen van mij de naam

0:08:27.904,0:08:30.037
'datavernietigingswapens'.

0:08:30.037,0:08:31.649
(Gelach)

0:08:31.649,0:08:34.703
(Applaus)

0:08:34.727,0:08:37.081
Ze zijn overal, echt waar.

0:08:37.695,0:08:41.418
Dit zijn particuliere bedrijven [br]die eigen algoritmes maken

0:08:41.418,0:08:42.834
voor eigen gebruik.

0:08:43.214,0:08:46.308
Zelfs die waar ik het over had[br]voor docenten en politie,

0:08:46.308,0:08:47.895
kwamen van particuliere bedrijven

0:08:47.895,0:08:50.576
en werden verkocht [br]aan overheidsinstellingen.

0:08:50.600,0:08:52.473
Ze noemen het hun 'geheime recept' --

0:08:52.497,0:08:54.625
daarom willen ze er niets over zeggen.

0:08:54.649,0:08:57.269
Het gaat ook om private macht.

0:08:57.924,0:09:02.779
Ze maken handig gebruik van hun gezag[br]over dingen die onbegrijpelijk zijn.

0:09:05.114,0:09:07.798
Omdat alles in particuliere handen is

0:09:07.798,0:09:08.844
en er concurrentie is,

0:09:08.844,0:09:11.725
denk je wellicht dat de vrije markt [br]dit probleem wel oplost.

0:09:11.725,0:09:12.607
Onjuist.

0:09:12.607,0:09:16.640
Er wordt grof geld verdiend [br]met oneerlijke praktijken.

0:09:17.127,0:09:20.586
Ook zijn wij geen [br]economisch rationele wezens.

0:09:21.031,0:09:22.323
We zijn bevooroordeeld.

0:09:22.960,0:09:26.337
We zijn racistisch en onverdraagzaam,[br]erger dan we willen toegeven

0:09:26.337,0:09:28.770
en vaak zonder dat we het doorhebben.

0:09:29.352,0:09:31.348
Dit weten we

0:09:32.354,0:09:36.839
doordat sociologen keer op keer[br]met hun onderzoeken hebben bewezen

0:09:37.177,0:09:40.918
dat als je sollicitaties verstuurt[br]met dezelfde opleiding,

0:09:40.918,0:09:43.353
maar met deels 'witte' namen [br]deels 'zwarte' namen,

0:09:43.353,0:09:47.120
dat de resultaten [br]altijd zullen tegenvallen.

0:09:47.504,0:09:49.175
Wij zijn degenen met vooroordelen

0:09:49.175,0:09:52.504
en daar injecteren we de algoritmes mee

0:09:52.504,0:09:54.570
door te kiezen welke data [br]worden verzameld,

0:09:54.570,0:09:57.337
zoals ik besloot [br]ramen noedels uit te sluiten --

0:09:57.337,0:09:58.986
omdat ik het niet relevant vond.

0:09:58.986,0:10:04.694
Maar als we vertrouwen op data [br]die uitgaan van eerder gedrag

0:10:04.718,0:10:06.732
en een definitie voor succes hanteren,

0:10:06.756,0:10:10.739
waarom denken we dan dat de algoritmes [br]daar ongeschonden uitkomen?

0:10:10.763,0:10:11.809
Onmogelijk.

0:10:11.809,0:10:15.632
We moeten controleren of ze redelijk zijn.

0:10:15.818,0:10:18.609
Gelukkig is het mogelijk [br]ze op redelijkheid te testen.

0:10:18.633,0:10:22.009
Algoritmes kan je ondervragen

0:10:22.009,0:10:24.065
en ze zullen steeds [br]eerlijk antwoord geven.

0:10:24.065,0:10:26.584
We kunnen ze herstellen.[br]We kunnen ze verbeteren.

0:10:26.584,0:10:28.959
Dit noem ik een algoritme-inspectie

0:10:28.983,0:10:30.582
en ik leg even uit hoe dat werkt.

0:10:30.686,0:10:33.200
Allereerst, een data-integriteitscontrole.

0:10:34.132,0:10:36.949
Voor het 'recidive risico'-algoritme [br]dat ik eerder noemde,

0:10:37.582,0:10:40.639
betekent een data-integriteitscontrole [br]dat we moeten accepteren

0:10:40.639,0:10:41.785
dat in de VS

0:10:41.785,0:10:44.635
de witte en de zwarte bevolking [br]net zoveel marihuana roken

0:10:44.635,0:10:47.258
maar de zwarte bevolking [br]vaker wordt gearresteerd --

0:10:47.258,0:10:50.482
vier tot vijf keer vaker zelfs, [br]afhankelijk van de buurt.

0:10:51.247,0:10:54.297
Hoe ziet die vertekening eruit [br]in andere misdrijfcategorieën

0:10:54.297,0:10:55.988
en hoe verantwoorden we dat?

0:10:56.162,0:10:59.201
Ten tweede, we moeten kijken [br]naar onze definitie voor succes

0:10:59.225,0:11:00.606
en dat checken.

0:11:00.630,0:11:03.386
Weet je nog het wervingsalgoritme [br]waar we het over hadden?

0:11:03.386,0:11:06.300
Iemand die vier jaar in dienst is [br]en één keer promotie maakt?

0:11:06.300,0:11:07.907
Dat is een succesvolle werknemer,

0:11:07.907,0:11:09.330
maar het is ook een werknemer

0:11:09.330,0:11:11.797
die de goedkeuring krijgt[br]van de bedrijfscultuur.

0:11:12.029,0:11:13.575
Kortom, vooroordelen.

0:11:13.575,0:11:16.128
We moeten die twee dingen [br]uit elkaar houden.

0:11:16.128,0:11:19.554
Laten we het voorbeeld nemen[br]van de blinde orkestauditie.

0:11:19.554,0:11:22.714
De mensen die auditie doen,[br]zitten daarbij achter een laken.

0:11:22.946,0:11:24.877
Wat volgens mij relevant is,

0:11:24.877,0:11:28.318
is dat de toehoorders [br]hebben besloten wat belangrijk is

0:11:28.495,0:11:32.304
en daar zullen ze niet vanaf wijken.

0:11:32.961,0:11:35.710
Toen de blinde orkestaudities begonnen,

0:11:35.734,0:11:39.338
schoot het aantal vrouwen [br]in orkesten met factor vijf omhoog.

0:11:40.253,0:11:42.578
Ook moeten we kijken naar nauwkeurigheid.

0:11:43.233,0:11:46.967
Hier zou het meerwaardemodel [br]voor docenten direct falen.

0:11:47.578,0:11:49.740
Geen enkel algoritme is perfect,

0:11:50.620,0:11:54.385
dus we moeten rekening houden [br]met de fouten van ieder algoritme.

0:11:54.836,0:11:59.215
Hoe vaak worden fouten gemaakt[br]en wie is daar het slachtoffer van?

0:11:59.850,0:12:01.718
Wat zijn de gevolgen?

0:12:02.434,0:12:04.641
En tot slot moeten we stilstaan

0:12:05.973,0:12:08.469
bij de gevolgen van algoritmes [br]op de lange termijn,

0:12:08.866,0:12:11.586
de terugkoppeling [br]die het met zich meebrengt.

0:12:11.586,0:12:12.662
Dat klinkt vaag,

0:12:12.662,0:12:15.740
maar stel dat de Facebookontwerpers [br]daar aan hadden gedacht

0:12:16.270,0:12:21.125
voordat ze besloten ons alleen te laten [br]zien wat onze vrienden hadden gepost.

0:12:21.761,0:12:24.995
Ik wil nog twee dingen kwijt. [br]Allereerst aan de datawetenschappers:

0:12:25.450,0:12:29.520
wij zijn niet de scheidsrechters [br]die bepalen wat waar is.

0:12:29.520,0:12:32.490
Wij moeten de ethische discussies[br]die zich voordoen,

0:12:32.490,0:12:34.811
begrijpelijk maken[br]voor de hele samenleving.

0:12:35.579,0:12:37.712
(Applaus)

0:12:37.736,0:12:41.121
En tegen alle [br]niet-datawetenschappers zeg ik:

0:12:41.121,0:12:43.142
dit is geen wiskundetest.

0:12:43.461,0:12:45.321
Dit is een politiek gevecht.

0:12:46.587,0:12:50.494
We moeten onze algoritmebazen[br]ter verantwoording roepen.

0:12:51.378,0:12:53.537
(Applaus)

0:12:53.537,0:12:57.866
Het wordt tijd dat er een eind komt [br]aan het blinde vertrouwen in Big Data.

0:12:57.890,0:12:59.057
Dank jullie wel.

0:12:59.057,0:13:04.384
(Applaus)