WEBVTT 00:00:00.975 --> 00:00:02.992 Algoritmes zijn overal. 00:00:04.071 --> 00:00:07.436 Ze scheiden de winnaars van de verliezers. 00:00:08.019 --> 00:00:10.133 De winnaars krijgen de baan 00:00:10.133 --> 00:00:12.050 of een goede creditcard-aanbieding. 00:00:12.050 --> 00:00:15.015 De verliezers mogen niet eens op gesprek komen 00:00:15.470 --> 00:00:17.367 of betalen meer voor hun verzekering. 00:00:18.197 --> 00:00:22.616 Onze score wordt berekend met geheime formules die we niet begrijpen 00:00:22.616 --> 00:00:26.262 en waar je vaak niet tegen in beroep kan gaan. 00:00:27.240 --> 00:00:28.446 Hierdoor rijst de vraag: 00:00:28.446 --> 00:00:31.763 wat als algoritmes fouten maken? NOTE Paragraph 00:00:32.920 --> 00:00:34.654 Een algoritme vraagt om twee dingen: 00:00:34.654 --> 00:00:36.889 data, wat in het verleden gebeurd is, 00:00:36.889 --> 00:00:38.344 en een definitie voor succes, 00:00:38.344 --> 00:00:41.081 dat wat je hoopt te vinden. 00:00:41.081 --> 00:00:45.864 Je laat een algoritme data bestuderen 00:00:45.864 --> 00:00:49.715 om te ontcijferen wat leidt tot succes. 00:00:49.739 --> 00:00:52.202 Welke factoren spelen daarin mee? NOTE Paragraph 00:00:52.881 --> 00:00:54.433 Iedereen gebruikt algoritmes. 00:00:54.433 --> 00:00:57.125 Alleen zetten ze het niet om in computercode. 00:00:57.125 --> 00:00:58.147 Een voorbeeld. 00:00:58.147 --> 00:01:01.711 Ik gebruik elke dag een algoritme om een maaltijd te koken voor mijn gezin. 00:01:02.121 --> 00:01:03.597 De gegevens die ik gebruik 00:01:04.394 --> 00:01:07.628 zijn de ingrediënten in huis, de hoeveelheid tijd die ik heb, 00:01:07.628 --> 00:01:08.721 de gewenste inspanning, 00:01:08.721 --> 00:01:10.594 en daarna orden ik die data. 00:01:10.618 --> 00:01:14.869 Kleine pakjes ramen noedels reken ik niet mee als voedsel. NOTE Paragraph 00:01:14.893 --> 00:01:16.762 (Gelach) NOTE Paragraph 00:01:16.786 --> 00:01:18.561 Mijn definitie voor succes is: 00:01:18.561 --> 00:01:21.875 een maaltijd is succesvol als mijn kinderen groenten eten. 00:01:21.875 --> 00:01:24.895 Als mijn zoontje de baas was, zou hij iets heel anders zeggen. 00:01:24.895 --> 00:01:27.763 Voor hem is succes als hij onbeperkt Nutella mag eten. 00:01:27.763 --> 00:01:29.013 (Gelach) 00:01:29.179 --> 00:01:31.405 Maar ik bepaal wat succes is. 00:01:31.429 --> 00:01:34.136 Ik ben de baas. Mijn mening is belangrijk. 00:01:34.160 --> 00:01:36.835 Dat is de eerste regel van algoritmes. NOTE Paragraph 00:01:36.859 --> 00:01:40.564 Algoritmes zijn meningen vastgelegd in code. 00:01:41.512 --> 00:01:45.225 Dat is heel iets anders dan wat de meeste mensen denken dat het zijn. 00:01:45.225 --> 00:01:49.893 Zij denken dat algoritmes objectief, waar en wetenschappelijk zijn. 00:01:50.387 --> 00:01:52.086 Dat is een marketingtruc. 00:01:52.177 --> 00:01:53.177 (Gelach) 00:01:53.269 --> 00:01:55.394 Het is ook een marketingtruc 00:01:55.394 --> 00:01:58.572 om je te intimideren met algoritmes, 00:01:58.596 --> 00:02:02.257 om te zorgen dat je algoritmes vertrouwt én er bang voor bent, 00:02:02.281 --> 00:02:05.379 net zoals je op wiskunde vertrouwt en er bang voor bent. 00:02:05.567 --> 00:02:10.567 Het kan flink misgaan als we blind vertrouwen op Big Data. NOTE Paragraph 00:02:11.514 --> 00:02:15.131 Dit is Kiri Soares. Ze is directrice van een middelbare school in Brooklyn. 00:02:15.131 --> 00:02:17.527 In 2011 werden haar docenten beoordeeld 00:02:17.527 --> 00:02:20.392 met behulp van een complex, geheim algoritme, 00:02:20.392 --> 00:02:22.505 het zogeheten 'meerwaardemodel'. 00:02:22.505 --> 00:02:26.296 Ik zei: "Probeer achter de formule te komen, dan leg ik het je uit." 00:02:26.926 --> 00:02:28.523 Ze zei: "Dat heb ik geprobeerd, 00:02:28.523 --> 00:02:31.843 maar op het Ministerie van Onderwijs zeiden ze het wiskunde was 00:02:31.843 --> 00:02:33.803 en dat ik dat toch niet zou begrijpen." 00:02:33.803 --> 00:02:35.174 (Gelach) NOTE Paragraph 00:02:35.266 --> 00:02:36.424 Het wordt nog erger. 00:02:36.558 --> 00:02:40.058 De New York Post deed een beroep op de vrijheid van informatie, 00:02:40.058 --> 00:02:42.991 verzamelde alle namen van docenten en hun scores 00:02:42.991 --> 00:02:46.070 en publiceerde die om ze publiekelijk terecht te wijzen. 00:02:47.084 --> 00:02:50.784 Toen ik zelf probeerde de formules, de broncode, te bemachtigen, 00:02:50.784 --> 00:02:52.907 werd gezegd dat dat onmogelijk was. 00:02:52.907 --> 00:02:53.947 Ik werd geweigerd. 00:02:53.947 --> 00:02:55.575 Pas later kwam ik erachter 00:02:55.599 --> 00:02:58.465 dat niemand in New York toegang had tot de formule. 00:02:58.489 --> 00:03:00.004 Niemand begreep het. 00:03:01.929 --> 00:03:05.153 Toen raakte de intelligente Gary Rubinstein bij de zaak betrokken. 00:03:05.177 --> 00:03:08.798 In de gegevens van de New York Post vond hij 665 docenten 00:03:08.822 --> 00:03:10.688 die twee scores bleken te hebben. 00:03:10.712 --> 00:03:14.709 Dat gebeurde als ze wiskunde gaven aan de brugklas en de tweede klas. 00:03:14.946 --> 00:03:16.722 Hij besloot ze in kaart te brengen. 00:03:16.722 --> 00:03:18.635 Elke stip is een docent. NOTE Paragraph 00:03:18.635 --> 00:03:21.483 (Gelach) NOTE Paragraph 00:03:21.507 --> 00:03:23.028 Wat is dat? NOTE Paragraph 00:03:23.028 --> 00:03:24.329 (Gelach) NOTE Paragraph 00:03:24.353 --> 00:03:27.519 Dat hadden ze nooit mogen gebruiken voor individuele beoordeling. 00:03:27.519 --> 00:03:29.419 Het lijkt meer op een toevalsgenerator. NOTE Paragraph 00:03:29.419 --> 00:03:32.459 (Applaus) NOTE Paragraph 00:03:32.459 --> 00:03:33.485 En dat was ook zo. 00:03:33.485 --> 00:03:34.515 Dit is Sarah Wysocki. 00:03:34.515 --> 00:03:37.024 Samen met 205 andere docenten werd ze ontslagen 00:03:37.024 --> 00:03:39.890 in het schooldistrict van Washington, 00:03:40.014 --> 00:03:42.843 ondanks de lovende aanbevelingen van de schoolleiding 00:03:42.843 --> 00:03:44.555 en de ouders van haar leerlingen. NOTE Paragraph 00:03:45.230 --> 00:03:46.746 Ik hoor jullie al denken, 00:03:46.746 --> 00:03:49.431 vooral de datawetenschappers, de KI-experts hier: 00:03:49.431 --> 00:03:54.291 zo'n onbetrouwbaar algoritme zou ik nooit maken. 00:03:54.633 --> 00:03:56.460 Maar het kan fout gaan met algoritmes, 00:03:56.460 --> 00:04:01.753 soms zelfs met desastreuze gevolgen, ondanks goede bedoelingen. 00:04:02.531 --> 00:04:06.658 Maar als een slecht ontworpen vliegtuig neerstort, dan ziet iedereen dat, 00:04:06.935 --> 00:04:09.166 maar een slecht ontworpen algoritme 00:04:10.245 --> 00:04:14.560 kan lange tijd ongemerkt schade aanrichten. NOTE Paragraph 00:04:15.748 --> 00:04:17.318 Dit is Roger Ailes. NOTE Paragraph 00:04:17.342 --> 00:04:19.983 (Gelach) NOTE Paragraph 00:04:20.524 --> 00:04:22.912 Hij richtte in 1996 Fox News op. 00:04:23.396 --> 00:04:26.011 Meer dan 20 vrouwen klaagden over seksuele intimidatie. 00:04:26.011 --> 00:04:29.276 Ze zeiden dat ze geen promotie kregen bij Fox News. 00:04:29.276 --> 00:04:31.820 Hij is vorig jaar afgezet, maar het blijkt nu 00:04:31.844 --> 00:04:34.564 dat het probleem nog steeds niet is opgelost. 00:04:35.614 --> 00:04:37.054 Dan rijst de vraag: 00:04:37.054 --> 00:04:40.102 wat moet Fox News doen om dit te veranderen? NOTE Paragraph 00:04:41.245 --> 00:04:45.708 Wat als ze voortaan mensen zouden werven met behulp van een zelflerend algoritme? 00:04:45.708 --> 00:04:47.443 Klinkt goed, toch? 00:04:47.607 --> 00:04:48.907 Maar wat houdt dat in? 00:04:48.907 --> 00:04:50.876 Welke data ga je gebruiken? 00:04:50.876 --> 00:04:56.007 De sollicitaties van de afgelopen 21 jaar zou redelijk zijn. 00:04:56.031 --> 00:04:57.533 Redelijk. 00:04:57.557 --> 00:04:59.495 En wanneer is het een succes? 00:04:59.861 --> 00:05:01.299 Een redelijke keuze zou zijn: 00:05:01.299 --> 00:05:02.857 wie is succesvol bij Fox News? 00:05:02.857 --> 00:05:06.541 Iemand die er al vier jaar werkt 00:05:06.541 --> 00:05:08.816 en minstens een keer promotie heeft gemaakt. 00:05:08.816 --> 00:05:10.377 Klinkt redelijk. 00:05:10.401 --> 00:05:12.655 En dan wordt het algoritme getraind. 00:05:12.655 --> 00:05:16.656 Het leert zoeken naar mensen om te weten wat tot succes leidt, 00:05:17.189 --> 00:05:21.537 welke sollicitaties in het verleden succesvol waren 00:05:21.537 --> 00:05:23.093 volgens die definitie. 00:05:24.200 --> 00:05:25.765 Wat zou er gebeuren 00:05:25.765 --> 00:05:28.744 als we dit zouden toepassen op de huidige kandidaten? 00:05:29.119 --> 00:05:31.078 Het zou vrouwen eruit filteren, 00:05:31.663 --> 00:05:35.983 want zo te zien waren zij niet succesvol in het verleden. NOTE Paragraph 00:05:39.752 --> 00:05:42.289 Algoritmes maken dingen niet eerlijker 00:05:42.289 --> 00:05:44.727 als je ze klakkeloos toepast. 00:05:44.727 --> 00:05:46.323 Ze maken het niet eerlijker. 00:05:46.323 --> 00:05:48.665 Ze herhalen onze eerdere ervaringen, 00:05:48.665 --> 00:05:49.672 onze patronen. 00:05:49.672 --> 00:05:52.275 Ze automatiseren de status quo. 00:05:52.718 --> 00:05:55.467 Dat werkt goed als de wereld perfect zou zijn, 00:05:55.905 --> 00:05:57.217 maar dat is niet zo. 00:05:57.241 --> 00:06:01.773 Ook hebben de meeste bedrijven geen pijnlijke rechtszaken lopen, 00:06:02.446 --> 00:06:04.894 maar hun datawetenschappers 00:06:04.894 --> 00:06:07.247 worden gedwongen de data te volgen, 00:06:07.247 --> 00:06:09.414 met nadruk op nauwkeurigheid. 00:06:10.273 --> 00:06:11.264 En wat betekent dat? 00:06:11.264 --> 00:06:15.705 Want onze vooroordelen zorgen ervoor dat seksisme het systeem binnendringt, 00:06:15.705 --> 00:06:17.985 net als andere vormen van onverdraagzaamheid. NOTE Paragraph 00:06:19.488 --> 00:06:20.909 Even een gedachte-experiment, 00:06:20.909 --> 00:06:22.442 want die zijn leuk: 00:06:23.574 --> 00:06:26.549 een volledig gesegregeerde samenleving -- 00:06:28.247 --> 00:06:31.575 naar ras gescheiden, alle steden, alle wijken -- 00:06:31.599 --> 00:06:34.416 waar we de politie alleen op wijken met minderheden afsturen 00:06:34.416 --> 00:06:36.183 om criminaliteit op te sporen. 00:06:36.351 --> 00:06:39.043 De arrestatiedata zouden sterk bevooroordeeld zijn. 00:06:39.851 --> 00:06:42.460 Wat zou er gebeuren als we datawetenschappers betaalden 00:06:42.460 --> 00:06:46.611 om te voorspellen waar de volgende misdaad zou plaatsvinden? 00:06:47.275 --> 00:06:48.762 In de wijk met minderheden. 00:06:49.285 --> 00:06:52.410 Of wie de volgende crimineel zou zijn? 00:06:52.888 --> 00:06:54.472 Iemand uit een minderheidsgroep. 00:06:55.748 --> 00:06:57.678 De datawetenschappers zouden opscheppen 00:06:57.678 --> 00:07:00.811 over hoe geweldig en nauwkeurig hun model was 00:07:00.811 --> 00:07:02.564 en ze zouden gelijk hebben. NOTE Paragraph 00:07:03.951 --> 00:07:05.406 Zo erg is het nog niet, 00:07:05.406 --> 00:07:09.877 maar ernstige segregatie vindt in de meeste steden plaats 00:07:09.901 --> 00:07:11.794 en we hebben genoeg bewijzen 00:07:11.818 --> 00:07:14.818 van bevooroordeelde politie en rechtssysteem. 00:07:15.632 --> 00:07:20.401 We voorspellen daadwerkelijk gebieden waar zich criminaliteit zal voordoen. 00:07:20.401 --> 00:07:25.958 En ook waar criminele eenmansacties zullen plaatsvinden. 00:07:26.972 --> 00:07:29.361 De nieuwsorganisatie ProPublica 00:07:29.361 --> 00:07:33.388 onderzocht onlangs zo'n zogeheten 'recidive risico'-algoritme 00:07:33.388 --> 00:07:37.388 dat in Florida wordt gebruikt tijdens de veroordeling door de rechter. 00:07:38.411 --> 00:07:42.246 Bernard, links, de zwarte man, scoorde tien uit tien. 00:07:43.179 --> 00:07:45.186 Dylan, rechts, drie uit tien. 00:07:45.210 --> 00:07:47.841 Tien uit tien, hoog risico. Drie uit tien, laag risico. 00:07:48.598 --> 00:07:50.823 Ze werden allebei opgepakt voor drugsbezit. 00:07:50.823 --> 00:07:52.365 Ze hadden allebei een strafblad, 00:07:52.365 --> 00:07:54.991 maar Dylan voor een misdrijf 00:07:54.991 --> 00:07:56.191 en Bernard niet. 00:07:57.818 --> 00:08:00.884 Dat maakt uit, want hoe hoger de score, 00:08:00.908 --> 00:08:04.381 des te zwaarder je gestraft wordt. NOTE Paragraph 00:08:06.294 --> 00:08:07.828 Hoe kan dit? 00:08:08.526 --> 00:08:10.238 Door het witwassen van data. 00:08:10.930 --> 00:08:15.207 Dit gebeurt als technologen de lelijke waarheid 00:08:15.207 --> 00:08:17.276 in een zwarte doos van algoritmes verbergen 00:08:17.276 --> 00:08:18.836 en ze objectief noemen, 00:08:19.320 --> 00:08:21.038 ze meritocratisch noemen. 00:08:22.998 --> 00:08:25.472 Geheime, essentiële en destructieve algoritmes 00:08:25.472 --> 00:08:27.904 krijgen van mij de naam 00:08:27.904 --> 00:08:30.037 'datavernietigingswapens'. NOTE Paragraph 00:08:30.037 --> 00:08:31.649 (Gelach) NOTE Paragraph 00:08:31.649 --> 00:08:34.703 (Applaus) NOTE Paragraph 00:08:34.727 --> 00:08:37.081 Ze zijn overal, echt waar. 00:08:37.695 --> 00:08:41.418 Dit zijn particuliere bedrijven die eigen algoritmes maken 00:08:41.418 --> 00:08:42.834 voor eigen gebruik. 00:08:43.214 --> 00:08:46.308 Zelfs die waar ik het over had voor docenten en politie, 00:08:46.308 --> 00:08:47.895 kwamen van particuliere bedrijven 00:08:47.895 --> 00:08:50.576 en werden verkocht aan overheidsinstellingen. 00:08:50.600 --> 00:08:52.473 Ze noemen het hun 'geheime recept' -- 00:08:52.497 --> 00:08:54.625 daarom willen ze er niets over zeggen. 00:08:54.649 --> 00:08:57.269 Het gaat ook om private macht. 00:08:57.924 --> 00:09:02.779 Ze maken handig gebruik van hun gezag over dingen die onbegrijpelijk zijn. 00:09:05.114 --> 00:09:07.798 Omdat alles in particuliere handen is 00:09:07.798 --> 00:09:08.844 en er concurrentie is, 00:09:08.844 --> 00:09:11.725 denk je wellicht dat de vrije markt dit probleem wel oplost. 00:09:11.725 --> 00:09:12.607 Onjuist. 00:09:12.607 --> 00:09:16.640 Er wordt grof geld verdiend met oneerlijke praktijken. NOTE Paragraph 00:09:17.127 --> 00:09:20.586 Ook zijn wij geen economisch rationele wezens. 00:09:21.031 --> 00:09:22.323 We zijn bevooroordeeld. 00:09:22.960 --> 00:09:26.337 We zijn racistisch en onverdraagzaam, erger dan we willen toegeven 00:09:26.337 --> 00:09:28.770 en vaak zonder dat we het doorhebben. 00:09:29.352 --> 00:09:31.348 Dit weten we 00:09:32.354 --> 00:09:36.839 doordat sociologen keer op keer met hun onderzoeken hebben bewezen 00:09:37.177 --> 00:09:40.918 dat als je sollicitaties verstuurt met dezelfde opleiding, 00:09:40.918 --> 00:09:43.353 maar met deels 'witte' namen deels 'zwarte' namen, 00:09:43.353 --> 00:09:47.120 dat de resultaten altijd zullen tegenvallen. NOTE Paragraph 00:09:47.504 --> 00:09:49.175 Wij zijn degenen met vooroordelen 00:09:49.175 --> 00:09:52.504 en daar injecteren we de algoritmes mee 00:09:52.504 --> 00:09:54.570 door te kiezen welke data worden verzameld, 00:09:54.570 --> 00:09:57.337 zoals ik besloot ramen noedels uit te sluiten -- 00:09:57.337 --> 00:09:58.986 omdat ik het niet relevant vond. 00:09:58.986 --> 00:10:04.694 Maar als we vertrouwen op data die uitgaan van eerder gedrag 00:10:04.718 --> 00:10:06.732 en een definitie voor succes hanteren, 00:10:06.756 --> 00:10:10.739 waarom denken we dan dat de algoritmes daar ongeschonden uitkomen? 00:10:10.763 --> 00:10:11.809 Onmogelijk. 00:10:11.809 --> 00:10:15.632 We moeten controleren of ze redelijk zijn. NOTE Paragraph 00:10:15.818 --> 00:10:18.609 Gelukkig is het mogelijk ze op redelijkheid te testen. 00:10:18.633 --> 00:10:22.009 Algoritmes kan je ondervragen 00:10:22.009 --> 00:10:24.065 en ze zullen steeds eerlijk antwoord geven. 00:10:24.065 --> 00:10:26.584 We kunnen ze herstellen. We kunnen ze verbeteren. 00:10:26.584 --> 00:10:28.959 Dit noem ik een algoritme-inspectie 00:10:28.983 --> 00:10:30.582 en ik leg even uit hoe dat werkt. NOTE Paragraph 00:10:30.686 --> 00:10:33.200 Allereerst, een data-integriteitscontrole. 00:10:34.132 --> 00:10:36.949 Voor het 'recidive risico'-algoritme dat ik eerder noemde, 00:10:37.582 --> 00:10:40.639 betekent een data-integriteitscontrole dat we moeten accepteren 00:10:40.639 --> 00:10:41.785 dat in de VS 00:10:41.785 --> 00:10:44.635 de witte en de zwarte bevolking net zoveel marihuana roken 00:10:44.635 --> 00:10:47.258 maar de zwarte bevolking vaker wordt gearresteerd -- 00:10:47.258 --> 00:10:50.482 vier tot vijf keer vaker zelfs, afhankelijk van de buurt. 00:10:51.247 --> 00:10:54.297 Hoe ziet die vertekening eruit in andere misdrijfcategorieën 00:10:54.297 --> 00:10:55.988 en hoe verantwoorden we dat? NOTE Paragraph 00:10:56.162 --> 00:10:59.201 Ten tweede, we moeten kijken naar onze definitie voor succes 00:10:59.225 --> 00:11:00.606 en dat checken. 00:11:00.630 --> 00:11:03.386 Weet je nog het wervingsalgoritme waar we het over hadden? 00:11:03.386 --> 00:11:06.300 Iemand die vier jaar in dienst is en één keer promotie maakt? 00:11:06.300 --> 00:11:07.907 Dat is een succesvolle werknemer, 00:11:07.907 --> 00:11:09.330 maar het is ook een werknemer 00:11:09.330 --> 00:11:11.797 die de goedkeuring krijgt van de bedrijfscultuur. 00:11:12.029 --> 00:11:13.575 Kortom, vooroordelen. 00:11:13.575 --> 00:11:16.128 We moeten die twee dingen uit elkaar houden. 00:11:16.128 --> 00:11:19.554 Laten we het voorbeeld nemen van de blinde orkestauditie. 00:11:19.554 --> 00:11:22.714 De mensen die auditie doen, zitten daarbij achter een laken. 00:11:22.946 --> 00:11:24.877 Wat volgens mij relevant is, 00:11:24.877 --> 00:11:28.318 is dat de toehoorders hebben besloten wat belangrijk is 00:11:28.495 --> 00:11:32.304 en daar zullen ze niet vanaf wijken. 00:11:32.961 --> 00:11:35.710 Toen de blinde orkestaudities begonnen, 00:11:35.734 --> 00:11:39.338 schoot het aantal vrouwen in orkesten met factor vijf omhoog. NOTE Paragraph 00:11:40.253 --> 00:11:42.578 Ook moeten we kijken naar nauwkeurigheid. 00:11:43.233 --> 00:11:46.967 Hier zou het meerwaardemodel voor docenten direct falen. 00:11:47.578 --> 00:11:49.740 Geen enkel algoritme is perfect, 00:11:50.620 --> 00:11:54.385 dus we moeten rekening houden met de fouten van ieder algoritme. 00:11:54.836 --> 00:11:59.215 Hoe vaak worden fouten gemaakt en wie is daar het slachtoffer van? 00:11:59.850 --> 00:12:01.718 Wat zijn de gevolgen? NOTE Paragraph 00:12:02.434 --> 00:12:04.641 En tot slot moeten we stilstaan 00:12:05.973 --> 00:12:08.469 bij de gevolgen van algoritmes op de lange termijn, 00:12:08.866 --> 00:12:11.586 de terugkoppeling die het met zich meebrengt. 00:12:11.586 --> 00:12:12.662 Dat klinkt vaag, 00:12:12.662 --> 00:12:15.740 maar stel dat de Facebookontwerpers daar aan hadden gedacht 00:12:16.270 --> 00:12:21.125 voordat ze besloten ons alleen te laten zien wat onze vrienden hadden gepost. NOTE Paragraph 00:12:21.761 --> 00:12:24.995 Ik wil nog twee dingen kwijt. Allereerst aan de datawetenschappers: 00:12:25.450 --> 00:12:29.520 wij zijn niet de scheidsrechters die bepalen wat waar is. 00:12:29.520 --> 00:12:32.490 Wij moeten de ethische discussies die zich voordoen, 00:12:32.490 --> 00:12:34.811 begrijpelijk maken voor de hele samenleving. NOTE Paragraph 00:12:35.579 --> 00:12:37.712 (Applaus) NOTE Paragraph 00:12:37.736 --> 00:12:41.121 En tegen alle niet-datawetenschappers zeg ik: 00:12:41.121 --> 00:12:43.142 dit is geen wiskundetest. 00:12:43.461 --> 00:12:45.321 Dit is een politiek gevecht. 00:12:46.587 --> 00:12:50.494 We moeten onze algoritmebazen ter verantwoording roepen. NOTE Paragraph 00:12:51.378 --> 00:12:53.537 (Applaus) NOTE Paragraph 00:12:53.537 --> 00:12:57.866 Het wordt tijd dat er een eind komt aan het blinde vertrouwen in Big Data. NOTE Paragraph 00:12:57.890 --> 00:12:59.057 Dank jullie wel. NOTE Paragraph 00:12:59.057 --> 00:13:04.384 (Applaus)