1 00:00:00,975 --> 00:00:02,992 Algoritmes zijn overal. 2 00:00:04,071 --> 00:00:07,436 Ze scheiden de winnaars van de verliezers. 3 00:00:08,019 --> 00:00:10,133 De winnaars krijgen de baan 4 00:00:10,133 --> 00:00:12,050 of een goede creditcard-aanbieding. 5 00:00:12,050 --> 00:00:15,015 De verliezers mogen niet eens op gesprek komen 6 00:00:15,470 --> 00:00:17,367 of betalen meer voor hun verzekering. 7 00:00:18,197 --> 00:00:22,616 Onze score wordt berekend met geheime formules die we niet begrijpen 8 00:00:22,616 --> 00:00:26,262 en waar je vaak niet tegen in beroep kan gaan. 9 00:00:27,240 --> 00:00:28,446 Hierdoor rijst de vraag: 10 00:00:28,446 --> 00:00:31,763 wat als algoritmes fouten maken? 11 00:00:32,920 --> 00:00:34,654 Een algoritme vraagt om twee dingen: 12 00:00:34,654 --> 00:00:36,889 data, wat in het verleden gebeurd is, 13 00:00:36,889 --> 00:00:38,344 en een definitie voor succes, 14 00:00:38,344 --> 00:00:41,081 dat wat je hoopt te vinden. 15 00:00:41,081 --> 00:00:45,864 Je laat een algoritme data bestuderen 16 00:00:45,864 --> 00:00:49,715 om te ontcijferen wat leidt tot succes. 17 00:00:49,739 --> 00:00:52,202 Welke factoren spelen daarin mee? 18 00:00:52,881 --> 00:00:54,433 Iedereen gebruikt algoritmes. 19 00:00:54,433 --> 00:00:57,125 Alleen zetten ze het niet om in computercode. 20 00:00:57,125 --> 00:00:58,147 Een voorbeeld. 21 00:00:58,147 --> 00:01:01,711 Ik gebruik elke dag een algoritme om een maaltijd te koken voor mijn gezin. 22 00:01:02,121 --> 00:01:03,597 De gegevens die ik gebruik 23 00:01:04,394 --> 00:01:07,628 zijn de ingrediënten in huis, de hoeveelheid tijd die ik heb, 24 00:01:07,628 --> 00:01:08,721 de gewenste inspanning, 25 00:01:08,721 --> 00:01:10,594 en daarna orden ik die data. 26 00:01:10,618 --> 00:01:14,869 Kleine pakjes ramen noedels reken ik niet mee als voedsel. 27 00:01:14,893 --> 00:01:16,762 (Gelach) 28 00:01:16,786 --> 00:01:18,561 Mijn definitie voor succes is: 29 00:01:18,561 --> 00:01:21,875 een maaltijd is succesvol als mijn kinderen groenten eten. 30 00:01:21,875 --> 00:01:24,895 Als mijn zoontje de baas was, zou hij iets heel anders zeggen. 31 00:01:24,895 --> 00:01:27,763 Voor hem is succes als hij onbeperkt Nutella mag eten. 32 00:01:27,763 --> 00:01:29,013 (Gelach) 33 00:01:29,179 --> 00:01:31,405 Maar ik bepaal wat succes is. 34 00:01:31,429 --> 00:01:34,136 Ik ben de baas. Mijn mening is belangrijk. 35 00:01:34,160 --> 00:01:36,835 Dat is de eerste regel van algoritmes. 36 00:01:36,859 --> 00:01:40,564 Algoritmes zijn meningen vastgelegd in code. 37 00:01:41,512 --> 00:01:45,225 Dat is heel iets anders dan wat de meeste mensen denken dat het zijn. 38 00:01:45,225 --> 00:01:49,893 Zij denken dat algoritmes objectief, waar en wetenschappelijk zijn. 39 00:01:50,387 --> 00:01:52,086 Dat is een marketingtruc. 40 00:01:52,177 --> 00:01:53,177 (Gelach) 41 00:01:53,269 --> 00:01:55,394 Het is ook een marketingtruc 42 00:01:55,394 --> 00:01:58,572 om je te intimideren met algoritmes, 43 00:01:58,596 --> 00:02:02,257 om te zorgen dat je algoritmes vertrouwt én er bang voor bent, 44 00:02:02,281 --> 00:02:05,379 net zoals je op wiskunde vertrouwt en er bang voor bent. 45 00:02:05,567 --> 00:02:10,567 Het kan flink misgaan als we blind vertrouwen op Big Data. 46 00:02:11,514 --> 00:02:15,131 Dit is Kiri Soares. Ze is directrice van een middelbare school in Brooklyn. 47 00:02:15,131 --> 00:02:17,527 In 2011 werden haar docenten beoordeeld 48 00:02:17,527 --> 00:02:20,392 met behulp van een complex, geheim algoritme, 49 00:02:20,392 --> 00:02:22,505 het zogeheten 'meerwaardemodel'. 50 00:02:22,505 --> 00:02:26,296 Ik zei: "Probeer achter de formule te komen, dan leg ik het je uit." 51 00:02:26,926 --> 00:02:28,523 Ze zei: "Dat heb ik geprobeerd, 52 00:02:28,523 --> 00:02:31,843 maar op het Ministerie van Onderwijs zeiden ze het wiskunde was 53 00:02:31,843 --> 00:02:33,803 en dat ik dat toch niet zou begrijpen." 54 00:02:33,803 --> 00:02:35,174 (Gelach) 55 00:02:35,266 --> 00:02:36,424 Het wordt nog erger. 56 00:02:36,558 --> 00:02:40,058 De New York Post deed een beroep op de vrijheid van informatie, 57 00:02:40,058 --> 00:02:42,991 verzamelde alle namen van docenten en hun scores 58 00:02:42,991 --> 00:02:46,070 en publiceerde die om ze publiekelijk terecht te wijzen. 59 00:02:47,084 --> 00:02:50,784 Toen ik zelf probeerde de formules, de broncode, te bemachtigen, 60 00:02:50,784 --> 00:02:52,907 werd gezegd dat dat onmogelijk was. 61 00:02:52,907 --> 00:02:53,947 Ik werd geweigerd. 62 00:02:53,947 --> 00:02:55,575 Pas later kwam ik erachter 63 00:02:55,599 --> 00:02:58,465 dat niemand in New York toegang had tot de formule. 64 00:02:58,489 --> 00:03:00,004 Niemand begreep het. 65 00:03:01,929 --> 00:03:05,153 Toen raakte de intelligente Gary Rubinstein bij de zaak betrokken. 66 00:03:05,177 --> 00:03:08,798 In de gegevens van de New York Post vond hij 665 docenten 67 00:03:08,822 --> 00:03:10,688 die twee scores bleken te hebben. 68 00:03:10,712 --> 00:03:14,709 Dat gebeurde als ze wiskunde gaven aan de brugklas en de tweede klas. 69 00:03:14,946 --> 00:03:16,722 Hij besloot ze in kaart te brengen. 70 00:03:16,722 --> 00:03:18,635 Elke stip is een docent. 71 00:03:18,635 --> 00:03:21,483 (Gelach) 72 00:03:21,507 --> 00:03:23,028 Wat is dat? 73 00:03:23,028 --> 00:03:24,329 (Gelach) 74 00:03:24,353 --> 00:03:27,519 Dat hadden ze nooit mogen gebruiken voor individuele beoordeling. 75 00:03:27,519 --> 00:03:29,419 Het lijkt meer op een toevalsgenerator. 76 00:03:29,419 --> 00:03:32,459 (Applaus) 77 00:03:32,459 --> 00:03:33,485 En dat was ook zo. 78 00:03:33,485 --> 00:03:34,515 Dit is Sarah Wysocki. 79 00:03:34,515 --> 00:03:37,024 Samen met 205 andere docenten werd ze ontslagen 80 00:03:37,024 --> 00:03:39,890 in het schooldistrict van Washington, 81 00:03:40,014 --> 00:03:42,843 ondanks de lovende aanbevelingen van de schoolleiding 82 00:03:42,843 --> 00:03:44,555 en de ouders van haar leerlingen. 83 00:03:45,230 --> 00:03:46,746 Ik hoor jullie al denken, 84 00:03:46,746 --> 00:03:49,431 vooral de datawetenschappers, de KI-experts hier: 85 00:03:49,431 --> 00:03:54,291 zo'n onbetrouwbaar algoritme zou ik nooit maken. 86 00:03:54,633 --> 00:03:56,460 Maar het kan fout gaan met algoritmes, 87 00:03:56,460 --> 00:04:01,753 soms zelfs met desastreuze gevolgen, ondanks goede bedoelingen. 88 00:04:02,531 --> 00:04:06,658 Maar als een slecht ontworpen vliegtuig neerstort, dan ziet iedereen dat, 89 00:04:06,935 --> 00:04:09,166 maar een slecht ontworpen algoritme 90 00:04:10,245 --> 00:04:14,560 kan lange tijd ongemerkt schade aanrichten. 91 00:04:15,748 --> 00:04:17,318 Dit is Roger Ailes. 92 00:04:17,342 --> 00:04:19,983 (Gelach) 93 00:04:20,524 --> 00:04:22,912 Hij richtte in 1996 Fox News op. 94 00:04:23,396 --> 00:04:26,011 Meer dan 20 vrouwen klaagden over seksuele intimidatie. 95 00:04:26,011 --> 00:04:29,276 Ze zeiden dat ze geen promotie kregen bij Fox News. 96 00:04:29,276 --> 00:04:31,820 Hij is vorig jaar afgezet, maar het blijkt nu 97 00:04:31,844 --> 00:04:34,564 dat het probleem nog steeds niet is opgelost. 98 00:04:35,614 --> 00:04:37,054 Dan rijst de vraag: 99 00:04:37,054 --> 00:04:40,102 wat moet Fox News doen om dit te veranderen? 100 00:04:41,245 --> 00:04:45,708 Wat als ze voortaan mensen zouden werven met behulp van een zelflerend algoritme? 101 00:04:45,708 --> 00:04:47,443 Klinkt goed, toch? 102 00:04:47,607 --> 00:04:48,907 Maar wat houdt dat in? 103 00:04:48,907 --> 00:04:50,876 Welke data ga je gebruiken? 104 00:04:50,876 --> 00:04:56,007 De sollicitaties van de afgelopen 21 jaar zou redelijk zijn. 105 00:04:56,031 --> 00:04:57,533 Redelijk. 106 00:04:57,557 --> 00:04:59,495 En wanneer is het een succes? 107 00:04:59,861 --> 00:05:01,299 Een redelijke keuze zou zijn: 108 00:05:01,299 --> 00:05:02,857 wie is succesvol bij Fox News? 109 00:05:02,857 --> 00:05:06,541 Iemand die er al vier jaar werkt 110 00:05:06,541 --> 00:05:08,816 en minstens een keer promotie heeft gemaakt. 111 00:05:08,816 --> 00:05:10,377 Klinkt redelijk. 112 00:05:10,401 --> 00:05:12,655 En dan wordt het algoritme getraind. 113 00:05:12,655 --> 00:05:16,656 Het leert zoeken naar mensen om te weten wat tot succes leidt, 114 00:05:17,189 --> 00:05:21,537 welke sollicitaties in het verleden succesvol waren 115 00:05:21,537 --> 00:05:23,093 volgens die definitie. 116 00:05:24,200 --> 00:05:25,765 Wat zou er gebeuren 117 00:05:25,765 --> 00:05:28,744 als we dit zouden toepassen op de huidige kandidaten? 118 00:05:29,119 --> 00:05:31,078 Het zou vrouwen eruit filteren, 119 00:05:31,663 --> 00:05:35,983 want zo te zien waren zij niet succesvol in het verleden. 120 00:05:39,752 --> 00:05:42,289 Algoritmes maken dingen niet eerlijker 121 00:05:42,289 --> 00:05:44,727 als je ze klakkeloos toepast. 122 00:05:44,727 --> 00:05:46,323 Ze maken het niet eerlijker. 123 00:05:46,323 --> 00:05:48,665 Ze herhalen onze eerdere ervaringen, 124 00:05:48,665 --> 00:05:49,672 onze patronen. 125 00:05:49,672 --> 00:05:52,275 Ze automatiseren de status quo. 126 00:05:52,718 --> 00:05:55,467 Dat werkt goed als de wereld perfect zou zijn, 127 00:05:55,905 --> 00:05:57,217 maar dat is niet zo. 128 00:05:57,241 --> 00:06:01,773 Ook hebben de meeste bedrijven geen pijnlijke rechtszaken lopen, 129 00:06:02,446 --> 00:06:04,894 maar hun datawetenschappers 130 00:06:04,894 --> 00:06:07,247 worden gedwongen de data te volgen, 131 00:06:07,247 --> 00:06:09,414 met nadruk op nauwkeurigheid. 132 00:06:10,273 --> 00:06:11,264 En wat betekent dat? 133 00:06:11,264 --> 00:06:15,705 Want onze vooroordelen zorgen ervoor dat seksisme het systeem binnendringt, 134 00:06:15,705 --> 00:06:17,985 net als andere vormen van onverdraagzaamheid. 135 00:06:19,488 --> 00:06:20,909 Even een gedachte-experiment, 136 00:06:20,909 --> 00:06:22,442 want die zijn leuk: 137 00:06:23,574 --> 00:06:26,549 een volledig gesegregeerde samenleving -- 138 00:06:28,247 --> 00:06:31,575 naar ras gescheiden, alle steden, alle wijken -- 139 00:06:31,599 --> 00:06:34,416 waar we de politie alleen op wijken met minderheden afsturen 140 00:06:34,416 --> 00:06:36,183 om criminaliteit op te sporen. 141 00:06:36,351 --> 00:06:39,043 De arrestatiedata zouden sterk bevooroordeeld zijn. 142 00:06:39,851 --> 00:06:42,460 Wat zou er gebeuren als we datawetenschappers betaalden 143 00:06:42,460 --> 00:06:46,611 om te voorspellen waar de volgende misdaad zou plaatsvinden? 144 00:06:47,275 --> 00:06:48,762 In de wijk met minderheden. 145 00:06:49,285 --> 00:06:52,410 Of wie de volgende crimineel zou zijn? 146 00:06:52,888 --> 00:06:54,472 Iemand uit een minderheidsgroep. 147 00:06:55,748 --> 00:06:57,678 De datawetenschappers zouden opscheppen 148 00:06:57,678 --> 00:07:00,811 over hoe geweldig en nauwkeurig hun model was 149 00:07:00,811 --> 00:07:02,564 en ze zouden gelijk hebben. 150 00:07:03,951 --> 00:07:05,406 Zo erg is het nog niet, 151 00:07:05,406 --> 00:07:09,877 maar ernstige segregatie vindt in de meeste steden plaats 152 00:07:09,901 --> 00:07:11,794 en we hebben genoeg bewijzen 153 00:07:11,818 --> 00:07:14,818 van bevooroordeelde politie en rechtssysteem. 154 00:07:15,632 --> 00:07:20,401 We voorspellen daadwerkelijk gebieden waar zich criminaliteit zal voordoen. 155 00:07:20,401 --> 00:07:25,958 En ook waar criminele eenmansacties zullen plaatsvinden. 156 00:07:26,972 --> 00:07:29,361 De nieuwsorganisatie ProPublica 157 00:07:29,361 --> 00:07:33,388 onderzocht onlangs zo'n zogeheten 'recidive risico'-algoritme 158 00:07:33,388 --> 00:07:37,388 dat in Florida wordt gebruikt tijdens de veroordeling door de rechter. 159 00:07:38,411 --> 00:07:42,246 Bernard, links, de zwarte man, scoorde tien uit tien. 160 00:07:43,179 --> 00:07:45,186 Dylan, rechts, drie uit tien. 161 00:07:45,210 --> 00:07:47,841 Tien uit tien, hoog risico. Drie uit tien, laag risico. 162 00:07:48,598 --> 00:07:50,823 Ze werden allebei opgepakt voor drugsbezit. 163 00:07:50,823 --> 00:07:52,365 Ze hadden allebei een strafblad, 164 00:07:52,365 --> 00:07:54,991 maar Dylan voor een misdrijf 165 00:07:54,991 --> 00:07:56,191 en Bernard niet. 166 00:07:57,818 --> 00:08:00,884 Dat maakt uit, want hoe hoger de score, 167 00:08:00,908 --> 00:08:04,381 des te zwaarder je gestraft wordt. 168 00:08:06,294 --> 00:08:07,828 Hoe kan dit? 169 00:08:08,526 --> 00:08:10,238 Door het witwassen van data. 170 00:08:10,930 --> 00:08:15,207 Dit gebeurt als technologen de lelijke waarheid 171 00:08:15,207 --> 00:08:17,276 in een zwarte doos van algoritmes verbergen 172 00:08:17,276 --> 00:08:18,836 en ze objectief noemen, 173 00:08:19,320 --> 00:08:21,038 ze meritocratisch noemen. 174 00:08:22,998 --> 00:08:25,472 Geheime, essentiële en destructieve algoritmes 175 00:08:25,472 --> 00:08:27,904 krijgen van mij de naam 176 00:08:27,904 --> 00:08:30,037 'datavernietigingswapens'. 177 00:08:30,037 --> 00:08:31,649 (Gelach) 178 00:08:31,649 --> 00:08:34,703 (Applaus) 179 00:08:34,727 --> 00:08:37,081 Ze zijn overal, echt waar. 180 00:08:37,695 --> 00:08:41,418 Dit zijn particuliere bedrijven die eigen algoritmes maken 181 00:08:41,418 --> 00:08:42,834 voor eigen gebruik. 182 00:08:43,214 --> 00:08:46,308 Zelfs die waar ik het over had voor docenten en politie, 183 00:08:46,308 --> 00:08:47,895 kwamen van particuliere bedrijven 184 00:08:47,895 --> 00:08:50,576 en werden verkocht aan overheidsinstellingen. 185 00:08:50,600 --> 00:08:52,473 Ze noemen het hun 'geheime recept' -- 186 00:08:52,497 --> 00:08:54,625 daarom willen ze er niets over zeggen. 187 00:08:54,649 --> 00:08:57,269 Het gaat ook om private macht. 188 00:08:57,924 --> 00:09:02,779 Ze maken handig gebruik van hun gezag over dingen die onbegrijpelijk zijn. 189 00:09:05,114 --> 00:09:07,798 Omdat alles in particuliere handen is 190 00:09:07,798 --> 00:09:08,844 en er concurrentie is, 191 00:09:08,844 --> 00:09:11,725 denk je wellicht dat de vrije markt dit probleem wel oplost. 192 00:09:11,725 --> 00:09:12,607 Onjuist. 193 00:09:12,607 --> 00:09:16,640 Er wordt grof geld verdiend met oneerlijke praktijken. 194 00:09:17,127 --> 00:09:20,586 Ook zijn wij geen economisch rationele wezens. 195 00:09:21,031 --> 00:09:22,323 We zijn bevooroordeeld. 196 00:09:22,960 --> 00:09:26,337 We zijn racistisch en onverdraagzaam, erger dan we willen toegeven 197 00:09:26,337 --> 00:09:28,770 en vaak zonder dat we het doorhebben. 198 00:09:29,352 --> 00:09:31,348 Dit weten we 199 00:09:32,354 --> 00:09:36,839 doordat sociologen keer op keer met hun onderzoeken hebben bewezen 200 00:09:37,177 --> 00:09:40,918 dat als je sollicitaties verstuurt met dezelfde opleiding, 201 00:09:40,918 --> 00:09:43,353 maar met deels 'witte' namen deels 'zwarte' namen, 202 00:09:43,353 --> 00:09:47,120 dat de resultaten altijd zullen tegenvallen. 203 00:09:47,504 --> 00:09:49,175 Wij zijn degenen met vooroordelen 204 00:09:49,175 --> 00:09:52,504 en daar injecteren we de algoritmes mee 205 00:09:52,504 --> 00:09:54,570 door te kiezen welke data worden verzameld, 206 00:09:54,570 --> 00:09:57,337 zoals ik besloot ramen noedels uit te sluiten -- 207 00:09:57,337 --> 00:09:58,986 omdat ik het niet relevant vond. 208 00:09:58,986 --> 00:10:04,694 Maar als we vertrouwen op data die uitgaan van eerder gedrag 209 00:10:04,718 --> 00:10:06,732 en een definitie voor succes hanteren, 210 00:10:06,756 --> 00:10:10,739 waarom denken we dan dat de algoritmes daar ongeschonden uitkomen? 211 00:10:10,763 --> 00:10:11,809 Onmogelijk. 212 00:10:11,809 --> 00:10:15,632 We moeten controleren of ze redelijk zijn. 213 00:10:15,818 --> 00:10:18,609 Gelukkig is het mogelijk ze op redelijkheid te testen. 214 00:10:18,633 --> 00:10:22,009 Algoritmes kan je ondervragen 215 00:10:22,009 --> 00:10:24,065 en ze zullen steeds eerlijk antwoord geven. 216 00:10:24,065 --> 00:10:26,584 We kunnen ze herstellen. We kunnen ze verbeteren. 217 00:10:26,584 --> 00:10:28,959 Dit noem ik een algoritme-inspectie 218 00:10:28,983 --> 00:10:30,582 en ik leg even uit hoe dat werkt. 219 00:10:30,686 --> 00:10:33,200 Allereerst, een data-integriteitscontrole. 220 00:10:34,132 --> 00:10:36,949 Voor het 'recidive risico'-algoritme dat ik eerder noemde, 221 00:10:37,582 --> 00:10:40,639 betekent een data-integriteitscontrole dat we moeten accepteren 222 00:10:40,639 --> 00:10:41,785 dat in de VS 223 00:10:41,785 --> 00:10:44,635 de witte en de zwarte bevolking net zoveel marihuana roken 224 00:10:44,635 --> 00:10:47,258 maar de zwarte bevolking vaker wordt gearresteerd -- 225 00:10:47,258 --> 00:10:50,482 vier tot vijf keer vaker zelfs, afhankelijk van de buurt. 226 00:10:51,247 --> 00:10:54,297 Hoe ziet die vertekening eruit in andere misdrijfcategorieën 227 00:10:54,297 --> 00:10:55,988 en hoe verantwoorden we dat? 228 00:10:56,162 --> 00:10:59,201 Ten tweede, we moeten kijken naar onze definitie voor succes 229 00:10:59,225 --> 00:11:00,606 en dat checken. 230 00:11:00,630 --> 00:11:03,386 Weet je nog het wervingsalgoritme waar we het over hadden? 231 00:11:03,386 --> 00:11:06,300 Iemand die vier jaar in dienst is en één keer promotie maakt? 232 00:11:06,300 --> 00:11:07,907 Dat is een succesvolle werknemer, 233 00:11:07,907 --> 00:11:09,330 maar het is ook een werknemer 234 00:11:09,330 --> 00:11:11,797 die de goedkeuring krijgt van de bedrijfscultuur. 235 00:11:12,029 --> 00:11:13,575 Kortom, vooroordelen. 236 00:11:13,575 --> 00:11:16,128 We moeten die twee dingen uit elkaar houden. 237 00:11:16,128 --> 00:11:19,554 Laten we het voorbeeld nemen van de blinde orkestauditie. 238 00:11:19,554 --> 00:11:22,714 De mensen die auditie doen, zitten daarbij achter een laken. 239 00:11:22,946 --> 00:11:24,877 Wat volgens mij relevant is, 240 00:11:24,877 --> 00:11:28,318 is dat de toehoorders hebben besloten wat belangrijk is 241 00:11:28,495 --> 00:11:32,304 en daar zullen ze niet vanaf wijken. 242 00:11:32,961 --> 00:11:35,710 Toen de blinde orkestaudities begonnen, 243 00:11:35,734 --> 00:11:39,338 schoot het aantal vrouwen in orkesten met factor vijf omhoog. 244 00:11:40,253 --> 00:11:42,578 Ook moeten we kijken naar nauwkeurigheid. 245 00:11:43,233 --> 00:11:46,967 Hier zou het meerwaardemodel voor docenten direct falen. 246 00:11:47,578 --> 00:11:49,740 Geen enkel algoritme is perfect, 247 00:11:50,620 --> 00:11:54,385 dus we moeten rekening houden met de fouten van ieder algoritme. 248 00:11:54,836 --> 00:11:59,215 Hoe vaak worden fouten gemaakt en wie is daar het slachtoffer van? 249 00:11:59,850 --> 00:12:01,718 Wat zijn de gevolgen? 250 00:12:02,434 --> 00:12:04,641 En tot slot moeten we stilstaan 251 00:12:05,973 --> 00:12:08,469 bij de gevolgen van algoritmes op de lange termijn, 252 00:12:08,866 --> 00:12:11,586 de terugkoppeling die het met zich meebrengt. 253 00:12:11,586 --> 00:12:12,662 Dat klinkt vaag, 254 00:12:12,662 --> 00:12:15,740 maar stel dat de Facebookontwerpers daar aan hadden gedacht 255 00:12:16,270 --> 00:12:21,125 voordat ze besloten ons alleen te laten zien wat onze vrienden hadden gepost. 256 00:12:21,761 --> 00:12:24,995 Ik wil nog twee dingen kwijt. Allereerst aan de datawetenschappers: 257 00:12:25,450 --> 00:12:29,520 wij zijn niet de scheidsrechters die bepalen wat waar is. 258 00:12:29,520 --> 00:12:32,490 Wij moeten de ethische discussies die zich voordoen, 259 00:12:32,490 --> 00:12:34,811 begrijpelijk maken voor de hele samenleving. 260 00:12:35,579 --> 00:12:37,712 (Applaus) 261 00:12:37,736 --> 00:12:41,121 En tegen alle niet-datawetenschappers zeg ik: 262 00:12:41,121 --> 00:12:43,142 dit is geen wiskundetest. 263 00:12:43,461 --> 00:12:45,321 Dit is een politiek gevecht. 264 00:12:46,587 --> 00:12:50,494 We moeten onze algoritmebazen ter verantwoording roepen. 265 00:12:51,378 --> 00:12:53,537 (Applaus) 266 00:12:53,537 --> 00:12:57,866 Het wordt tijd dat er een eind komt aan het blinde vertrouwen in Big Data. 267 00:12:57,890 --> 00:12:59,057 Dank jullie wel. 268 00:12:59,057 --> 00:13:04,384 (Applaus)