WEBVTT

00:00:00.975 --> 00:00:02.571
Algoritmer finns överallt.

00:00:03.901 --> 00:00:07.236
De sorterar ut vinnarna från förlorarna.

00:00:08.019 --> 00:00:10.283
Vinnarna får jobbet

00:00:10.307 --> 00:00:12.050
eller ett bra kreditkortserbjudande.

00:00:12.074 --> 00:00:14.725
Förlorarna får inte ens en intervju

00:00:15.590 --> 00:00:17.367
eller så får de en dyrare försäkring.

00:00:18.197 --> 00:00:21.746
Vi poängsätts av hemliga formler
som vi inte förstår

00:00:22.675 --> 00:00:25.892
och som oftast inte går att överklaga.

00:00:27.240 --> 00:00:28.536
Det väcker frågan:

00:00:28.560 --> 00:00:31.473
Tänk om algoritmerna har fel?

NOTE Paragraph

00:00:32.520 --> 00:00:34.670
För att bygga en algoritm krävs två saker:

00:00:34.694 --> 00:00:36.905
man behöver data, vad har hänt tidigare,

00:00:36.915 --> 00:00:38.440
och en definition av framgång,

00:00:38.450 --> 00:00:40.787
det man letar efter och ofta hoppas på.

00:00:41.235 --> 00:00:46.272
Man lär en algoritm
genom att titta och fundera.

00:00:46.296 --> 00:00:49.715
Algoritmen räknar ut
vad som associeras med framgång.

00:00:49.739 --> 00:00:52.202
Vilken situation leder till framgång?

00:00:52.531 --> 00:00:54.763
Faktum är att alla använder algoritmer.

00:00:54.767 --> 00:00:57.385
De formulerar dem bara inte
i skriftlig kod.

00:00:57.409 --> 00:00:58.757
Låt mig ge ett exempel.

00:00:58.781 --> 00:01:01.533
Jag använder en algoritm varje
dag för att laga mat.

00:01:02.121 --> 00:01:03.597
Datan jag använder

00:01:04.144 --> 00:01:06.053
är ingredienserna jag har hemma,

00:01:06.077 --> 00:01:07.604
den tid jag har på mig,

00:01:07.628 --> 00:01:08.861
min ambitionsnivå,

00:01:08.885 --> 00:01:10.594
och jag granskar den datan.

00:01:10.618 --> 00:01:14.869
Jag räknar inte småpåsarna
med nudlar som mat.

NOTE Paragraph

00:01:14.893 --> 00:01:16.762
(Skratt)

NOTE Paragraph

00:01:16.786 --> 00:01:18.631
Min definition av framgång är:

00:01:18.655 --> 00:01:21.314
En måltid är lyckad
om barnen äter grönsakerna.

00:01:22.181 --> 00:01:25.035
Den skiljer sig ifrån min
yngste sons definition.

00:01:25.059 --> 00:01:28.189
Han skulle säga att framgång är
om han får äta mycket Nutella.

00:01:29.179 --> 00:01:31.405
Men jag definierar vad framgången är.

00:01:31.429 --> 00:01:34.136
Jag bestämmer. Mina åsikter har betydelse.

00:01:34.160 --> 00:01:36.835
Det här är den första regeln
för en algoritm.

NOTE Paragraph

00:01:36.859 --> 00:01:40.039
Algoritmer är åsikter inbäddade i kod.

00:01:41.562 --> 00:01:45.225
Det är stor skillnad mot vad man tror
att folk tror om algoritmer.

00:01:45.249 --> 00:01:49.753
Folk tror att algoritmer är objektiva,
sanna och vetenskapligt underbyggda.

00:01:50.387 --> 00:01:52.256
Det är ett marknadsföringstrick.

00:01:53.269 --> 00:01:55.198
Det är också ett marknadsföringstrick

00:01:55.208 --> 00:01:58.572
för att skrämma dig med algoritmer,

00:01:58.596 --> 00:02:02.257
få dig att lita på och frukta algoritmerna

00:02:02.281 --> 00:02:04.719
eftersom du litar på
och fruktar matematik.

00:02:05.567 --> 00:02:10.397
Mycket kan gå fel
när vi tror blint på big data.

NOTE Paragraph

00:02:11.494 --> 00:02:15.057
Det här är Kiri Soares.
Hon är gymnasierektor i Brooklyn.

00:02:15.081 --> 00:02:17.667
2011 berättade hon att
hennes lärare poängsattes

00:02:17.691 --> 00:02:20.418
med en komplicerad, hemlig algoritm

00:02:20.442 --> 00:02:22.121
som kallades "mervärdesmodellen."

00:02:22.175 --> 00:02:25.147
Jag sade, "Fundera ut
vilken formeln är, och visa mig den.

00:02:25.161 --> 00:02:26.862
Jag ska förklara den för dig."

00:02:26.892 --> 00:02:28.937
Hon svarade,"Jag försökte få fram formeln,

00:02:28.961 --> 00:02:32.023
men min kontakt på skolmyndigheten
sade att det var matte

00:02:32.043 --> 00:02:34.043
och att jag inte skulle förstå."

NOTE Paragraph

00:02:35.226 --> 00:02:36.558
Det blir värre.

00:02:36.578 --> 00:02:40.368
New York Post krävde ut resultatet
med stöd av lagen om informationsfrihet,

00:02:40.402 --> 00:02:43.141
fick alla lärares namn och poäng

00:02:43.165 --> 00:02:45.947
och publicerade det
för att skämma ut lärarna.

00:02:47.084 --> 00:02:50.944
När jag försökte få tag i formlerna, 
källkoden, på samma vis,

00:02:50.968 --> 00:02:53.117
fick jag höra att det inte gick.

00:02:53.141 --> 00:02:54.377
Jag nekades.

00:02:54.401 --> 00:02:55.575
Senare upptäckte jag

00:02:55.599 --> 00:02:58.465
att ingen i New York
hade tillgång till formeln.

00:02:58.489 --> 00:02:59.794
Ingen förstod den.

00:03:01.929 --> 00:03:05.153
Sedan blev någon som var riktigt smart
inblandad, Gary Rubenstein.

00:03:05.177 --> 00:03:08.718
Han upptäckte att 665 lärare
i New York Posts reportage

00:03:08.742 --> 00:03:10.688
egentligen hade två resultat.

00:03:10.712 --> 00:03:13.833
Det kunde hända om de undervisade
både sjunde- och åttondeklassare

00:03:13.837 --> 00:03:15.056
i matematik.

00:03:15.080 --> 00:03:16.618
Han gjorde ett diagram.

00:03:16.642 --> 00:03:18.745
Varje prick representerar en lärare.

NOTE Paragraph

00:03:19.104 --> 00:03:21.483
(Skratt)

NOTE Paragraph

00:03:21.507 --> 00:03:23.028
Vad är det här?

NOTE Paragraph

00:03:23.052 --> 00:03:24.329
(Skratt)

00:03:24.353 --> 00:03:27.799
Det här skulle aldrig ha använts
för individuella bedömningar.

00:03:27.823 --> 00:03:29.749
Det är nästan som en slumpgenerator.

NOTE Paragraph

00:03:29.773 --> 00:03:32.719
(Applåder)

NOTE Paragraph

00:03:32.743 --> 00:03:33.905
Men det gjordes.

00:03:33.929 --> 00:03:35.145
Detta är Sarah Wysocki.

00:03:35.169 --> 00:03:37.304
Hon och 205 andra lärare fick sparken,

00:03:37.328 --> 00:03:39.990
från Washington DCs skoldistrikt,

00:03:40.014 --> 00:03:44.633
trots att hon hade strålande omdömen
från sin rektor och elevernas föräldrar.

NOTE Paragraph

00:03:45.170 --> 00:03:46.796
Jag vet vad många av er tänker nu,

00:03:46.806 --> 00:03:49.363
särskilt dataanalytikerna,
AI-experterna här inne.

00:03:49.363 --> 00:03:54.048
Ni tänker, "Jag skulle aldrig skriva
en sådan inkonsekvent algoritm."

00:03:54.693 --> 00:03:56.536
Men algoritmer kan bli fel,

00:03:56.560 --> 00:04:01.158
till och med ha djupt destruktiva effekter
även om intentionerna är goda.

00:04:02.531 --> 00:04:04.910
Medan ett illa konstruerat flygplan

00:04:04.934 --> 00:04:06.935
kraschar och alla kan se det,

00:04:06.959 --> 00:04:08.809
kan en illa skriven algoritm

00:04:10.245 --> 00:04:14.110
användas under lång tid,
och i tysthet skapa kaos.

NOTE Paragraph

00:04:15.748 --> 00:04:17.318
Det här är Roger Ailes.

NOTE Paragraph

00:04:17.342 --> 00:04:19.342
(Skratt)

NOTE Paragraph

00:04:20.524 --> 00:04:22.912
Han grundade Fox News 1996.

00:04:23.366 --> 00:04:26.017
Fler än tjugo kvinnor
anmälde sexuella trakasserier.

00:04:26.041 --> 00:04:29.276
De menade att de inte tilläts
att lyckas på Fox News.

00:04:29.300 --> 00:04:31.820
Han fick sparken förra året,
men nyligen såg vi

00:04:31.844 --> 00:04:34.514
att problemen har fortsatt.

00:04:35.654 --> 00:04:37.054
Det leder oss in på frågan:

00:04:37.078 --> 00:04:39.962
Vad ska Fox News göra för att vända blad?

NOTE Paragraph

00:04:41.245 --> 00:04:44.286
Tänk om de bytte ut
sin anställningsprocess

00:04:44.310 --> 00:04:45.964
med en maskininlärningsalgoritm?

00:04:45.988 --> 00:04:47.583
Det låter väl bra?

00:04:47.607 --> 00:04:48.907
Fundera på det.

00:04:48.931 --> 00:04:51.036
Data, vilken data skulle användas?

00:04:51.060 --> 00:04:54.611
Ett rimligt val skulle vara
de senaste 21 årens ansökningar

00:04:54.641 --> 00:04:56.031
till Fox News.

00:04:56.031 --> 00:04:57.533
Det låter rimligt.

00:04:57.557 --> 00:04:59.495
Hur skulle framgång definieras?

00:04:59.921 --> 00:05:01.245
Ett rimligt val vore,

00:05:01.269 --> 00:05:03.047
ja, vem är framgångsrik på Fox News?

00:05:03.071 --> 00:05:06.651
Jag gissar på någon som,
låt säga, stannat där i fyra år

00:05:06.675 --> 00:05:08.329
och befordrats minst en gång.

00:05:08.816 --> 00:05:10.377
Det låter rimligt.

00:05:10.401 --> 00:05:12.755
Därefter skulle algoritmen tränas.

00:05:12.779 --> 00:05:16.976
Den skulle tränas i att hitta personer för
att lära sig vad som lett till framgång,

00:05:17.219 --> 00:05:21.537
vilken typ av ansökningar
som historiskt lett till framgång

00:05:21.561 --> 00:05:23.115
utifrån den definitionen.

00:05:24.200 --> 00:05:25.975
Fundera nu på vad som skulle hända

00:05:25.999 --> 00:05:28.554
om vi applicerade det här
på jobbsökare idag.

00:05:29.119 --> 00:05:31.118
Den skulle välja bort kvinnor

00:05:31.663 --> 00:05:35.863
för de liknar inte personer
som varit framgångsrika historiskt.

NOTE Paragraph

00:05:39.752 --> 00:05:42.289
Algoritmer gör inte saker rättvisa

00:05:42.313 --> 00:05:45.007
om man tillämpar dem tanklöst och blint.

00:05:45.031 --> 00:05:46.513
De skapar inte rättvisa.

00:05:46.537 --> 00:05:48.665
De repeterar det vi gjort tidigare,

00:05:48.689 --> 00:05:49.872
våra mönster.

00:05:49.896 --> 00:05:51.835
De automatiserar rådande läge.

00:05:52.718 --> 00:05:55.107
Det skulle vara toppen
om världen vore perfekt,

00:05:55.905 --> 00:05:57.217
men det är den inte.

00:05:57.241 --> 00:06:01.343
Och jag kan tillägga att
de flesta företag inte har blivit stämda,

00:06:02.446 --> 00:06:05.034
men dataanalytikerna i de här företagen

00:06:05.058 --> 00:06:07.247
är ålagda att använda datan,

00:06:07.271 --> 00:06:09.414
för att få tillförlitliga resultat.

00:06:10.273 --> 00:06:11.654
Fundera på vad det betyder.

00:06:11.678 --> 00:06:15.705
Eftersom vi alla har fördomar, betyder det
att de skulle kunna koda in sexism

00:06:15.729 --> 00:06:17.565
eller något annat trångsynt.

NOTE Paragraph

00:06:19.488 --> 00:06:20.909
Ett tankeexperiment,

00:06:20.933 --> 00:06:22.442
eftersom jag gillar såna:

00:06:23.574 --> 00:06:26.809
Tänk er ett helt segregerat samhälle -

00:06:28.247 --> 00:06:31.575
rassegregerat, i alla städer,
i alla områden

00:06:31.599 --> 00:06:34.636
och där vi bara skickar polisen
till minoritetsområdena

00:06:34.660 --> 00:06:35.853
för brottsbekämpning.

00:06:36.451 --> 00:06:39.090
Arresteringarna skulle vara
väldigt fördomsfulla.

00:06:39.851 --> 00:06:42.426
Tänk om, till råga på allt,
vi fann dataanalytikerna

00:06:42.450 --> 00:06:46.611
och betalade dem för att tala om
var nästa brott skulle ske?

00:06:47.275 --> 00:06:48.762
I minoritetsområdena.

00:06:49.285 --> 00:06:52.410
Eller förutspå vem nästa brottsling är?

00:06:52.888 --> 00:06:54.573
Någon från en minoritet.

00:06:55.949 --> 00:06:59.490
Dataanalytikerna skulle skryta om
hur bra och tillförlitlig

00:06:59.514 --> 00:07:00.841
deras modell skulle vara,

00:07:00.865 --> 00:07:02.404
och de skulle ha rätt.

NOTE Paragraph

00:07:03.951 --> 00:07:08.566
Nu är verkligheten inte så drastisk,
men vi har allvarlig segregation

00:07:08.590 --> 00:07:09.877
i många städer och områden,

00:07:09.901 --> 00:07:11.794
och vi har gott om bevis

00:07:11.818 --> 00:07:14.506
om fördomsfullt polisarbete
och skev straffrättslig data.

00:07:15.632 --> 00:07:18.447
Vi förutspår faktiskt hotspots,

00:07:18.471 --> 00:07:20.001
platser där brott kan ske.

00:07:20.401 --> 00:07:24.267
Faktum är, att vi förutspår
individers kriminalitet,

00:07:24.291 --> 00:07:26.061
individers brottsbenägenhet.

00:07:26.972 --> 00:07:30.935
Nyhetsorganisationen ProPublica
undersökte för en tid sedan

00:07:30.959 --> 00:07:32.983
en av algoritmerna för "återfallsrisk",

00:07:33.007 --> 00:07:34.170
som de kallas,

00:07:34.194 --> 00:07:37.388
och som används i Florida
när domar ska avkunnas.

00:07:38.411 --> 00:07:42.176
Bernard, mannen till vänster,
fick 10 poäng av 10 möjliga.

00:07:43.179 --> 00:07:45.186
Dylan, till höger, 3 poäng av 10 möjliga.

00:07:45.210 --> 00:07:47.711
10 av 10, hög risk.
3 av 10, låg risk.

00:07:48.598 --> 00:07:50.983
Båda anhölls för droginnehav.

00:07:51.007 --> 00:07:52.161
Båda var dömda tidigare,

00:07:52.185 --> 00:07:54.961
men Dylan hade begått ett grovt brott

00:07:54.975 --> 00:07:56.431
vilket Bernard inte hade.

00:07:57.818 --> 00:08:00.884
Det här har betydelse,
för ju högre poäng man har,

00:08:00.908 --> 00:08:04.381
desto troligare är det
att man får ett längre straff.

NOTE Paragraph

00:08:06.294 --> 00:08:07.588
Vad är det som händer?

00:08:08.526 --> 00:08:09.858
Datatvätt.

00:08:10.930 --> 00:08:15.357
Det är en process där tekniker
gömmer fula sanningar

00:08:15.381 --> 00:08:17.202
inuti automatiska algoritmer

00:08:17.226 --> 00:08:18.516
som de kallar objektiva;

00:08:19.320 --> 00:08:20.888
kallar meritokratiska.

00:08:23.118 --> 00:08:25.503
När de är hemliga, viktiga
och destruktiva,

00:08:25.527 --> 00:08:28.014
myntade jag ett begrepp för dem:

00:08:28.038 --> 00:08:30.037
"matte-förstörelsevapen."

NOTE Paragraph

00:08:30.061 --> 00:08:31.625
(Skratt)

NOTE Paragraph

00:08:31.649 --> 00:08:34.703
(Applåder)

NOTE Paragraph

00:08:34.727 --> 00:08:37.081
De finns överallt,
och det är inte ett misstag.

00:08:37.695 --> 00:08:41.418
Det här är privata företag
som skapar privata algoritmer

00:08:41.442 --> 00:08:42.834
för privata syften.

00:08:43.214 --> 00:08:46.428
Även de för lärare och poliser
som jag pratat om,

00:08:46.452 --> 00:08:48.321
byggdes av privata företag

00:08:48.345 --> 00:08:50.576
och såldes till statliga myndigheter.

00:08:50.600 --> 00:08:52.473
De kallar dem "hemliga recept" -

00:08:52.497 --> 00:08:54.625
det är därför de inte kan berätta om dem.

00:08:54.649 --> 00:08:57.129
Det är också privat makt.

00:08:57.924 --> 00:09:02.619
De skor sig genom att utöva
sin ogenomträngliga makt.

00:09:05.114 --> 00:09:08.048
Nu kanske du tänker
att eftersom allt det här är privat

00:09:08.072 --> 00:09:09.390
och fri konkurrens råder,

00:09:09.404 --> 00:09:11.560
kommer marknaden kanske lösa problemen.

00:09:11.584 --> 00:09:12.833
Det gör den inte.

00:09:12.857 --> 00:09:16.207
Det finns mycket pengar
att tjäna på orättvisa.

NOTE Paragraph

00:09:17.127 --> 00:09:20.496
Dessutom, är vi inte
ekonomiskt rationella varelser.

00:09:21.031 --> 00:09:22.323
Alla har vi fördomar.

00:09:22.960 --> 00:09:26.337
Alla är vi rasister och bigotta på sätt
som vi önskar att vi inte var,

00:09:26.361 --> 00:09:28.380
på sätt vi inte ens vet att vi är.

00:09:29.352 --> 00:09:32.433
Det här vet vi dock,

00:09:32.457 --> 00:09:35.677
eftersom sociologer konsekvent visat det

00:09:35.701 --> 00:09:37.366
genom olika expriment,

00:09:37.390 --> 00:09:39.958
där de skickar jobbansökningar,

00:09:39.982 --> 00:09:42.483
alla lika kvalificerade
men några har "vita" namn

00:09:42.507 --> 00:09:44.213
och några har "svarta" namn,

00:09:44.237 --> 00:09:46.931
och resultaten är alltid
en besvikelse - alltid.

NOTE Paragraph

00:09:47.510 --> 00:09:49.411
Vi är alltså de som är fördomsfulla,

00:09:49.455 --> 00:09:52.734
och vi lägger in fördomarna i algoritmerna

00:09:52.758 --> 00:09:54.570
genom att välja datan vi samlar in,

00:09:54.594 --> 00:09:57.337
så som jag valde
att inte ta med japanska nudlar.

00:09:57.361 --> 00:09:58.986
Jag bestämde att de var oviktiga.

00:09:59.010 --> 00:10:04.694
Men genom att lita på data
som bygger på tidigare erfarenheter

00:10:04.718 --> 00:10:06.732
och välja definitionen av framgång,

00:10:06.756 --> 00:10:10.739
hur kan vi då förvänta oss
att algoritmerna är harmlösa?

00:10:10.763 --> 00:10:13.479
Det kan vi inte. Vi måste kontrollera dem.

00:10:14.165 --> 00:10:15.874
Vi måste kolla att de är rättvisa.

NOTE Paragraph

00:10:15.898 --> 00:10:18.609
Den goda nyheten är
att vi kan kolla rättvisan i dem.

00:10:18.633 --> 00:10:21.985
Algoritmer kan ifrågasättas,

00:10:22.009 --> 00:10:24.043
och de talar om sanningen varenda gång.

00:10:24.067 --> 00:10:26.560
Vi kan rätta till dem.
Vi kan förbättra dem.

00:10:26.584 --> 00:10:28.959
Jag kallar det för
revision av algoritmer,

00:10:28.983 --> 00:10:30.662
och jag ska förklara.

NOTE Paragraph

00:10:30.686 --> 00:10:32.882
Först, integritetskontroll av datat.

00:10:34.132 --> 00:10:36.789
För algoritmen för återfallsrisk
som jag pratade om,

00:10:37.582 --> 00:10:41.155
skulle en integritetstest betyda
att vi behöver ta tag i det faktum

00:10:41.179 --> 00:10:44.705
att i USA, röker vita och svarta
maruijana i samma utsträckning

00:10:44.729 --> 00:10:47.214
men svarta löper större risk
att arresteras -

00:10:47.238 --> 00:10:50.422
fyra till fem gånger högre risk
beroende på område.

00:10:51.317 --> 00:10:54.143
Hur ser den fördomen ut
i andra brottskategorier

00:10:54.167 --> 00:10:55.618
och hur hanterar vi det?

NOTE Paragraph

00:10:56.162 --> 00:10:59.201
Två, vi borde tänka över
hur vi definierar framgång,

00:10:59.225 --> 00:11:00.606
granska det.

00:11:00.630 --> 00:11:01.500
Kommer ni ihåg -

00:11:01.500 --> 00:11:03.406
anställningsalgoritmen vi pratade om?

00:11:03.406 --> 00:11:06.571
Någon som stannar fyra år
och befordras en gång?

00:11:06.595 --> 00:11:08.364
Ja, det är en framgångsrik person,

00:11:08.388 --> 00:11:11.467
men det är också någon
som stöttas av företagskulturen.

00:11:12.089 --> 00:11:14.015
Som sagt, även det kan vara partiskt.

00:11:14.039 --> 00:11:16.104
Vi måste skilja på de här två sakerna.

00:11:16.128 --> 00:11:19.544
Vi bör titta på blindrekrytering
till orkestrar som ett exempel.

00:11:19.565 --> 00:11:22.554
I en sådan är den sökande
bakom en skärm.

00:11:22.946 --> 00:11:24.877
Det jag vill framhålla är

00:11:24.901 --> 00:11:28.318
att de som lyssnar
har bestämt vad som är viktigt

00:11:28.342 --> 00:11:30.371
och vad som är oviktigt

00:11:30.395 --> 00:11:32.454
och de distraheras inte av det.

00:11:32.961 --> 00:11:35.710
När den här typen
av rekryteringar startade,

00:11:35.734 --> 00:11:39.178
steg andelen kvinnor
i orkestrarna femfalt.

NOTE Paragraph

00:11:40.253 --> 00:11:42.268
Sen måste vi överväga tillförlitligheten.

00:11:43.233 --> 00:11:46.967
Det är här mervärdesmodellen
för lärare skulle misslyckas omedelbart.

00:11:47.578 --> 00:11:49.740
Självklart är ingen algoritm perfekt,

00:11:50.620 --> 00:11:54.225
så vi måste överväga felen
i varje algoritm.

00:11:54.836 --> 00:11:59.195
Hur ofta förekommer fel
och för vem misslyckas modellen?

00:11:59.850 --> 00:12:01.858
Vad är kostnaden för de felen?

NOTE Paragraph

00:12:02.434 --> 00:12:04.641
Slutligen, måste vi överväga

00:12:05.973 --> 00:12:08.159
de långsiktiga effekterna av algoritmerna,

00:12:08.866 --> 00:12:11.073
och feedbacken som de medför.

00:12:11.586 --> 00:12:12.822
Det låter abstrakt,

00:12:12.846 --> 00:12:15.510
men tänk om Facebooks ingenjörer
övervägt det här

00:12:16.270 --> 00:12:21.125
innan de bestämde sig för att bara
visa oss det våra vänner lagt upp.

NOTE Paragraph

00:12:21.761 --> 00:12:24.995
Jag har ytterligare två budskap,
ett för dataanalytikerna där ute.

00:12:25.450 --> 00:12:28.859
Dataanalytiker: Vi bör inte vara
sanningens skiljedomare.

00:12:29.520 --> 00:12:33.303
Vi bör vara översättare
av de etiska diskussioner som sker

00:12:33.327 --> 00:12:34.621
i samhället i stort.

NOTE Paragraph

00:12:35.579 --> 00:12:37.712
(Applåder)

NOTE Paragraph

00:12:37.736 --> 00:12:39.292
Och ni andra,

00:12:39.781 --> 00:12:41.407
som inte är dataanalytiker:

00:12:41.431 --> 00:12:42.929
Det här är inte ett matteprov.

00:12:43.632 --> 00:12:45.590
Det här är en politisk kamp.

00:12:46.587 --> 00:12:50.494
Vi måste kräva ansvarsskyldighet
från våra algoritmiska överherrar.

NOTE Paragraph

00:12:52.118 --> 00:12:53.617
(Applåder)

NOTE Paragraph

00:12:53.641 --> 00:12:57.866
Tiden när vi trodde blint
på big data måste få ett slut.

NOTE Paragraph

00:12:57.890 --> 00:12:59.057
Tack så mycket.

NOTE Paragraph

00:12:59.081 --> 00:13:02.074
(Applåder)