WEBVTT

00:00:00.739 --> 00:00:04.861
Ik begon mijn eerste baan 
als computerprogrammeur

00:00:04.885 --> 00:00:06.841
in mijn eerste jaar aan de universiteit.

00:00:06.865 --> 00:00:08.372
Ik was nog een tiener.

NOTE Paragraph

00:00:08.689 --> 00:00:10.445
Spoedig nadat ik er begon

00:00:10.445 --> 00:00:12.825
met het schrijven 
van software voor een bedrijf,

00:00:12.825 --> 00:00:17.724
kwam een manager van het bedrijf 
naar me toe en fluisterde:

00:00:18.229 --> 00:00:21.090
"Weet hij of ik lieg?"

00:00:21.806 --> 00:00:23.883
Er was niemand anders in de kamer.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
Ik: "Weet wie dat je liegt? 
En waarom fluisteren we?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
De manager wees 
naar de computer in de kamer.

00:00:33.397 --> 00:00:36.493
"Weet hij of ik lieg?"

00:00:37.613 --> 00:00:41.975
Nu had die manager 
een affaire met de receptioniste.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Gelach)

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
En ik was nog een tiener.

00:00:45.447 --> 00:00:47.466
Dus fluister-schreeuwde ik naar hem terug:

00:00:47.490 --> 00:00:51.114
"Ja, de computer weet of je liegt."

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Gelach)

NOTE Paragraph

00:00:52.968 --> 00:00:56.221
Nou, ik lachte, maar op dit moment 
zou ik moeten worden uitgelachen.

00:00:56.221 --> 00:00:59.183
Tegenwoordig zijn er computersystemen

00:00:59.207 --> 00:01:02.755
die emotionele toestanden 
en zelfs liegen herkennen

00:01:02.779 --> 00:01:05.033
door het interpreteren
van menselijke gezichten.

00:01:05.248 --> 00:01:09.401
Adverteerders en zelfs regeringen 
zijn zeer geïnteresseerd.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Ik was computerprogrammeur geworden

00:01:12.205 --> 00:01:15.828
omdat ik een van die kinderen was 
die gek zijn op wiskunde en wetenschap.

00:01:15.942 --> 00:01:19.050
Maar ik leerde wat over kernwapens

00:01:19.074 --> 00:01:22.026
en werd echt bezorgd 
over de ethiek van de wetenschap.

00:01:22.050 --> 00:01:23.254
Ik was in de war.

00:01:23.278 --> 00:01:25.919
Door familieomstandigheden

00:01:25.943 --> 00:01:29.241
moest ik zo snel mogelijk 
aan werk geraken.

00:01:29.265 --> 00:01:32.564
Ik dacht, nou, laat me 
een technisch gebied uitkiezen

00:01:32.588 --> 00:01:34.744
waarin ik gemakkelijk een baan kan vinden

00:01:34.744 --> 00:01:38.426
en waar ik niet hoef in te gaan 
op eventuele lastige vragen over ethiek.

00:01:39.022 --> 00:01:40.551
Dus koos ik voor computers.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Gelach)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Nou ja, ha, ha, ha! Lach maar.

00:01:45.137 --> 00:01:47.891
Tegenwoordig bouwen 
computerwetenschappers systemen

00:01:47.915 --> 00:01:52.124
die elke dag een miljard
mensen controleren.

00:01:53.052 --> 00:01:56.874
Ze ontwikkelen auto's die zouden 
kunnen beslissen wie ze overrijden.

00:01:57.707 --> 00:02:00.920
Ze bouwen zelfs machines, wapens,

00:02:00.944 --> 00:02:03.229
die in de oorlog mensen 
zouden kunnen doden.

00:02:03.253 --> 00:02:06.024
Het is ethiek, al wat de klok slaat.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
Machine-intelligentie is hier.

00:02:09.823 --> 00:02:13.297
We nemen allerlei beslissingen 
aan de hand van berekeningen,

00:02:13.321 --> 00:02:15.527
maar ook nieuwe typen beslissingen.

00:02:15.527 --> 00:02:20.403
We stellen vragen aan de computer
waar niet één enkel antwoord op is,

00:02:20.427 --> 00:02:21.629
die subjectief zijn

00:02:21.653 --> 00:02:23.978
met een open einde en waardegeladen.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
We stellen vragen als:

00:02:25.784 --> 00:02:27.434
"Wie moet het bedrijf inhuren?"

00:02:28.096 --> 00:02:30.855
"Welke update van welke vriend 
moet je te zien krijgen?"

00:02:30.879 --> 00:02:33.925
"Welke gevangene heeft 
meer kans om te recidiveren?"

00:02:33.925 --> 00:02:36.568
"Welke nieuwsbericht of film 
moeten we aanbevelen?"

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Ik weet dat we al een tijdje
computers gebruiken,

00:02:39.988 --> 00:02:41.505
maar dit is anders.

00:02:41.529 --> 00:02:43.596
Dit is een historisch keerpunt,

00:02:43.620 --> 00:02:46.701
omdat we voor dergelijke 
subjectieve beslissingen

00:02:46.701 --> 00:02:48.981
niet op berekeningen kunnen vertrouwen,

00:02:48.981 --> 00:02:54.401
zoals we dat doen voor het vliegen 
van vliegtuigen, het bouwen van bruggen

00:02:54.425 --> 00:02:55.684
of naar de maan gaan.

00:02:56.449 --> 00:02:59.708
Zijn vliegtuigen veiliger? 
Is de brug gaan zwaaien en ingestort?

00:02:59.732 --> 00:03:04.230
Daar hebben we vrij duidelijke
normen voor afgesproken

00:03:04.254 --> 00:03:06.493
en we hebben natuurwetten 
om ons te leiden.

00:03:06.517 --> 00:03:09.911
Dergelijke ijkpunten
en normen hebben we niet

00:03:09.935 --> 00:03:13.898
voor besluiten in rommelige 
menselijke aangelegenheden.

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
Om de zaken nog ingewikkelder te maken, 
wordt onze software steeds krachtiger,

00:03:18.183 --> 00:03:21.956
maar ook steeds 
minder transparant en complexer.

00:03:22.542 --> 00:03:24.582
Recentelijk, in het afgelopen decennium,

00:03:24.606 --> 00:03:27.335
hebben complexe algoritmen 
grote vooruitgang geboekt.

00:03:27.359 --> 00:03:29.349
Ze kunnen menselijke gezichten herkennen.

00:03:29.985 --> 00:03:32.040
Ze kunnen handschrift ontcijferen.

00:03:32.436 --> 00:03:34.502
Ze kunnen creditcardfraude detecteren,

00:03:34.526 --> 00:03:35.715
spam blokkeren

00:03:35.739 --> 00:03:37.776
en vertalingen maken.

00:03:37.800 --> 00:03:40.654
Ze kunnen tumoren detecteren 
bij medische beeldvorming.

00:03:40.654 --> 00:03:42.993
Ze kunnen mensen 
met schaken en go verslaan.

NOTE Paragraph

00:03:43.264 --> 00:03:45.175
Een groot deel van deze vooruitgang

00:03:45.175 --> 00:03:48.175
komt van een methode 
'machine learning' genaamd.

00:03:48.175 --> 00:03:51.362
Machine learning is anders 
dan het traditionele programmeren,

00:03:51.386 --> 00:03:54.971
waar je de computer gedetailleerde, 
exacte, nauwgezette instructies geeft.

00:03:55.378 --> 00:03:59.560
Het is meer alsof je 
het systeem veel data voert,

00:03:59.584 --> 00:04:01.240
ook ongestructureerde data,

00:04:01.264 --> 00:04:03.542
zoals we ze genereren 
in ons digitale leven.

00:04:03.566 --> 00:04:06.296
En het systeem leert 
door op deze gegeven te broeden.

00:04:06.669 --> 00:04:08.195
Ook van cruciaal belang is

00:04:08.219 --> 00:04:12.599
dat deze systemen niet werken 
met een één-antwoord logica.

00:04:12.623 --> 00:04:15.582
Ze geven geen simpel antwoord; 
het is meer probabilistisch:

00:04:15.606 --> 00:04:19.089
"Dit is waarschijnlijk meer wat je zoekt."

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
Het voordeel is dat deze methode
echt krachtig is.

00:04:23.117 --> 00:04:25.503
Het hoofd van Google's 
AI-systemen noemde het:

00:04:25.503 --> 00:04:27.624
"De onredelijke effectiviteit van data."

00:04:27.791 --> 00:04:29.144
Het nadeel is

00:04:29.738 --> 00:04:32.809
dat we niet echt begrijpen 
wat het systeem leerde.

00:04:32.833 --> 00:04:34.420
Dat is in feite zijn kracht.

00:04:34.946 --> 00:04:38.744
Dit lijkt minder op het geven 
van instructies aan een computer

00:04:39.200 --> 00:04:43.264
dan op het trainen 
van een puppy-machine-schepsel

00:04:43.288 --> 00:04:45.659
dat we niet echt begrijpen of controleren.

00:04:46.362 --> 00:04:47.913
Dus dit is ons probleem.

00:04:48.427 --> 00:04:52.383
Als het kunstmatige-intelligentie systeem 
in de fout gaat, hebben we een probleem.

00:04:52.713 --> 00:04:56.253
Het is ook een probleem 
wanneer het goed werkt,

00:04:56.277 --> 00:04:57.627
omdat we niet eens weten

00:04:57.627 --> 00:05:00.459
wanneer het in de fout gaat 
bij een subjectief probleem.

00:05:00.459 --> 00:05:02.608
We weten niet wat dit ding denkt.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
Denk eens aan een algoritme 
voor aanwerving --

00:05:08.123 --> 00:05:11.032
een systeem dat wordt gebruikt 
om mensen aan te nemen

00:05:11.032 --> 00:05:13.052
met behulp van machine learning-systemen.

00:05:13.052 --> 00:05:16.631
Een dergelijk systeem werd getraind 
met data van vroegere werknemers

00:05:16.655 --> 00:05:19.246
en geïnstrueerd voor het vinden en inhuren

00:05:19.270 --> 00:05:22.308
van mensen zoals de beste
presteerders in het bedrijf.

00:05:22.814 --> 00:05:23.967
Klinkt goed.

00:05:23.991 --> 00:05:25.990
Ik heb eens een conferentie bijgewoond

00:05:26.014 --> 00:05:28.983
met human-resourcesmanagers
en leidinggevenden,

00:05:28.983 --> 00:05:29.973
hoge pieten,

00:05:29.973 --> 00:05:32.402
die dergelijke systemen 
voor het inhuren gebruiken.

00:05:32.402 --> 00:05:33.642
Ze waren superenthousiast.

00:05:33.646 --> 00:05:35.323
Ze dachten dat dit het inhuren

00:05:35.323 --> 00:05:38.323
objectiever en minder
bevooroordeeld zou maken

00:05:38.323 --> 00:05:41.323
en vrouwen en minderheden 
betere kansen zouden geven

00:05:41.347 --> 00:05:43.905
ten opzichte van vooringenomen 
menselijke managers.

NOTE Paragraph

00:05:43.905 --> 00:05:46.672
En ja -- het inhuren
door mensen is bevooroordeeld.

00:05:47.099 --> 00:05:48.284
Ik weet het.

00:05:48.308 --> 00:05:51.313
In een van mijn eerste banen
als programmeur

00:05:51.337 --> 00:05:55.205
kwam mijn directe manager 
soms naar me toe,

00:05:55.229 --> 00:05:58.982
heel vroeg in de ochtend 
of erg laat in de middag,

00:05:59.006 --> 00:06:02.068
en zei: "Zeynep, laten we gaan lunchen!"

00:06:02.724 --> 00:06:04.891
Ik was verbaasd over de vreemde timing.

00:06:04.915 --> 00:06:07.044
Het is vier uur in de namiddag. Lunch?

00:06:07.068 --> 00:06:10.162
Ik was blut. Dus gratis lunch?
Ik ging altijd mee.

00:06:10.618 --> 00:06:12.685
Ik besefte pas later wat er loos was.

00:06:12.709 --> 00:06:16.989
Mijn directe managers 
hadden hun oversten niet verteld

00:06:16.989 --> 00:06:20.089
dat de programmeur die ze 
voor een serieuze baan hadden ingehuurd

00:06:20.089 --> 00:06:21.656
een tienermeisje was

00:06:21.656 --> 00:06:24.346
dat op het werk een spijkerbroek 
en sportschoenen droeg.

00:06:24.844 --> 00:06:27.376
Ik deed mijn werk goed, 
ik zag er alleen niet uit

00:06:27.400 --> 00:06:29.669
en had de verkeerde leeftijd en geslacht.

NOTE Paragraph

00:06:29.669 --> 00:06:32.469
Dus inhuren zonder oog 
voor geslacht of ras,

00:06:32.493 --> 00:06:34.358
daar kan ik alleen maar blij mee zijn.

00:06:35.031 --> 00:06:38.372
Maar met deze systemen 
ligt het ingewikkelder en wel hierom:

00:06:38.968 --> 00:06:44.759
momenteel kunnen computersystemen 
allerlei dingen over je afleiden

00:06:44.783 --> 00:06:46.655
uit je digitale kruimels,

00:06:46.679 --> 00:06:49.012
zelfs als je die dingen niet hebt verteld.

00:06:49.506 --> 00:06:52.433
Ze kunnen je seksuele geaardheid afleiden,

00:06:52.994 --> 00:06:54.710
je persoonlijkheidskenmerken,

00:06:54.859 --> 00:06:56.232
je politieke kleur.

00:06:56.830 --> 00:07:00.515
Ze kunnen met grote 
nauwkeurigheid voorspellen.

00:07:01.212 --> 00:07:04.470
Nogmaals -- ook voor dingen 
die je nog niet eens hebt bekendgemaakt.

00:07:04.470 --> 00:07:05.555
Dat is inferentie.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
Ik heb een vriend die dergelijke 
computersystemen heeft ontwikkeld

00:07:08.864 --> 00:07:12.505
om de waarschijnlijkheid van klinische 
of postpartumdepressie te voorspellen

00:07:12.529 --> 00:07:14.295
op basis van social-mediagegevens.

00:07:14.676 --> 00:07:16.543
De resultaten zijn indrukwekkend.

00:07:16.543 --> 00:07:19.849
Haar systeem kan de kans 
op depressie voorspellen

00:07:19.873 --> 00:07:23.776
maanden vóór het begin van de symptomen --

00:07:23.800 --> 00:07:25.173
maanden eerder.

00:07:25.197 --> 00:07:27.443
Geen symptomen, wel een voorspelling.

00:07:27.467 --> 00:07:32.279
Ze hoopt dat het zal worden gebruikt 
voor vroege interventie. Geweldig!

00:07:32.911 --> 00:07:35.891
Maar bekijk dat nu eens
in het kader van aanwerven.

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
Op deze conferentie 
voor human-resourcesmanagers

00:07:39.097 --> 00:07:43.806
benaderde ik een vooraanstaande manager 
van een zeer groot bedrijf

00:07:43.830 --> 00:07:48.408
en zei tegen haar: 
"Kijk, wat als zonder dat je het weet,

00:07:48.432 --> 00:07:54.981
je systeem mensen met een hoge 
toekomstige kans op depressie uitwiedt?

00:07:55.761 --> 00:07:59.137
Ze zijn nu niet depressief, 
maar in de toekomst waarschijnlijk wel.

00:07:59.923 --> 00:08:03.329
Wat als het vrouwen uitwiedt 
omdat ze kans hebben om zwanger te worden

00:08:03.353 --> 00:08:05.939
in de volgende paar jaar, 
maar nu niet zwanger zijn?

00:08:06.844 --> 00:08:12.480
Wat als het agressieve mensen inhuurt, 
omdat dat jullie werkplekcultuur is?"

00:08:12.923 --> 00:08:15.934
Je weet dit niet door te kijken 
naar analyses voor geslacht.

00:08:15.934 --> 00:08:17.390
Die kunnen in evenwicht zijn.

00:08:17.414 --> 00:08:20.971
En aangezien dit machine learning is 
en geen traditioneel programmeren,

00:08:20.995 --> 00:08:25.902
is er geen variabele 
gelabeld 'groter risico op depressie',

00:08:25.926 --> 00:08:27.759
'hoger risico op zwangerschap'

00:08:27.783 --> 00:08:29.517
of een 'agressieve-man-schaal'.

00:08:29.995 --> 00:08:33.674
Niet alleen weet je niet 
waarop jouw systeem selecteert,

00:08:33.698 --> 00:08:36.021
je weet niet eens 
waar je moet gaan zoeken.

00:08:36.045 --> 00:08:37.291
Het is een zwarte doos.

00:08:37.315 --> 00:08:40.122
Het heeft voorspellende kracht, 
maar je begrijpt het niet.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
"Welke garanties", vroeg ik, "heb je

00:08:42.879 --> 00:08:46.552
om ervoor te zorgen dat jouw zwarte doos 
geen rare dingen gaat doen?"

00:08:48.863 --> 00:08:52.741
Ze keek me aan alsof ik 
op tien puppystaarten tegelijk trapte.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Gelach)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
Ze keek me aan en zei:

00:08:56.556 --> 00:09:00.889
"Hier wil ik geen woord meer over horen."

00:09:01.458 --> 00:09:03.492
En ze draaide zich om en liep weg.

00:09:04.064 --> 00:09:05.890
Let wel -- ze was niet onbeleefd.

00:09:05.890 --> 00:09:11.882
Het was duidelijk: wat ik niet weet, 
is mijn probleem niet, ga weg, lege blik.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(Gelach)

NOTE Paragraph

00:09:13.862 --> 00:09:17.545
Kijk, een dergelijk systeem 
kan misschien minder bevooroordeeld zijn

00:09:17.545 --> 00:09:20.108
dan menselijke managers,
in sommige opzichten.

00:09:20.108 --> 00:09:21.998
Het kan misschien wel geld besparen.

00:09:22.573 --> 00:09:24.223
Maar het kan ook leiden

00:09:24.247 --> 00:09:28.995
tot een gestage, maar sluipende 
uitsluiting uit de arbeidsmarkt

00:09:29.019 --> 00:09:31.312
van mensen met een 
hoger risico op depressie.

00:09:31.753 --> 00:09:33.933
Is dit het soort
samenleving dat we willen,

00:09:33.933 --> 00:09:36.658
zonder zelfs maar te weten 
dat we dat hebben gedaan,

00:09:36.682 --> 00:09:39.605
omdat we besluitvorming 
delegeerden naar machines

00:09:39.605 --> 00:09:41.265
die we niet helemaal begrijpen?

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
Een ander probleem is dit:

00:09:43.314 --> 00:09:47.766
deze systemen worden vaak getraind 
met data gegenereerd door onze acties,

00:09:47.790 --> 00:09:49.606
menselijke indrukken.

00:09:50.188 --> 00:09:53.996
Nou, die zouden wel eens
onze vooroordelen kunnen weerspiegelen,

00:09:54.020 --> 00:09:57.613
welke die systemen vervolgens
vlekkeloos overnemen,

00:09:57.637 --> 00:09:58.950
ze versterken

00:09:58.974 --> 00:10:00.392
en weer aan ons terugkaatsen,

00:10:00.416 --> 00:10:01.878
terwijl we onszelf wijsmaken:

00:10:01.902 --> 00:10:05.019
"We maken objectieve, 
neutrale berekeningen."

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
Onderzoekers ontdekten dat op Google

00:10:10.134 --> 00:10:12.963
vrouwen minder kans hebben dan mannen

00:10:12.963 --> 00:10:16.463
om vacatures voor goedbetaalde banen 
te zien te krijgen.

00:10:16.463 --> 00:10:18.993
Het zoeken naar Afro-Amerikaanse namen

NOTE Paragraph

00:10:19.017 --> 00:10:21.297
geeft een grotere kans op advertenties

00:10:21.297 --> 00:10:23.747
die een criminele geschiedenis suggereren,

00:10:23.747 --> 00:10:25.314
zelfs wanneer er geen is.

00:10:26.693 --> 00:10:30.242
Dergelijke verborgen vooroordelen 
en zwarte-doosalgoritmen,

00:10:30.266 --> 00:10:34.239
die onderzoekers soms ontdekken
maar soms ook niet,

00:10:34.263 --> 00:10:36.924
kunnen iemands leven 
diepgaand beïnvloeden.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
In Wisconsin werd een verdachte 
veroordeeld tot zes jaar gevangenis

00:10:42.141 --> 00:10:44.256
door te gaan lopen voor de politie.

00:10:44.484 --> 00:10:46.010
Misschien weten jullie dit niet,

00:10:46.034 --> 00:10:48.102
maar algoritmen 
worden steeds meer gebruikt

00:10:48.102 --> 00:10:50.772
bij voorwaardelijke
invrijheidstelling en straftoemeting.

00:10:50.772 --> 00:10:53.626
Hij wilde weten hoe dat 
deze score berekend wordt.

00:10:53.795 --> 00:10:55.460
Het is een commerciële zwarte doos.

00:10:55.484 --> 00:10:57.016
Het bedrijf weigerde

00:10:57.016 --> 00:11:00.396
zijn algoritme in een openbare
rechtszitting te laten betwisten.

00:11:00.396 --> 00:11:05.632
Maar ProPublica, een onderzoekende 
non-profit, testte dat algoritme

00:11:05.632 --> 00:11:07.702
met openbare gegevens 
die ze konden vinden,

00:11:07.702 --> 00:11:10.308
en vond dat de resultaten ervan 
bevooroordeeld waren

00:11:10.332 --> 00:11:14.202
en dat de voorspellende kracht onduidelijk
en nauwelijks beter dan het toeval was.

00:11:14.205 --> 00:11:18.401
Ze labelde zwarte verdachten 
onterecht als toekomstige criminelen

00:11:18.425 --> 00:11:22.320
en wel twee keer zo vaak als blanken.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
Bekijk dit geval:

00:11:26.103 --> 00:11:29.955
deze vrouw was wat laat
om een meisje op te pikken

00:11:29.979 --> 00:11:32.724
op een school in Broward County, Florida.

00:11:32.757 --> 00:11:35.113
Ze liep op straat met een vriendin.

00:11:35.137 --> 00:11:39.236
Op een veranda zagen ze 
een kinderfiets en een scooter.

00:11:39.260 --> 00:11:40.892
Zonder nadenken sprongen ze erop.

00:11:40.916 --> 00:11:43.545
Terwijl ze wegreden, 
kwam een vrouw naar buiten en zei:

00:11:43.545 --> 00:11:45.744
"Hé! Dat is de fiets van mijn kind!"

00:11:45.768 --> 00:11:49.062
Ze lieten hem vallen, liepen door, 
maar werden gearresteerd.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Ze ging in de fout, ze was dom, 
maar ze was ook pas 18.

00:11:52.747 --> 00:11:55.291
Ze had een paar
jeugdmisdrijven op haar naam.

00:11:55.808 --> 00:12:00.993
Ondertussen werd deze man gearresteerd
voor winkeldiefstal in Home Depot --

00:12:01.017 --> 00:12:03.941
85 dollar aan spullen, 
soortgelijke kleine criminaliteit.

00:12:04.766 --> 00:12:09.325
Maar hij had twee eerdere veroordelingen 
voor gewapende overval.

00:12:09.955 --> 00:12:13.437
Het algoritme scoorde haar 
als hoog risico en hem niet.

00:12:14.746 --> 00:12:18.620
Twee jaar later vond ProPublica 
dat ze niet had gerecidiveerd.

00:12:18.644 --> 00:12:21.324
Maar ze vond wel moeilijk 
een baan met haar strafblad.

00:12:21.324 --> 00:12:23.294
Hij daarentegen recidiveerde

00:12:23.318 --> 00:12:27.154
en zit nu voor acht jaar in de gevangenis 
voor een latere misdaad.

00:12:28.088 --> 00:12:31.457
Het is duidelijk dat we 
onze zwarte dozen moeten controleren

00:12:31.481 --> 00:12:34.166
en ze niet dit soort ongecontroleerde
macht moeten geven.

NOTE Paragraph

00:12:34.166 --> 00:12:36.999
(Applaus)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Audits zijn geweldig en belangrijk, 
maar ze lossen niet al onze problemen op.

00:12:42.353 --> 00:12:45.101
Neem Facebook's krachtige 
nieuwsfeed-algoritme --

00:12:45.125 --> 00:12:49.968
je weet wel, hetgeen dat alles sorteert 
en beslist wat jij te zien krijgt

00:12:49.992 --> 00:12:52.276
van alle vrienden
en pagina's die je volgt.

00:12:52.628 --> 00:12:55.173
Moet je nog een babyfoto 
voorgeschoteld krijgen?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Gelach)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
Een sombere opmerking van een kennis?

00:12:59.449 --> 00:13:01.585
Een belangrijk
maar moeilijk nieuwsbericht?

00:13:01.585 --> 00:13:02.951
Er is geen juist antwoord.

00:13:02.951 --> 00:13:05.494
Facebook optimaliseert 
voor betrokkenheid op de site:

00:13:05.518 --> 00:13:07.673
wat je leuk vindt, deelt 
of becommentarieert.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
In augustus 2014

00:13:10.888 --> 00:13:13.550
braken protesten uit 
in Ferguson, Missouri,

00:13:13.574 --> 00:13:17.991
na het doden van een Afro-Amerikaanse 
tiener door een blanke politieagent

00:13:18.015 --> 00:13:19.585
onder duistere omstandigheden.

00:13:19.974 --> 00:13:22.411
Het nieuws van de protesten
was prominent aanwezig

00:13:22.411 --> 00:13:24.690
op mijn algoritmisch 
ongefilterde Twitter-feed,

00:13:24.714 --> 00:13:26.664
maar nergens op mijn Facebook.

00:13:27.182 --> 00:13:28.916
Waren het mijn Facebookvrienden?

00:13:28.940 --> 00:13:30.972
Ik schakelde het Facebookalgoritme uit,

00:13:31.472 --> 00:13:34.320
wat moeilijk is,
want Facebook houdt je liever

00:13:34.344 --> 00:13:36.620
onder de controle van het algoritme.

00:13:36.620 --> 00:13:38.642
Ik zag dat mijn vrienden erover praatten.

00:13:38.666 --> 00:13:41.175
Maar het algoritme liet het me niet zien.

00:13:41.199 --> 00:13:44.241
Ik onderzocht dit en vond dat dit 
een wijdverbreid probleem was.

NOTE Paragraph

00:13:44.265 --> 00:13:47.782
Het verhaal van Ferguson 
was niet 'algoritmevriendelijk'.

00:13:47.782 --> 00:13:49.147
Het was niet 'sympathiek'.

00:13:49.147 --> 00:13:51.320
Wie gaat er een 'vind ik leuk' aan geven?

00:13:51.320 --> 00:13:53.706
Het is zelfs niet makkelijk 
te becommentariëren.

00:13:53.730 --> 00:13:55.611
Zonder vind-ik-leuk's en commentaar

00:13:55.611 --> 00:13:58.817
toonde het algoritme het waarschijnlijk 
aan nog minder mensen,

00:13:58.817 --> 00:14:00.623
zodat we het niet te zien kregen.

00:14:00.946 --> 00:14:04.124
In plaats daarvan benadrukte 
Facebook's algoritme die week dit:

00:14:04.520 --> 00:14:06.746
de ALS Ice Bucket Challenge.

00:14:06.770 --> 00:14:10.512
Giet ijswater, doneer 
aan een goed doel, allemaal fijn.

00:14:10.536 --> 00:14:12.960
Maar het was uiterst 
algoritmevriendelijk.

00:14:13.219 --> 00:14:15.832
De machine nam die beslissing voor ons.

00:14:15.856 --> 00:14:19.353
Een zeer belangrijk maar moeilijk gesprek

00:14:19.377 --> 00:14:20.932
zou zijn gesmoord,

00:14:20.956 --> 00:14:23.652
als Facebook het enige kanaal was geweest.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
Nu kunnen deze systemen ook verkeerd zijn

00:14:27.938 --> 00:14:30.548
op een manier die niet 
op menselijke systemen lijkt.

00:14:30.548 --> 00:14:33.790
Herinneren jullie zich Watson, 
IBM's machine-intelligentie-systeem

00:14:33.790 --> 00:14:37.172
dat op Jeopardy de vloer aanveegde 
met de menselijke deelnemers?

00:14:37.172 --> 00:14:38.559
Het was een geweldige speler.

00:14:38.583 --> 00:14:42.152
Maar in de finale kreeg Watson deze vraag:

00:14:42.539 --> 00:14:45.641
"Zijn grootste luchthaven is vernoemd 
naar een held uit WO II,

00:14:45.641 --> 00:14:47.957
zijn tweede grootste 
naar een slag uit WO II."

NOTE Paragraph

00:14:47.957 --> 00:14:49.559
(Neuriet Final Jeopardy-muziek)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
Chicago.

00:14:50.788 --> 00:14:52.638
De twee mensen hadden het goed.

00:14:52.697 --> 00:14:57.045
Maar Watson antwoordde "Toronto" --

00:14:57.069 --> 00:14:58.887
voor een stad van de VS!

00:14:59.596 --> 00:15:02.497
Het indrukwekkende systeem 
maakte ook een fout

00:15:02.521 --> 00:15:06.172
die een mens nooit zou maken, 
die een zevenjarige niet zou maken.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
Onze machine-intelligentie kan mislukken

00:15:09.956 --> 00:15:13.056
op een manier die niet past 
in foutpatronen van mensen,

00:15:13.080 --> 00:15:16.030
op een onverwachte manier
waarop we niet zijn voorbereid.

00:15:16.054 --> 00:15:18.154
Het zou stom zijn 
om een baan mis te lopen

00:15:18.154 --> 00:15:19.716
waarvoor je gekwalificeerd bent,

00:15:19.716 --> 00:15:23.443
maar het zou driedubbel stom zijn 
als het was vanwege een stack overflow

00:15:23.467 --> 00:15:25.169
in de een of andere subroutine.

NOTE Paragraph

00:15:25.169 --> 00:15:26.502
(Gelach)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
In mei 2010

00:15:29.336 --> 00:15:33.380
ontstond een flash crash op Wall Street,
aangewakkerd door een terugkoppeling

00:15:33.404 --> 00:15:36.432
in Wall Streets 'verkopen'-algoritme.

00:15:36.456 --> 00:15:40.640
Het wiste een biljoen dollar weg 
in 36 minuten.

00:15:41.722 --> 00:15:44.419
Ik wil er niet eens aan denken 
wat 'fout' betekent

00:15:44.419 --> 00:15:47.522
als het over dodelijke 
autonome wapens gaat.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
Dus ja, mensen hebben altijd vooroordelen.

00:15:53.708 --> 00:15:55.884
Beslissers en bewakers,

00:15:55.908 --> 00:15:59.401
in rechtbanken, in het nieuws, 
in de oorlog...

00:15:59.425 --> 00:16:02.463
maken ze fouten;
maar dat is precies wat ik bedoel.

00:16:02.487 --> 00:16:06.008
We kunnen niet ontsnappen 
aan deze moeilijke vragen.

00:16:06.596 --> 00:16:10.112
We kunnen onze verantwoordelijkheden 
niet uitbesteden aan machines.

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
(Applaus)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
Kunstmatige intelligentie stelt ons
niet vrij van de ethische vraagstukken.

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
Datawetenschapper Fred Benenson 
noemt dit 'wiskunde-wassen'.

00:16:26.147 --> 00:16:27.926
We moeten het tegenovergestelde doen.

00:16:27.926 --> 00:16:32.948
Algoritmes verdienen een cultuur
van achterdocht, controle en onderzoek.

00:16:33.380 --> 00:16:36.578
We moeten zorgen 
voor algoritmische verantwoording,

00:16:36.602 --> 00:16:39.047
auditing en betekenisvolle transparantie.

00:16:39.380 --> 00:16:42.614
We moeten accepteren dat het toepassen
van wiskunde en berekening

00:16:42.638 --> 00:16:45.608
op rommelige, waardegeladen 
menselijke aangelegenheden

00:16:45.632 --> 00:16:48.016
geen objectiviteit met zich meebrengt,

00:16:48.040 --> 00:16:52.063
maar dat de complexiteit van menselijke 
aangelegenheden in de algoritmen sluipt.

00:16:52.148 --> 00:16:55.635
Ja, we kunnen en we moeten 
berekening gebruiken

00:16:55.659 --> 00:16:58.013
om ons te helpen 
om betere beslissingen te nemen.

00:16:58.013 --> 00:17:03.029
Maar het uiteindelijke oordeel
blijft onze morele verantwoordelijkheid,

00:17:03.053 --> 00:17:05.871
en binnen dat kader kunnen 
we algoritmen gebruiken,

00:17:05.895 --> 00:17:10.830
niet als een middel om 
onze verantwoordelijkheden

00:17:10.854 --> 00:17:13.308
van mens tot mens te ontlopen.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
Machine-intelligentie is hier.

00:17:16.440 --> 00:17:19.861
Dat betekent dat we 
steeds strakker moeten vasthouden

00:17:19.885 --> 00:17:22.032
aan menselijke waarden 
en menselijke ethiek.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Dank je.

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
(Applaus)