1
00:00:00,739 --> 00:00:04,861
Ik begon mijn eerste baan 
als computerprogrammeur

2
00:00:04,885 --> 00:00:06,841
in mijn eerste jaar aan de universiteit.

3
00:00:06,865 --> 00:00:08,372
Ik was nog een tiener.

4
00:00:08,689 --> 00:00:10,445
Spoedig nadat ik er begon

5
00:00:10,445 --> 00:00:12,825
met het schrijven 
van software voor een bedrijf,

6
00:00:12,825 --> 00:00:17,724
kwam een manager van het bedrijf 
naar me toe en fluisterde:

7
00:00:18,229 --> 00:00:21,090
"Weet hij of ik lieg?"

8
00:00:21,806 --> 00:00:23,883
Er was niemand anders in de kamer.

9
00:00:25,032 --> 00:00:29,421
Ik: "Weet wie dat je liegt? 
En waarom fluisteren we?"

10
00:00:30,266 --> 00:00:33,373
De manager wees 
naar de computer in de kamer.

11
00:00:33,397 --> 00:00:36,493
"Weet hij of ik lieg?"

12
00:00:37,613 --> 00:00:41,975
Nu had die manager 
een affaire met de receptioniste.

13
00:00:41,999 --> 00:00:43,111
(Gelach)

14
00:00:43,135 --> 00:00:44,901
En ik was nog een tiener.

15
00:00:45,447 --> 00:00:47,466
Dus fluister-schreeuwde ik naar hem terug:

16
00:00:47,490 --> 00:00:51,114
"Ja, de computer weet of je liegt."

17
00:00:51,138 --> 00:00:52,944
(Gelach)

18
00:00:52,968 --> 00:00:56,221
Nou, ik lachte, maar op dit moment 
zou ik moeten worden uitgelachen.

19
00:00:56,221 --> 00:00:59,183
Tegenwoordig zijn er computersystemen

20
00:00:59,207 --> 00:01:02,755
die emotionele toestanden 
en zelfs liegen herkennen

21
00:01:02,779 --> 00:01:05,033
door het interpreteren
van menselijke gezichten.

22
00:01:05,248 --> 00:01:09,401
Adverteerders en zelfs regeringen 
zijn zeer geïnteresseerd.

23
00:01:10,319 --> 00:01:12,181
Ik was computerprogrammeur geworden

24
00:01:12,205 --> 00:01:15,828
omdat ik een van die kinderen was 
die gek zijn op wiskunde en wetenschap.

25
00:01:15,942 --> 00:01:19,050
Maar ik leerde wat over kernwapens

26
00:01:19,074 --> 00:01:22,026
en werd echt bezorgd 
over de ethiek van de wetenschap.

27
00:01:22,050 --> 00:01:23,254
Ik was in de war.

28
00:01:23,278 --> 00:01:25,919
Door familieomstandigheden

29
00:01:25,943 --> 00:01:29,241
moest ik zo snel mogelijk 
aan werk geraken.

30
00:01:29,265 --> 00:01:32,564
Ik dacht, nou, laat me 
een technisch gebied uitkiezen

31
00:01:32,588 --> 00:01:34,744
waarin ik gemakkelijk een baan kan vinden

32
00:01:34,744 --> 00:01:38,426
en waar ik niet hoef in te gaan 
op eventuele lastige vragen over ethiek.

33
00:01:39,022 --> 00:01:40,551
Dus koos ik voor computers.

34
00:01:40,575 --> 00:01:41,679
(Gelach)

35
00:01:41,703 --> 00:01:45,113
Nou ja, ha, ha, ha! Lach maar.

36
00:01:45,137 --> 00:01:47,891
Tegenwoordig bouwen 
computerwetenschappers systemen

37
00:01:47,915 --> 00:01:52,124
die elke dag een miljard
mensen controleren.

38
00:01:53,052 --> 00:01:56,874
Ze ontwikkelen auto's die zouden 
kunnen beslissen wie ze overrijden.

39
00:01:57,707 --> 00:02:00,920
Ze bouwen zelfs machines, wapens,

40
00:02:00,944 --> 00:02:03,229
die in de oorlog mensen 
zouden kunnen doden.

41
00:02:03,253 --> 00:02:06,024
Het is ethiek, al wat de klok slaat.

42
00:02:07,183 --> 00:02:09,241
Machine-intelligentie is hier.

43
00:02:09,823 --> 00:02:13,297
We nemen allerlei beslissingen 
aan de hand van berekeningen,

44
00:02:13,321 --> 00:02:15,527
maar ook nieuwe typen beslissingen.

45
00:02:15,527 --> 00:02:20,403
We stellen vragen aan de computer
waar niet één enkel antwoord op is,

46
00:02:20,427 --> 00:02:21,629
die subjectief zijn

47
00:02:21,653 --> 00:02:23,978
met een open einde en waardegeladen.

48
00:02:24,002 --> 00:02:25,760
We stellen vragen als:

49
00:02:25,784 --> 00:02:27,434
"Wie moet het bedrijf inhuren?"

50
00:02:28,096 --> 00:02:30,855
"Welke update van welke vriend 
moet je te zien krijgen?"

51
00:02:30,879 --> 00:02:33,925
"Welke gevangene heeft 
meer kans om te recidiveren?"

52
00:02:33,925 --> 00:02:36,568
"Welke nieuwsbericht of film 
moeten we aanbevelen?"

53
00:02:36,592 --> 00:02:39,964
Ik weet dat we al een tijdje
computers gebruiken,

54
00:02:39,988 --> 00:02:41,505
maar dit is anders.

55
00:02:41,529 --> 00:02:43,596
Dit is een historisch keerpunt,

56
00:02:43,620 --> 00:02:46,701
omdat we voor dergelijke 
subjectieve beslissingen

57
00:02:46,701 --> 00:02:48,981
niet op berekeningen kunnen vertrouwen,

58
00:02:48,981 --> 00:02:54,401
zoals we dat doen voor het vliegen 
van vliegtuigen, het bouwen van bruggen

59
00:02:54,425 --> 00:02:55,684
of naar de maan gaan.

60
00:02:56,449 --> 00:02:59,708
Zijn vliegtuigen veiliger? 
Is de brug gaan zwaaien en ingestort?

61
00:02:59,732 --> 00:03:04,230
Daar hebben we vrij duidelijke
normen voor afgesproken

62
00:03:04,254 --> 00:03:06,493
en we hebben natuurwetten 
om ons te leiden.

63
00:03:06,517 --> 00:03:09,911
Dergelijke ijkpunten
en normen hebben we niet

64
00:03:09,935 --> 00:03:13,898
voor besluiten in rommelige 
menselijke aangelegenheden.

65
00:03:13,922 --> 00:03:18,159
Om de zaken nog ingewikkelder te maken, 
wordt onze software steeds krachtiger,

66
00:03:18,183 --> 00:03:21,956
maar ook steeds 
minder transparant en complexer.

67
00:03:22,542 --> 00:03:24,582
Recentelijk, in het afgelopen decennium,

68
00:03:24,606 --> 00:03:27,335
hebben complexe algoritmen 
grote vooruitgang geboekt.

69
00:03:27,359 --> 00:03:29,349
Ze kunnen menselijke gezichten herkennen.

70
00:03:29,985 --> 00:03:32,040
Ze kunnen handschrift ontcijferen.

71
00:03:32,436 --> 00:03:34,502
Ze kunnen creditcardfraude detecteren,

72
00:03:34,526 --> 00:03:35,715
spam blokkeren

73
00:03:35,739 --> 00:03:37,776
en vertalingen maken.

74
00:03:37,800 --> 00:03:40,654
Ze kunnen tumoren detecteren 
bij medische beeldvorming.

75
00:03:40,654 --> 00:03:42,993
Ze kunnen mensen 
met schaken en go verslaan.

76
00:03:43,264 --> 00:03:45,175
Een groot deel van deze vooruitgang

77
00:03:45,175 --> 00:03:48,175
komt van een methode 
'machine learning' genaamd.

78
00:03:48,175 --> 00:03:51,362
Machine learning is anders 
dan het traditionele programmeren,

79
00:03:51,386 --> 00:03:54,971
waar je de computer gedetailleerde, 
exacte, nauwgezette instructies geeft.

80
00:03:55,378 --> 00:03:59,560
Het is meer alsof je 
het systeem veel data voert,

81
00:03:59,584 --> 00:04:01,240
ook ongestructureerde data,

82
00:04:01,264 --> 00:04:03,542
zoals we ze genereren 
in ons digitale leven.

83
00:04:03,566 --> 00:04:06,296
En het systeem leert 
door op deze gegeven te broeden.

84
00:04:06,669 --> 00:04:08,195
Ook van cruciaal belang is

85
00:04:08,219 --> 00:04:12,599
dat deze systemen niet werken 
met een één-antwoord logica.

86
00:04:12,623 --> 00:04:15,582
Ze geven geen simpel antwoord; 
het is meer probabilistisch:

87
00:04:15,606 --> 00:04:19,089
"Dit is waarschijnlijk meer wat je zoekt."

88
00:04:20,023 --> 00:04:23,093
Het voordeel is dat deze methode
echt krachtig is.

89
00:04:23,117 --> 00:04:25,503
Het hoofd van Google's 
AI-systemen noemde het:

90
00:04:25,503 --> 00:04:27,624
"De onredelijke effectiviteit van data."

91
00:04:27,791 --> 00:04:29,144
Het nadeel is

92
00:04:29,738 --> 00:04:32,809
dat we niet echt begrijpen 
wat het systeem leerde.

93
00:04:32,833 --> 00:04:34,420
Dat is in feite zijn kracht.

94
00:04:34,946 --> 00:04:38,744
Dit lijkt minder op het geven 
van instructies aan een computer

95
00:04:39,200 --> 00:04:43,264
dan op het trainen 
van een puppy-machine-schepsel

96
00:04:43,288 --> 00:04:45,659
dat we niet echt begrijpen of controleren.

97
00:04:46,362 --> 00:04:47,913
Dus dit is ons probleem.

98
00:04:48,427 --> 00:04:52,383
Als het kunstmatige-intelligentie systeem 
in de fout gaat, hebben we een probleem.

99
00:04:52,713 --> 00:04:56,253
Het is ook een probleem 
wanneer het goed werkt,

100
00:04:56,277 --> 00:04:57,627
omdat we niet eens weten

101
00:04:57,627 --> 00:05:00,459
wanneer het in de fout gaat 
bij een subjectief probleem.

102
00:05:00,459 --> 00:05:02,608
We weten niet wat dit ding denkt.

103
00:05:03,493 --> 00:05:07,176
Denk eens aan een algoritme 
voor aanwerving --

104
00:05:08,123 --> 00:05:11,032
een systeem dat wordt gebruikt 
om mensen aan te nemen

105
00:05:11,032 --> 00:05:13,052
met behulp van machine learning-systemen.

106
00:05:13,052 --> 00:05:16,631
Een dergelijk systeem werd getraind 
met data van vroegere werknemers

107
00:05:16,655 --> 00:05:19,246
en geïnstrueerd voor het vinden en inhuren

108
00:05:19,270 --> 00:05:22,308
van mensen zoals de beste
presteerders in het bedrijf.

109
00:05:22,814 --> 00:05:23,967
Klinkt goed.

110
00:05:23,991 --> 00:05:25,990
Ik heb eens een conferentie bijgewoond

111
00:05:26,014 --> 00:05:28,983
met human-resourcesmanagers
en leidinggevenden,

112
00:05:28,983 --> 00:05:29,973
hoge pieten,

113
00:05:29,973 --> 00:05:32,402
die dergelijke systemen 
voor het inhuren gebruiken.

114
00:05:32,402 --> 00:05:33,642
Ze waren superenthousiast.

115
00:05:33,646 --> 00:05:35,323
Ze dachten dat dit het inhuren

116
00:05:35,323 --> 00:05:38,323
objectiever en minder
bevooroordeeld zou maken

117
00:05:38,323 --> 00:05:41,323
en vrouwen en minderheden 
betere kansen zouden geven

118
00:05:41,347 --> 00:05:43,905
ten opzichte van vooringenomen 
menselijke managers.

119
00:05:43,905 --> 00:05:46,672
En ja -- het inhuren
door mensen is bevooroordeeld.

120
00:05:47,099 --> 00:05:48,284
Ik weet het.

121
00:05:48,308 --> 00:05:51,313
In een van mijn eerste banen
als programmeur

122
00:05:51,337 --> 00:05:55,205
kwam mijn directe manager 
soms naar me toe,

123
00:05:55,229 --> 00:05:58,982
heel vroeg in de ochtend 
of erg laat in de middag,

124
00:05:59,006 --> 00:06:02,068
en zei: "Zeynep, laten we gaan lunchen!"

125
00:06:02,724 --> 00:06:04,891
Ik was verbaasd over de vreemde timing.

126
00:06:04,915 --> 00:06:07,044
Het is vier uur in de namiddag. Lunch?

127
00:06:07,068 --> 00:06:10,162
Ik was blut. Dus gratis lunch?
Ik ging altijd mee.

128
00:06:10,618 --> 00:06:12,685
Ik besefte pas later wat er loos was.

129
00:06:12,709 --> 00:06:16,989
Mijn directe managers 
hadden hun oversten niet verteld

130
00:06:16,989 --> 00:06:20,089
dat de programmeur die ze 
voor een serieuze baan hadden ingehuurd

131
00:06:20,089 --> 00:06:21,656
een tienermeisje was

132
00:06:21,656 --> 00:06:24,346
dat op het werk een spijkerbroek 
en sportschoenen droeg.

133
00:06:24,844 --> 00:06:27,376
Ik deed mijn werk goed, 
ik zag er alleen niet uit

134
00:06:27,400 --> 00:06:29,669
en had de verkeerde leeftijd en geslacht.

135
00:06:29,669 --> 00:06:32,469
Dus inhuren zonder oog 
voor geslacht of ras,

136
00:06:32,493 --> 00:06:34,358
daar kan ik alleen maar blij mee zijn.

137
00:06:35,031 --> 00:06:38,372
Maar met deze systemen 
ligt het ingewikkelder en wel hierom:

138
00:06:38,968 --> 00:06:44,759
momenteel kunnen computersystemen 
allerlei dingen over je afleiden

139
00:06:44,783 --> 00:06:46,655
uit je digitale kruimels,

140
00:06:46,679 --> 00:06:49,012
zelfs als je die dingen niet hebt verteld.

141
00:06:49,506 --> 00:06:52,433
Ze kunnen je seksuele geaardheid afleiden,

142
00:06:52,994 --> 00:06:54,710
je persoonlijkheidskenmerken,

143
00:06:54,859 --> 00:06:56,232
je politieke kleur.

144
00:06:56,830 --> 00:07:00,515
Ze kunnen met grote 
nauwkeurigheid voorspellen.

145
00:07:01,212 --> 00:07:04,470
Nogmaals -- ook voor dingen 
die je nog niet eens hebt bekendgemaakt.

146
00:07:04,470 --> 00:07:05,555
Dat is inferentie.

147
00:07:05,579 --> 00:07:08,840
Ik heb een vriend die dergelijke 
computersystemen heeft ontwikkeld

148
00:07:08,864 --> 00:07:12,505
om de waarschijnlijkheid van klinische 
of postpartumdepressie te voorspellen

149
00:07:12,529 --> 00:07:14,295
op basis van social-mediagegevens.

150
00:07:14,676 --> 00:07:16,543
De resultaten zijn indrukwekkend.

151
00:07:16,543 --> 00:07:19,849
Haar systeem kan de kans 
op depressie voorspellen

152
00:07:19,873 --> 00:07:23,776
maanden vóór het begin van de symptomen --

153
00:07:23,800 --> 00:07:25,173
maanden eerder.

154
00:07:25,197 --> 00:07:27,443
Geen symptomen, wel een voorspelling.

155
00:07:27,467 --> 00:07:32,279
Ze hoopt dat het zal worden gebruikt 
voor vroege interventie. Geweldig!

156
00:07:32,911 --> 00:07:35,891
Maar bekijk dat nu eens
in het kader van aanwerven.

157
00:07:36,027 --> 00:07:39,073
Op deze conferentie 
voor human-resourcesmanagers

158
00:07:39,097 --> 00:07:43,806
benaderde ik een vooraanstaande manager 
van een zeer groot bedrijf

159
00:07:43,830 --> 00:07:48,408
en zei tegen haar: 
"Kijk, wat als zonder dat je het weet,

160
00:07:48,432 --> 00:07:54,981
je systeem mensen met een hoge 
toekomstige kans op depressie uitwiedt?

161
00:07:55,761 --> 00:07:59,137
Ze zijn nu niet depressief, 
maar in de toekomst waarschijnlijk wel.

162
00:07:59,923 --> 00:08:03,329
Wat als het vrouwen uitwiedt 
omdat ze kans hebben om zwanger te worden

163
00:08:03,353 --> 00:08:05,939
in de volgende paar jaar, 
maar nu niet zwanger zijn?

164
00:08:06,844 --> 00:08:12,480
Wat als het agressieve mensen inhuurt, 
omdat dat jullie werkplekcultuur is?"

165
00:08:12,923 --> 00:08:15,934
Je weet dit niet door te kijken 
naar analyses voor geslacht.

166
00:08:15,934 --> 00:08:17,390
Die kunnen in evenwicht zijn.

167
00:08:17,414 --> 00:08:20,971
En aangezien dit machine learning is 
en geen traditioneel programmeren,

168
00:08:20,995 --> 00:08:25,902
is er geen variabele 
gelabeld 'groter risico op depressie',

169
00:08:25,926 --> 00:08:27,759
'hoger risico op zwangerschap'

170
00:08:27,783 --> 00:08:29,517
of een 'agressieve-man-schaal'.

171
00:08:29,995 --> 00:08:33,674
Niet alleen weet je niet 
waarop jouw systeem selecteert,

172
00:08:33,698 --> 00:08:36,021
je weet niet eens 
waar je moet gaan zoeken.

173
00:08:36,045 --> 00:08:37,291
Het is een zwarte doos.

174
00:08:37,315 --> 00:08:40,122
Het heeft voorspellende kracht, 
maar je begrijpt het niet.

175
00:08:40,486 --> 00:08:42,855
"Welke garanties", vroeg ik, "heb je

176
00:08:42,879 --> 00:08:46,552
om ervoor te zorgen dat jouw zwarte doos 
geen rare dingen gaat doen?"

177
00:08:48,863 --> 00:08:52,741
Ze keek me aan alsof ik 
op tien puppystaarten tegelijk trapte.

178
00:08:52,765 --> 00:08:54,013
(Gelach)

179
00:08:54,037 --> 00:08:56,078
Ze keek me aan en zei:

180
00:08:56,556 --> 00:09:00,889
"Hier wil ik geen woord meer over horen."

181
00:09:01,458 --> 00:09:03,492
En ze draaide zich om en liep weg.

182
00:09:04,064 --> 00:09:05,890
Let wel -- ze was niet onbeleefd.

183
00:09:05,890 --> 00:09:11,882
Het was duidelijk: wat ik niet weet, 
is mijn probleem niet, ga weg, lege blik.

184
00:09:11,906 --> 00:09:13,152
(Gelach)

185
00:09:13,862 --> 00:09:17,545
Kijk, een dergelijk systeem 
kan misschien minder bevooroordeeld zijn

186
00:09:17,545 --> 00:09:20,108
dan menselijke managers,
in sommige opzichten.

187
00:09:20,108 --> 00:09:21,998
Het kan misschien wel geld besparen.

188
00:09:22,573 --> 00:09:24,223
Maar het kan ook leiden

189
00:09:24,247 --> 00:09:28,995
tot een gestage, maar sluipende 
uitsluiting uit de arbeidsmarkt

190
00:09:29,019 --> 00:09:31,312
van mensen met een 
hoger risico op depressie.

191
00:09:31,753 --> 00:09:33,933
Is dit het soort
samenleving dat we willen,

192
00:09:33,933 --> 00:09:36,658
zonder zelfs maar te weten 
dat we dat hebben gedaan,

193
00:09:36,682 --> 00:09:39,605
omdat we besluitvorming 
delegeerden naar machines

194
00:09:39,605 --> 00:09:41,265
die we niet helemaal begrijpen?

195
00:09:41,265 --> 00:09:42,723
Een ander probleem is dit:

196
00:09:43,314 --> 00:09:47,766
deze systemen worden vaak getraind 
met data gegenereerd door onze acties,

197
00:09:47,790 --> 00:09:49,606
menselijke indrukken.

198
00:09:50,188 --> 00:09:53,996
Nou, die zouden wel eens
onze vooroordelen kunnen weerspiegelen,

199
00:09:54,020 --> 00:09:57,613
welke die systemen vervolgens
vlekkeloos overnemen,

200
00:09:57,637 --> 00:09:58,950
ze versterken

201
00:09:58,974 --> 00:10:00,392
en weer aan ons terugkaatsen,

202
00:10:00,416 --> 00:10:01,878
terwijl we onszelf wijsmaken:

203
00:10:01,902 --> 00:10:05,019
"We maken objectieve, 
neutrale berekeningen."

204
00:10:06,314 --> 00:10:08,991
Onderzoekers ontdekten dat op Google

205
00:10:10,134 --> 00:10:12,963
vrouwen minder kans hebben dan mannen

206
00:10:12,963 --> 00:10:16,463
om vacatures voor goedbetaalde banen 
te zien te krijgen.

207
00:10:16,463 --> 00:10:18,993
Het zoeken naar Afro-Amerikaanse namen

208
00:10:19,017 --> 00:10:21,297
geeft een grotere kans op advertenties

209
00:10:21,297 --> 00:10:23,747
die een criminele geschiedenis suggereren,

210
00:10:23,747 --> 00:10:25,314
zelfs wanneer er geen is.

211
00:10:26,693 --> 00:10:30,242
Dergelijke verborgen vooroordelen 
en zwarte-doosalgoritmen,

212
00:10:30,266 --> 00:10:34,239
die onderzoekers soms ontdekken
maar soms ook niet,

213
00:10:34,263 --> 00:10:36,924
kunnen iemands leven 
diepgaand beïnvloeden.

214
00:10:37,958 --> 00:10:42,117
In Wisconsin werd een verdachte 
veroordeeld tot zes jaar gevangenis

215
00:10:42,141 --> 00:10:44,256
door te gaan lopen voor de politie.

216
00:10:44,484 --> 00:10:46,010
Misschien weten jullie dit niet,

217
00:10:46,034 --> 00:10:48,102
maar algoritmen 
worden steeds meer gebruikt

218
00:10:48,102 --> 00:10:50,772
bij voorwaardelijke
invrijheidstelling en straftoemeting.

219
00:10:50,772 --> 00:10:53,626
Hij wilde weten hoe dat 
deze score berekend wordt.

220
00:10:53,795 --> 00:10:55,460
Het is een commerciële zwarte doos.

221
00:10:55,484 --> 00:10:57,016
Het bedrijf weigerde

222
00:10:57,016 --> 00:11:00,396
zijn algoritme in een openbare
rechtszitting te laten betwisten.

223
00:11:00,396 --> 00:11:05,632
Maar ProPublica, een onderzoekende 
non-profit, testte dat algoritme

224
00:11:05,632 --> 00:11:07,702
met openbare gegevens 
die ze konden vinden,

225
00:11:07,702 --> 00:11:10,308
en vond dat de resultaten ervan 
bevooroordeeld waren

226
00:11:10,332 --> 00:11:14,202
en dat de voorspellende kracht onduidelijk
en nauwelijks beter dan het toeval was.

227
00:11:14,205 --> 00:11:18,401
Ze labelde zwarte verdachten 
onterecht als toekomstige criminelen

228
00:11:18,425 --> 00:11:22,320
en wel twee keer zo vaak als blanken.

229
00:11:23,891 --> 00:11:25,455
Bekijk dit geval:

230
00:11:26,103 --> 00:11:29,955
deze vrouw was wat laat
om een meisje op te pikken

231
00:11:29,979 --> 00:11:32,724
op een school in Broward County, Florida.

232
00:11:32,757 --> 00:11:35,113
Ze liep op straat met een vriendin.

233
00:11:35,137 --> 00:11:39,236
Op een veranda zagen ze 
een kinderfiets en een scooter.

234
00:11:39,260 --> 00:11:40,892
Zonder nadenken sprongen ze erop.

235
00:11:40,916 --> 00:11:43,545
Terwijl ze wegreden, 
kwam een vrouw naar buiten en zei:

236
00:11:43,545 --> 00:11:45,744
"Hé! Dat is de fiets van mijn kind!"

237
00:11:45,768 --> 00:11:49,062
Ze lieten hem vallen, liepen door, 
maar werden gearresteerd.

238
00:11:49,086 --> 00:11:52,723
Ze ging in de fout, ze was dom, 
maar ze was ook pas 18.

239
00:11:52,747 --> 00:11:55,291
Ze had een paar
jeugdmisdrijven op haar naam.

240
00:11:55,808 --> 00:12:00,993
Ondertussen werd deze man gearresteerd
voor winkeldiefstal in Home Depot --

241
00:12:01,017 --> 00:12:03,941
85 dollar aan spullen, 
soortgelijke kleine criminaliteit.

242
00:12:04,766 --> 00:12:09,325
Maar hij had twee eerdere veroordelingen 
voor gewapende overval.

243
00:12:09,955 --> 00:12:13,437
Het algoritme scoorde haar 
als hoog risico en hem niet.

244
00:12:14,746 --> 00:12:18,620
Twee jaar later vond ProPublica 
dat ze niet had gerecidiveerd.

245
00:12:18,644 --> 00:12:21,324
Maar ze vond wel moeilijk 
een baan met haar strafblad.

246
00:12:21,324 --> 00:12:23,294
Hij daarentegen recidiveerde

247
00:12:23,318 --> 00:12:27,154
en zit nu voor acht jaar in de gevangenis 
voor een latere misdaad.

248
00:12:28,088 --> 00:12:31,457
Het is duidelijk dat we 
onze zwarte dozen moeten controleren

249
00:12:31,481 --> 00:12:34,166
en ze niet dit soort ongecontroleerde
macht moeten geven.

250
00:12:34,166 --> 00:12:36,999
(Applaus)

251
00:12:38,087 --> 00:12:42,329
Audits zijn geweldig en belangrijk, 
maar ze lossen niet al onze problemen op.

252
00:12:42,353 --> 00:12:45,101
Neem Facebook's krachtige 
nieuwsfeed-algoritme --

253
00:12:45,125 --> 00:12:49,968
je weet wel, hetgeen dat alles sorteert 
en beslist wat jij te zien krijgt

254
00:12:49,992 --> 00:12:52,276
van alle vrienden
en pagina's die je volgt.

255
00:12:52,628 --> 00:12:55,173
Moet je nog een babyfoto 
voorgeschoteld krijgen?

256
00:12:55,197 --> 00:12:56,393
(Gelach)

257
00:12:56,417 --> 00:12:59,013
Een sombere opmerking van een kennis?

258
00:12:59,449 --> 00:13:01,585
Een belangrijk
maar moeilijk nieuwsbericht?

259
00:13:01,585 --> 00:13:02,951
Er is geen juist antwoord.

260
00:13:02,951 --> 00:13:05,494
Facebook optimaliseert 
voor betrokkenheid op de site:

261
00:13:05,518 --> 00:13:07,673
wat je leuk vindt, deelt 
of becommentarieert.

262
00:13:08,168 --> 00:13:10,864
In augustus 2014

263
00:13:10,888 --> 00:13:13,550
braken protesten uit 
in Ferguson, Missouri,

264
00:13:13,574 --> 00:13:17,991
na het doden van een Afro-Amerikaanse 
tiener door een blanke politieagent

265
00:13:18,015 --> 00:13:19,585
onder duistere omstandigheden.

266
00:13:19,974 --> 00:13:22,411
Het nieuws van de protesten
was prominent aanwezig

267
00:13:22,411 --> 00:13:24,690
op mijn algoritmisch 
ongefilterde Twitter-feed,

268
00:13:24,714 --> 00:13:26,664
maar nergens op mijn Facebook.

269
00:13:27,182 --> 00:13:28,916
Waren het mijn Facebookvrienden?

270
00:13:28,940 --> 00:13:30,972
Ik schakelde het Facebookalgoritme uit,

271
00:13:31,472 --> 00:13:34,320
wat moeilijk is,
want Facebook houdt je liever

272
00:13:34,344 --> 00:13:36,620
onder de controle van het algoritme.

273
00:13:36,620 --> 00:13:38,642
Ik zag dat mijn vrienden erover praatten.

274
00:13:38,666 --> 00:13:41,175
Maar het algoritme liet het me niet zien.

275
00:13:41,199 --> 00:13:44,241
Ik onderzocht dit en vond dat dit 
een wijdverbreid probleem was.

276
00:13:44,265 --> 00:13:47,782
Het verhaal van Ferguson 
was niet 'algoritmevriendelijk'.

277
00:13:47,782 --> 00:13:49,147
Het was niet 'sympathiek'.

278
00:13:49,147 --> 00:13:51,320
Wie gaat er een 'vind ik leuk' aan geven?

279
00:13:51,320 --> 00:13:53,706
Het is zelfs niet makkelijk 
te becommentariëren.

280
00:13:53,730 --> 00:13:55,611
Zonder vind-ik-leuk's en commentaar

281
00:13:55,611 --> 00:13:58,817
toonde het algoritme het waarschijnlijk 
aan nog minder mensen,

282
00:13:58,817 --> 00:14:00,623
zodat we het niet te zien kregen.

283
00:14:00,946 --> 00:14:04,124
In plaats daarvan benadrukte 
Facebook's algoritme die week dit:

284
00:14:04,520 --> 00:14:06,746
de ALS Ice Bucket Challenge.

285
00:14:06,770 --> 00:14:10,512
Giet ijswater, doneer 
aan een goed doel, allemaal fijn.

286
00:14:10,536 --> 00:14:12,960
Maar het was uiterst 
algoritmevriendelijk.

287
00:14:13,219 --> 00:14:15,832
De machine nam die beslissing voor ons.

288
00:14:15,856 --> 00:14:19,353
Een zeer belangrijk maar moeilijk gesprek

289
00:14:19,377 --> 00:14:20,932
zou zijn gesmoord,

290
00:14:20,956 --> 00:14:23,652
als Facebook het enige kanaal was geweest.

291
00:14:24,117 --> 00:14:27,914
Nu kunnen deze systemen ook verkeerd zijn

292
00:14:27,938 --> 00:14:30,548
op een manier die niet 
op menselijke systemen lijkt.

293
00:14:30,548 --> 00:14:33,790
Herinneren jullie zich Watson, 
IBM's machine-intelligentie-systeem

294
00:14:33,790 --> 00:14:37,172
dat op Jeopardy de vloer aanveegde 
met de menselijke deelnemers?

295
00:14:37,172 --> 00:14:38,559
Het was een geweldige speler.

296
00:14:38,583 --> 00:14:42,152
Maar in de finale kreeg Watson deze vraag:

297
00:14:42,539 --> 00:14:45,641
"Zijn grootste luchthaven is vernoemd 
naar een held uit WO II,

298
00:14:45,641 --> 00:14:47,957
zijn tweede grootste 
naar een slag uit WO II."

299
00:14:47,957 --> 00:14:49,559
(Neuriet Final Jeopardy-muziek)

300
00:14:49,582 --> 00:14:50,764
Chicago.

301
00:14:50,788 --> 00:14:52,638
De twee mensen hadden het goed.

302
00:14:52,697 --> 00:14:57,045
Maar Watson antwoordde "Toronto" --

303
00:14:57,069 --> 00:14:58,887
voor een stad van de VS!

304
00:14:59,596 --> 00:15:02,497
Het indrukwekkende systeem 
maakte ook een fout

305
00:15:02,521 --> 00:15:06,172
die een mens nooit zou maken, 
die een zevenjarige niet zou maken.

306
00:15:06,823 --> 00:15:09,932
Onze machine-intelligentie kan mislukken

307
00:15:09,956 --> 00:15:13,056
op een manier die niet past 
in foutpatronen van mensen,

308
00:15:13,080 --> 00:15:16,030
op een onverwachte manier
waarop we niet zijn voorbereid.

309
00:15:16,054 --> 00:15:18,154
Het zou stom zijn 
om een baan mis te lopen

310
00:15:18,154 --> 00:15:19,716
waarvoor je gekwalificeerd bent,

311
00:15:19,716 --> 00:15:23,443
maar het zou driedubbel stom zijn 
als het was vanwege een stack overflow

312
00:15:23,467 --> 00:15:25,169
in de een of andere subroutine.

313
00:15:25,169 --> 00:15:26,502
(Gelach)

314
00:15:26,526 --> 00:15:29,312
In mei 2010

315
00:15:29,336 --> 00:15:33,380
ontstond een flash crash op Wall Street,
aangewakkerd door een terugkoppeling

316
00:15:33,404 --> 00:15:36,432
in Wall Streets 'verkopen'-algoritme.

317
00:15:36,456 --> 00:15:40,640
Het wiste een biljoen dollar weg 
in 36 minuten.

318
00:15:41,722 --> 00:15:44,419
Ik wil er niet eens aan denken 
wat 'fout' betekent

319
00:15:44,419 --> 00:15:47,522
als het over dodelijke 
autonome wapens gaat.

320
00:15:49,894 --> 00:15:53,684
Dus ja, mensen hebben altijd vooroordelen.

321
00:15:53,708 --> 00:15:55,884
Beslissers en bewakers,

322
00:15:55,908 --> 00:15:59,401
in rechtbanken, in het nieuws, 
in de oorlog...

323
00:15:59,425 --> 00:16:02,463
maken ze fouten;
maar dat is precies wat ik bedoel.

324
00:16:02,487 --> 00:16:06,008
We kunnen niet ontsnappen 
aan deze moeilijke vragen.

325
00:16:06,596 --> 00:16:10,112
We kunnen onze verantwoordelijkheden 
niet uitbesteden aan machines.

326
00:16:10,676 --> 00:16:14,884
(Applaus)

327
00:16:17,089 --> 00:16:21,536
Kunstmatige intelligentie stelt ons
niet vrij van de ethische vraagstukken.

328
00:16:22,742 --> 00:16:26,123
Datawetenschapper Fred Benenson 
noemt dit 'wiskunde-wassen'.

329
00:16:26,147 --> 00:16:27,926
We moeten het tegenovergestelde doen.

330
00:16:27,926 --> 00:16:32,948
Algoritmes verdienen een cultuur
van achterdocht, controle en onderzoek.

331
00:16:33,380 --> 00:16:36,578
We moeten zorgen 
voor algoritmische verantwoording,

332
00:16:36,602 --> 00:16:39,047
auditing en betekenisvolle transparantie.

333
00:16:39,380 --> 00:16:42,614
We moeten accepteren dat het toepassen
van wiskunde en berekening

334
00:16:42,638 --> 00:16:45,608
op rommelige, waardegeladen 
menselijke aangelegenheden

335
00:16:45,632 --> 00:16:48,016
geen objectiviteit met zich meebrengt,

336
00:16:48,040 --> 00:16:52,063
maar dat de complexiteit van menselijke 
aangelegenheden in de algoritmen sluipt.

337
00:16:52,148 --> 00:16:55,635
Ja, we kunnen en we moeten 
berekening gebruiken

338
00:16:55,659 --> 00:16:58,013
om ons te helpen 
om betere beslissingen te nemen.

339
00:16:58,013 --> 00:17:03,029
Maar het uiteindelijke oordeel
blijft onze morele verantwoordelijkheid,

340
00:17:03,053 --> 00:17:05,871
en binnen dat kader kunnen 
we algoritmen gebruiken,

341
00:17:05,895 --> 00:17:10,830
niet als een middel om 
onze verantwoordelijkheden

342
00:17:10,854 --> 00:17:13,308
van mens tot mens te ontlopen.

343
00:17:13,807 --> 00:17:16,416
Machine-intelligentie is hier.

344
00:17:16,440 --> 00:17:19,861
Dat betekent dat we 
steeds strakker moeten vasthouden

345
00:17:19,885 --> 00:17:22,032
aan menselijke waarden 
en menselijke ethiek.

346
00:17:22,056 --> 00:17:23,210
Dank je.

347
00:17:23,234 --> 00:17:28,254
(Applaus)