1
00:00:00,739 --> 00:00:04,861
Mitt första jobb var som dataprogrammerare

2
00:00:04,885 --> 00:00:06,841
under mitt första år på högskolan -

3
00:00:06,865 --> 00:00:08,372
jag var tonåring då.

4
00:00:08,889 --> 00:00:10,621
Strax efter att jag börjat jobba,

5
00:00:10,645 --> 00:00:12,255
med att utveckla programvara,

6
00:00:12,799 --> 00:00:16,434
kom en chef på företaget ner där jag satt,

7
00:00:16,458 --> 00:00:17,726
och viskade till mig,

8
00:00:18,229 --> 00:00:21,090
"Kan han se om jag ljuger?"

9
00:00:21,806 --> 00:00:23,883
Där fanns ingen annan i rummet.

10
00:00:25,032 --> 00:00:29,421
"Kan vem se om du ljuger?
Och varför viskar vi?"

11
00:00:30,266 --> 00:00:33,373
Chefen pekade på datorn som stod i rummet.

12
00:00:33,397 --> 00:00:36,493
"Kan han se om jag ljuger?"

13
00:00:37,613 --> 00:00:41,975
Den här chefen hade en affär
med receptionisten.

14
00:00:41,999 --> 00:00:43,111
(Skratt)

15
00:00:43,135 --> 00:00:44,901
Och jag var fortfarande tonåring.

16
00:00:45,447 --> 00:00:47,466
Så jag visk-skrek tillbaka,

17
00:00:47,490 --> 00:00:51,114
"Ja, datorn kan se om du ljuger."

18
00:00:51,138 --> 00:00:52,944
(Skratt)

19
00:00:52,968 --> 00:00:55,891
Jag skrattade, men egentligen
är det jag som är skämtet.

20
00:00:55,915 --> 00:00:59,183
Idag finns det beräkningssystem

21
00:00:59,207 --> 00:01:02,755
som kan sortera ut känslor och även lögner

22
00:01:02,779 --> 00:01:04,823
genom att processa data från ansikten.

23
00:01:05,248 --> 00:01:09,401
Annonsörer och till och med regeringar
är mycket intresserade.

24
00:01:10,319 --> 00:01:12,181
Jag blev programmerare

25
00:01:12,205 --> 00:01:15,318
för som barn var jag som tokig
i matematik och vetenskap.

26
00:01:15,942 --> 00:01:19,050
Men någonstans längs vägen
fick jag vetskap om kärnvapen,

27
00:01:19,074 --> 00:01:22,026
och blev mycket oroad
över etiken i forskningen.

28
00:01:22,050 --> 00:01:23,254
Jag var bekymrad.

29
00:01:23,278 --> 00:01:25,919
Emellertid, på grund av
familjeomständigheter,

30
00:01:25,943 --> 00:01:29,241
var jag också tvungen
att börja arbeta tidigt.

31
00:01:29,265 --> 00:01:32,564
Jag tänkte för mig själv;
jag väljer ett tekniskt område

32
00:01:32,588 --> 00:01:34,384
där jag lätt kan få arbete och där

33
00:01:34,408 --> 00:01:38,426
jag inte behöver bekymra mig om
några svårlösta etiska frågor.

34
00:01:39,022 --> 00:01:40,551
Så jag valde datorer.

35
00:01:40,575 --> 00:01:41,679
(Skratt)

36
00:01:41,703 --> 00:01:45,113
Ja, ha, ha, ha!
Skratta gärna åt mig.

37
00:01:45,137 --> 00:01:47,891
Idag bygger datorforskare plattformar

38
00:01:47,915 --> 00:01:52,124
som kontrollerar vad som visas
för miljarder människor varje dag.

39
00:01:53,052 --> 00:01:54,707
De utvecklar bilar

40
00:01:54,707 --> 00:01:57,223
som skulle kunna bestämma
vem de ska köra över.

41
00:01:57,707 --> 00:02:00,920
De bygger till och med maskiner, vapen,

42
00:02:00,944 --> 00:02:03,229
som kan döda människor i krig.

43
00:02:03,253 --> 00:02:06,024
Det handlar om etik i hela ledet.

44
00:02:07,183 --> 00:02:09,241
De intelligenta maskinerna är här.

45
00:02:09,823 --> 00:02:13,297
Idag använder vi beräkningssystem
för alla sorters beslut,

46
00:02:13,321 --> 00:02:15,207
men också för nya typer av beslut.

47
00:02:15,231 --> 00:02:20,403
Vi ställer frågor till algoritmerna
som inte har ett entydigt korrekt svar,

48
00:02:20,427 --> 00:02:21,629
frågor som är subjektiva,

49
00:02:21,653 --> 00:02:23,978
öppna och värdeladdade.

50
00:02:24,002 --> 00:02:25,760
Vi ställer frågor som,

51
00:02:25,784 --> 00:02:27,434
"Vem ska företaget anställa?"

52
00:02:27,716 --> 00:02:29,546
"Vilken av dina vänners uppdateringar

53
00:02:29,546 --> 00:02:30,879
ska du kunna se?"

54
00:02:30,879 --> 00:02:33,145
"Vem återfaller troligast i brott?"

55
00:02:33,514 --> 00:02:36,568
"Vilka nyheter eller filmer
ska rekommenderas till folk?"

56
00:02:36,592 --> 00:02:39,964
Visst, vi har använt datorer ett tag,

57
00:02:39,988 --> 00:02:41,505
men det här är annorlunda.

58
00:02:41,529 --> 00:02:43,596
Det är en historisk vridning,

59
00:02:43,620 --> 00:02:48,957
för vi kan inte verifiera beräkningarna
för sådana subjektiva beslut

60
00:02:48,981 --> 00:02:54,401
på samma sätt som vi kan verifiera dem
vi gör för flygplan, brokonstruktioner,

61
00:02:54,425 --> 00:02:55,684
eller månfärder.

62
00:02:56,449 --> 00:02:59,708
Är flygplan säkrare?
Började bron självsvänga och rasa?

63
00:02:59,732 --> 00:03:04,230
Där har vi kommit överens om
ganska tydliga ramverk,

64
00:03:04,254 --> 00:03:06,493
och vi har lagar som vägleder oss.

65
00:03:06,517 --> 00:03:09,911
Såna ramverk eller normer finns inte

66
00:03:09,935 --> 00:03:13,898
för beslut gällande
krångliga mänskliga relationer.

67
00:03:13,922 --> 00:03:18,159
För att göra det än mer komplicerat,
blir vår mjukvara kraftfullare,

68
00:03:18,183 --> 00:03:21,956
samtidigt som den blir
både mindre transparent och mer komplex.

69
00:03:22,542 --> 00:03:24,582
Under det senaste årtiondet,

70
00:03:24,606 --> 00:03:27,335
har komplexa algoritmer
gjort enorma framsteg.

71
00:03:27,359 --> 00:03:29,349
De kan känna igen ansikten.

72
00:03:29,985 --> 00:03:32,040
De kan tolka handskriven text.

73
00:03:32,436 --> 00:03:34,502
De kan upptäcka kontokortsbedrägerier,

74
00:03:34,526 --> 00:03:35,715
blockera spam

75
00:03:35,739 --> 00:03:37,776
och de kan översätta språk.

76
00:03:37,800 --> 00:03:40,374
De kan upptäcka tumörer
genom medicinsk bildteknik.

77
00:03:40,398 --> 00:03:42,603
De kan slå människor i schack och Go.

78
00:03:43,264 --> 00:03:47,768
Många av de här framstegen härrör från
en metod som kallas "maskininlärning."

79
00:03:48,175 --> 00:03:51,362
Maskininlärning skiljer sig
från traditionell programmering,

80
00:03:51,386 --> 00:03:54,971
där du ger datorn detaljerade,
exakta, noggranna instruktioner.

81
00:03:55,378 --> 00:03:59,560
Det här är mer som att du
matar systemet med en massa data,

82
00:03:59,584 --> 00:04:01,240
inkluderat ostrukturerad data,

83
00:04:01,264 --> 00:04:03,542
till exempel från våra digitala liv.

84
00:04:03,566 --> 00:04:06,296
Systemet lär sig genom att
bearbeta datamängderna.

85
00:04:06,669 --> 00:04:08,195
Avgörande är också,

86
00:04:08,219 --> 00:04:12,599
att systemen inte kommer fram till
något entydigt svar.

87
00:04:12,623 --> 00:04:16,002
Du får inte ett enkelt svar,
utan en sannolikhetsbedömning;

88
00:04:16,002 --> 00:04:19,089
"Det här är sannolikt det du letar efter."

89
00:04:20,023 --> 00:04:23,093
Fördelen är att metoden är kraftfull.

90
00:04:23,117 --> 00:04:25,403
Chefen för Googles AI-system kallade det

91
00:04:25,403 --> 00:04:27,564
"datas orimliga effektivitet."

92
00:04:27,791 --> 00:04:29,144
Nackdelen är

93
00:04:29,738 --> 00:04:32,809
att vi inte förstår vad systemet lär sig.

94
00:04:32,833 --> 00:04:34,820
Faktum är att det är dess makt.

95
00:04:34,946 --> 00:04:38,744
Det är mindre av
att ge en dator instruktioner,

96
00:04:39,200 --> 00:04:43,264
och mer som att träna en Tamagotschi

97
00:04:43,288 --> 00:04:45,659
som vi varken förstår eller kontrollerar.

98
00:04:46,362 --> 00:04:47,913
Det är vårt stora problem.

99
00:04:48,427 --> 00:04:52,689
Det är problematiskt när såna här system
får saker och ting om bakfoten.

100
00:04:52,713 --> 00:04:56,253
Det är också ett problem
när de får till det rätt,

101
00:04:56,277 --> 00:04:59,905
för vi vet inte vad som är vad,
när frågeställningen är subjektiv.

102
00:04:59,929 --> 00:05:02,648
Vi vet inte vad den här tingesten tänker.

103
00:05:03,493 --> 00:05:07,176
Föreställ er en algoritm
för anställning -

104
00:05:08,123 --> 00:05:12,434
ett maskininlärningssystem
som används för att anställa människor.

105
00:05:13,052 --> 00:05:16,631
Ett sådant system har lärt sig
av data över tidigare anställda

106
00:05:16,655 --> 00:05:19,246
och instruerats att hitta och anställa

107
00:05:19,270 --> 00:05:22,308
likadana högpresterare
som redan är anställda i företaget.

108
00:05:22,814 --> 00:05:23,967
Det låter ju bra.

109
00:05:23,991 --> 00:05:25,990
Jag deltog en gång i en konferens

110
00:05:26,014 --> 00:05:29,139
med personalchefer och chefer,

111
00:05:29,163 --> 00:05:30,369
högt uppsatta människor,

112
00:05:30,393 --> 00:05:31,952
som använder såna system.

113
00:05:31,976 --> 00:05:33,622
De var otroligt entusiastiska.

114
00:05:33,646 --> 00:05:37,063
De trodde att det här skulle göra
anställningsprocessen objektiv,

115
00:05:37,063 --> 00:05:38,433
och mindre fördomsfull,

116
00:05:38,433 --> 00:05:41,323
och ge kvinnor och minoriteter
en bättre chans

117
00:05:41,347 --> 00:05:43,755
mot fördomsfulla, partiska
personalchefer.

118
00:05:43,755 --> 00:05:46,582
Men lyssna här -
anställningar är fördomsfulla.

119
00:05:47,099 --> 00:05:48,284
Jag vet.

120
00:05:48,308 --> 00:05:51,313
Jag menar, under mitt första jobb
som programmerare,

121
00:05:51,337 --> 00:05:55,205
kom ibland min närmsta chef förbi

122
00:05:55,229 --> 00:05:58,982
antingen väldigt tidigt på morgonen
eller mycket sent på eftermiddagen,

123
00:05:59,006 --> 00:06:02,068
och sade; "Zeynep, nu går vi på lunch!"

124
00:06:02,724 --> 00:06:04,891
Jag var brydd av den märkliga tajmingen.

125
00:06:04,915 --> 00:06:07,044
Klockan är fyra på eftermiddagen. Lunch?

126
00:06:07,068 --> 00:06:10,162
Jag var pank, så gratis lunch.
Jag följde alltid med.

127
00:06:10,618 --> 00:06:12,685
Senare förstod jag vad som hände.

128
00:06:12,709 --> 00:06:17,255
Min närmaste chef hade inte erkänt
för de högre cheferna

129
00:06:17,279 --> 00:06:21,632
att programmeraren de anställt
var en tonårstjej

130
00:06:21,646 --> 00:06:24,706
i jeans och gymnastikskor.

131
00:06:25,174 --> 00:06:27,486
Jag gjorde ett bra jobb,
jag såg bara fel ut

132
00:06:27,486 --> 00:06:29,099
och var ung och kvinna.

133
00:06:29,123 --> 00:06:32,469
Så att anställa utan att
ta hänsyn till kön och ras

134
00:06:32,493 --> 00:06:34,358
låter verkligen bra i mina öron.

135
00:06:35,031 --> 00:06:38,372
Men med de här systemen
blir det mer komplicerat;

136
00:06:38,968 --> 00:06:44,759
Idag kan beräkningssystem
dra alla möjliga slutsatser om dig

137
00:06:44,783 --> 00:06:46,655
utifrån dina digitala avtryck,

138
00:06:46,679 --> 00:06:49,012
även om du inte har avslöjat dem.

139
00:06:49,506 --> 00:06:52,433
De kan dra slutsatser
om din sexuella läggning,

140
00:06:52,994 --> 00:06:54,300
dina karaktärsdrag,

141
00:06:54,859 --> 00:06:56,232
dina politiska böjelser.

142
00:06:56,830 --> 00:07:00,515
De kan prognostisera med hög noggrannhet.

143
00:07:01,362 --> 00:07:03,940
Kom ihåg - kring saker du inte avslöjat.

144
00:07:03,964 --> 00:07:05,555
Det är slutledningsförmåga.

145
00:07:05,579 --> 00:07:08,980
Jag har en vän som utvecklat
ett beräkningssystem

146
00:07:08,980 --> 00:07:12,505
för att beräkna sannolikheten
för klinisk- eller förlossningsdepression

147
00:07:12,529 --> 00:07:13,945
utifrån digitala avtryck.

148
00:07:14,676 --> 00:07:16,103
Resultaten är imponerande.

149
00:07:16,492 --> 00:07:19,849
Hennes system kan beräkna
sannolikheten för depression

150
00:07:19,873 --> 00:07:23,776
månader innan symtomen visar sig -

151
00:07:23,800 --> 00:07:25,173
månader i förväg.

152
00:07:25,197 --> 00:07:27,443
Inga symtom, bara förutsägelse.

153
00:07:27,467 --> 00:07:31,321
Hon hoppas att det ska användas
för behandling i ett tidigt stadium.

154
00:07:31,341 --> 00:07:32,911
Jättebra!

155
00:07:32,911 --> 00:07:35,671
Men sätt in det
i ett anställningssammanhang.

156
00:07:36,027 --> 00:07:39,073
På den här personalchefskonferensen,

157
00:07:39,097 --> 00:07:43,806
frågade jag en högt uppsatt chef
i ett mycket stort företag,

158
00:07:43,830 --> 00:07:48,408
"Du, tänk om, utan att du vet,

159
00:07:48,432 --> 00:07:51,051
ert system gallrar ut

160
00:07:51,051 --> 00:07:55,309
personer med hög sannolikhet
att drabbas av depression?

161
00:07:55,761 --> 00:07:59,367
De är inte deprimerade nu,
men kanske blir någon gång i framtiden.

162
00:07:59,923 --> 00:08:03,599
Tänk om det gallrar ut kvinnor
som kan komma att bli gravida

163
00:08:03,599 --> 00:08:06,189
inom ett till två år
men som inte är gravida nu?

164
00:08:06,844 --> 00:08:12,700
Tänk om aggressiva människor anställs för
att det är en del av er företagskultur?"

165
00:08:13,173 --> 00:08:15,864
Du kan inte bedöma det
utifrån könsfördelningen.

166
00:08:15,888 --> 00:08:17,390
De kan vara i balans.

167
00:08:17,414 --> 00:08:20,971
Eftersom detta gäller maskininlärning,
och inte traditionell kodning,

168
00:08:20,995 --> 00:08:25,902
finns det ingen variabel som säger
"högre risk för depression,"

169
00:08:25,926 --> 00:08:27,759
"högre risk för graviditet,"

170
00:08:27,783 --> 00:08:29,517
"macho-tendenser."

171
00:08:29,995 --> 00:08:31,555
Du vet varken

172
00:08:31,555 --> 00:08:33,698
vad ditt system selekterar på,

173
00:08:33,698 --> 00:08:36,021
eller var du ska börja titta.

174
00:08:36,045 --> 00:08:37,291
Det är en svart låda.

175
00:08:37,315 --> 00:08:40,122
Det har en förutsägbar kraft,
men du förstår inte det.

176
00:08:40,486 --> 00:08:42,855
"Vilka garantier, frågade jag, har du

177
00:08:42,889 --> 00:08:46,552
för att försäkra dig om
att din svarta låda inte gör något skumt?"

178
00:08:48,863 --> 00:08:52,741
Hon tittade på mig som om jag
just trampat på hennes hund.

179
00:08:52,765 --> 00:08:54,013
(Skratt)

180
00:08:54,037 --> 00:08:56,078
Hon stirrade på mig och sade,

181
00:08:56,396 --> 00:09:00,889
"Jag vill inte höra ett enda ord till."

182
00:09:01,458 --> 00:09:03,532
Hon vände sig om och gick.

183
00:09:03,724 --> 00:09:06,020
Kom ihåg - hon var inte oförskämd.

184
00:09:06,020 --> 00:09:11,882
Det var tydligt: Det jag inte vet
är inte mitt problem, stick iväg.

185
00:09:11,906 --> 00:09:13,152
(Skratt)

186
00:09:13,862 --> 00:09:17,701
Ett sånt system kan vara mindre subjektivt

187
00:09:17,725 --> 00:09:19,828
än personalchefer på vissa sätt.

188
00:09:19,852 --> 00:09:21,998
Och det kan vara ekonomiskt rimligt.

189
00:09:22,573 --> 00:09:24,653
Men det kan också leda till

190
00:09:24,677 --> 00:09:28,995
ett smygande utestängande
från arbetsmarknaden

191
00:09:29,019 --> 00:09:31,312
av människor med högre risk
för psykisk ohälsa.

192
00:09:31,753 --> 00:09:34,349
Vill vi bygga den sortens samhälle,

193
00:09:34,373 --> 00:09:36,658
utan att ens märka att vi gör det,

194
00:09:36,682 --> 00:09:38,825
för att vi låter maskiner ta besluten?

195
00:09:38,825 --> 00:09:41,265
Maskiner som vi inte begriper oss på?

196
00:09:41,265 --> 00:09:42,723
Ett annat problem är att

197
00:09:43,314 --> 00:09:47,766
dessa system ofta reagerar på data
som genererats av våra aktiviteter,

198
00:09:47,790 --> 00:09:49,606
våra digitala avtryck.

199
00:09:50,188 --> 00:09:53,996
De kan ju bara reflektera våra fördomar,

200
00:09:54,020 --> 00:09:57,613
och dessa system
kan plocka upp fördomarna,

201
00:09:57,637 --> 00:09:58,950
förstärka dem

202
00:09:58,974 --> 00:10:00,392
och återspegla dem för oss,

203
00:10:00,416 --> 00:10:01,878
alltmedan vi intalar oss,

204
00:10:01,902 --> 00:10:05,019
att "Vi gör bara objektiva
neutrala beräkningar."

205
00:10:06,314 --> 00:10:08,991
Forskare fann att på Google,

206
00:10:10,134 --> 00:10:15,447
är det mindre troligt att kvinnor får se
annonser för välbetalda jobb än män.

207
00:10:16,463 --> 00:10:18,993
Söker man på afro-amerikanska namn

208
00:10:19,017 --> 00:10:23,723
är det mer troligt att man får annonser
som antyder kriminell bakgrund,

209
00:10:23,747 --> 00:10:26,054
även när det inte finns någon koppling.

210
00:10:26,693 --> 00:10:30,242
Sådana dolda fördomar
och svarta lådor-algoritmer

211
00:10:30,266 --> 00:10:34,239
som forskare ibland upptäcker,
och ibland inte,

212
00:10:34,263 --> 00:10:36,924
kan få livsavgörande konsekvenser.

213
00:10:37,958 --> 00:10:42,117
I Wisconsin dömdes en åtalad
till sex års fängelse

214
00:10:42,141 --> 00:10:43,886
för att ha kört från polisen.

215
00:10:44,824 --> 00:10:46,010
Du vet det kanske inte,

216
00:10:46,034 --> 00:10:50,062
men algoritmer används mer och mer
vid förelägganden och villkorliga straff.

217
00:10:50,062 --> 00:10:53,011
Han ville veta:
Hur beräknades straffsatsen?

218
00:10:53,795 --> 00:10:55,460
Av en kommersiell svart låda.

219
00:10:55,484 --> 00:10:58,496
Företaget vägrade
att få sin algoritm bedömd

220
00:10:58,536 --> 00:11:00,396
i en offentlig rättegång.

221
00:11:00,396 --> 00:11:05,928
Men det granskande, icke-vinstdrivande
företaget Pro-Publica, jämförde den

222
00:11:05,952 --> 00:11:08,458
med den offentliga data
de kunde hitta, och fann

223
00:11:08,478 --> 00:11:10,428
att algoritmens utfall var partiskt

224
00:11:10,438 --> 00:11:13,961
och dess kraftfulla beräkningar usla,
knappt bättre än slumpen,

225
00:11:13,985 --> 00:11:18,401
och att den felaktigt pekade ut
svarta åtalade som presumtiva brottslingar

226
00:11:18,425 --> 00:11:22,650
dubbelt så ofta som vita åtalade.

227
00:11:23,891 --> 00:11:25,455
Så, tänk över det här fallet:

228
00:11:26,103 --> 00:11:29,955
Den här kvinnan var sen
när hon skulle hämta sitt gudbarn

229
00:11:29,979 --> 00:11:32,054
på en skola i Broward County i Florida,

230
00:11:32,757 --> 00:11:35,113
hon och hennes vänner sprang nerför gatan.

231
00:11:35,137 --> 00:11:39,236
De fick syn på en olåst barncykel
och en sparkcykel på en veranda

232
00:11:39,260 --> 00:11:40,892
och tog dem dumt nog.

233
00:11:40,916 --> 00:11:43,515
När de stack iväg,
kom en kvinna ut och sade,

234
00:11:43,539 --> 00:11:45,744
"Hallå! Det där är mitt barns prylar."

235
00:11:45,768 --> 00:11:49,062
De släppte dem, gick därifrån,
men blev anhållna.

236
00:11:49,086 --> 00:11:52,723
Hon gjorde fel, hon betedde sig dumt,
men hon var också bara arton år.

237
00:11:52,747 --> 00:11:54,797
Hon hade några ungsdomsförseelser

238
00:11:54,797 --> 00:11:56,028
sedan tidigare.

239
00:11:56,028 --> 00:12:01,003
Samtidigt hade den här mannen
blivit anhållen för snatteri i Home Depot,

240
00:12:01,017 --> 00:12:04,131
prylar för 85 dollar,
ett ganska litet brott.

241
00:12:04,766 --> 00:12:09,325
Men han hade tidigare blivit dömd
för två väpnade rån.

242
00:12:09,955 --> 00:12:13,657
Men algoritmen bedömde henne
som en högre risk än honom.

243
00:12:14,746 --> 00:12:18,620
Två år senare fann ProPublica
att hon inte återfallit i brott.

244
00:12:18,644 --> 00:12:21,194
Hon hade bara svårt
att få jobb med sin bakgrund.

245
00:12:21,218 --> 00:12:23,294
Han, å andra sidan,
återföll i brottslighet

246
00:12:23,318 --> 00:12:25,968
och avtjänar nu
ett åttaårigt fängelsestraff

247
00:12:25,968 --> 00:12:28,088
för ett nytt brott.

248
00:12:28,088 --> 00:12:31,457
Det är tydligt att vi måste revidera
våra svarta lådor

249
00:12:31,481 --> 00:12:34,346
och inte låta dem få
sådan här okontrollerad makt.

250
00:12:34,346 --> 00:12:36,999
(Applåder)

251
00:12:38,087 --> 00:12:42,329
Kontroller är bra och viktiga,
men de löser inte alla våra problem.

252
00:12:42,353 --> 00:12:45,251
Ta Facebooks kraftfulla algoritm
för vårt nyhetsflöde -

253
00:12:45,251 --> 00:12:49,968
ni vet, den som rangordnar allt
och bestämmer vad som ska visas för dig

254
00:12:49,992 --> 00:12:52,276
från alla vänner och sidor du följer.

255
00:12:52,898 --> 00:12:55,173
Ska du få se ännu en spädbarnsbild?

256
00:12:55,197 --> 00:12:56,393
(Skratt)

257
00:12:56,417 --> 00:12:59,013
En vresig kommentar från en bekant?

258
00:12:59,449 --> 00:13:01,305
En viktig men svår nyhetsnotis?

259
00:13:01,329 --> 00:13:02,811
Det finns inget rätt svar.

260
00:13:02,835 --> 00:13:05,494
Facebook optimerar flödet
för att få engagemang:

261
00:13:05,518 --> 00:13:07,263
gilla, dela, kommentera.

262
00:13:08,168 --> 00:13:10,864
I augusti 2014

263
00:13:10,888 --> 00:13:13,550
bröt protester ut i Ferguson, Missouri,

264
00:13:13,574 --> 00:13:17,991
efter att en vit polis dödat
en afro-amerikansk tonåring,

265
00:13:18,015 --> 00:13:19,585
under märkliga omständigheter.

266
00:13:19,974 --> 00:13:21,981
Nyheten om protesterna fanns överallt

267
00:13:22,005 --> 00:13:24,690
i mitt i stort sett
algoritmfria Twitter-flöde,

268
00:13:24,714 --> 00:13:26,664
men inte alls på min Facebook.

269
00:13:27,182 --> 00:13:28,916
Berodde det på mina Facebook-vänner?

270
00:13:28,940 --> 00:13:30,972
Jag inaktiverade Facebooks algoritm,

271
00:13:31,472 --> 00:13:34,320
vilket är svårt för de vill ha dig

272
00:13:34,344 --> 00:13:36,380
under algoritmens kontroll,

273
00:13:36,404 --> 00:13:38,522
och såg att mina vänner
pratade om händelsen.

274
00:13:38,526 --> 00:13:40,835
Det var bara det att algoritmen
inte visade det.

275
00:13:40,845 --> 00:13:44,631
Jag undersökte saken och fann
att det är ett vanligt problem.

276
00:13:44,631 --> 00:13:48,078
Händelsen i Ferguson
var inte algoritm-vänlig.

277
00:13:48,102 --> 00:13:49,413
Den var inte "sympatisk."

278
00:13:49,427 --> 00:13:50,849
Vem skulle klicka på "gilla?"

279
00:13:51,500 --> 00:13:53,706
Den är inte ens lätt att kommentera.

280
00:13:53,730 --> 00:13:55,301
Utan gillanden och kommentarer

281
00:13:55,321 --> 00:13:58,417
skulle algoritmen troligen visa den
för ännu färre människor,

282
00:13:58,441 --> 00:14:00,193
så därför fick vi inte se den.

283
00:14:00,946 --> 00:14:02,174
Istället, den veckan,

284
00:14:02,198 --> 00:14:04,496
lyfte Facebooks algoritm fram det här,

285
00:14:04,520 --> 00:14:06,746
ALS Ice Bucket Challenge.

286
00:14:06,770 --> 00:14:10,512
Häll iskallt vatten över dig,
och skänk pengar för ett gott syfte.

287
00:14:10,536 --> 00:14:12,870
Den var superalgoritmvänlig.

288
00:14:13,219 --> 00:14:15,832
Maskinen tog beslutet åt oss.

289
00:14:15,856 --> 00:14:19,353
En mycket viktig men svår diskussion

290
00:14:19,377 --> 00:14:20,932
skulle förmodligen kvävts

291
00:14:20,956 --> 00:14:23,792
om Facebook hade varit 
den enda nyhetskällan.

292
00:14:24,117 --> 00:14:27,914
Till sist, de här systemen
kan också göra fel

293
00:14:27,938 --> 00:14:30,674
på sätt som människor inte skulle göra.

294
00:14:30,698 --> 00:14:33,620
Kommer ni ihåg Watson,
IBMs intelligenta dator

295
00:14:33,644 --> 00:14:36,772
som sopade mattan
med deltagarna i Jeopardy?

296
00:14:36,841 --> 00:14:38,559
Den var en duktig motståndare.

297
00:14:38,583 --> 00:14:42,152
Men sen, som sista fråga i Jeopardy,
fick Watson följande fråga:

298
00:14:42,519 --> 00:14:45,771
"Största flygplatsen är döpt
efter en hjälte i 2:a världskriget,

299
00:14:45,775 --> 00:14:48,137
den andra största,
från ett slag i samma krig."

300
00:14:48,151 --> 00:14:49,579
(Nynnar Jeopardy-vinjetten)

301
00:14:49,582 --> 00:14:50,764
Chicago.

302
00:14:50,778 --> 00:14:52,668
De två människorna svarade rätt.

303
00:14:52,697 --> 00:14:57,045
Watson, å sin sida, svarade "Toronto" -

304
00:14:57,069 --> 00:14:58,887
i kategorin amerikanska städer!

305
00:14:59,336 --> 00:15:02,307
Den imponerande maskinen
gjorde också fel

306
00:15:02,341 --> 00:15:06,452
som en människa aldrig skulle göra,
en lågstadieelev aldrig skulle göra.

307
00:15:06,823 --> 00:15:09,932
Våra intelligenta maskiner kan misslyckas

308
00:15:09,956 --> 00:15:13,056
på sätt som inte följer
mänskliga mönster,

309
00:15:13,080 --> 00:15:16,030
på sätt som vi inte förväntar oss
och är förberedda för.

310
00:15:16,054 --> 00:15:19,692
Det är botten att inte få
ett jobb man är kvalificerad för,

311
00:15:19,716 --> 00:15:23,303
men det skulle suga om det
berodde på minneshanteringen

312
00:15:23,317 --> 00:15:24,899
i någon subrutin.

313
00:15:24,923 --> 00:15:26,502
(Skratt)

314
00:15:26,526 --> 00:15:29,312
I maj 2010

315
00:15:29,336 --> 00:15:33,380
drabbades Wall Street av en "blixtkrasch"
som förstärktes av en loop

316
00:15:33,404 --> 00:15:36,432
i Wall Streets sälj-algoritm

317
00:15:36,456 --> 00:15:40,640
som på 36 minuter
raderade en miljard dollar.

318
00:15:41,722 --> 00:15:43,909
Jag vill inte tänka på vad "error" betyder

319
00:15:43,933 --> 00:15:47,852
i samband med automatiserade vapensystem.

320
00:15:49,894 --> 00:15:53,684
Visst, människor har alltid
gjort partiska antaganden.

321
00:15:53,708 --> 00:15:55,884
Beslutsfattare och andra grindvakter,

322
00:15:55,908 --> 00:15:59,401
i domstolar, i nyheter, i krig ...

323
00:15:59,425 --> 00:16:02,463
de gör misstag;
och det är det här jag menar.

324
00:16:02,487 --> 00:16:06,198
Vi kan inte rymma från
de här svåra frågeställningarna.

325
00:16:06,596 --> 00:16:07,676
Vi kan inte

326
00:16:07,676 --> 00:16:10,436
lämna över ansvaret till maskiner.

327
00:16:10,676 --> 00:16:13,674
(Applåder)

328
00:16:17,089 --> 00:16:21,806
Artificiell intelligens ger oss inte
ett frikort när det gäller etik.

329
00:16:22,742 --> 00:16:26,123
Dataanalytikern Fred Benenson
kallar det för matematik-tvätt.

330
00:16:26,147 --> 00:16:27,536
Vi behöver motsatsen.

331
00:16:27,560 --> 00:16:32,948
Vi måste förfina algoritmerna,
granska och kontrollera dem.

332
00:16:33,380 --> 00:16:36,578
Vi måste se till att ha
ansvarsfulla algoritmer,

333
00:16:36,602 --> 00:16:39,047
revideringar och meningsfull transparens.

334
00:16:39,230 --> 00:16:42,864
Vi måste förstå att användande av
matematik och maskinberäkningar

335
00:16:42,874 --> 00:16:45,608
i krångliga, värdeladdade
mänskliga relationer

336
00:16:45,632 --> 00:16:48,016
inte skapar objektivitet;

337
00:16:48,040 --> 00:16:51,673
utan snarare, att komplexa handlingar
påverkar algoritmerna.

338
00:16:52,148 --> 00:16:55,635
Ja, vi kan och vi bör
använda maskinberäkningar

339
00:16:55,659 --> 00:16:57,673
som en hjälp för att ta bättre beslut.

340
00:16:57,697 --> 00:17:03,029
Men vi måste ta vårt moraliska ansvar
i beaktande i bedömningarna

341
00:17:03,053 --> 00:17:05,871
och använda algoritmerna i det ramverket,

342
00:17:05,895 --> 00:17:10,830
och inte som ett sätt att frånsäga oss
eller outsourca vårt ansvar

343
00:17:10,854 --> 00:17:13,308
till varandra som människa till människa.

344
00:17:13,807 --> 00:17:16,416
Maskinintelligens är här för att stanna.

345
00:17:16,440 --> 00:17:19,861
Det betyder att vi måste
hålla ännu hårdare

346
00:17:19,885 --> 00:17:22,032
i våra värderingar och vår etik.

347
00:17:22,056 --> 00:17:23,210
Tack.

348
00:17:23,234 --> 00:17:26,206
(Applåder)