1
00:00:00,739 --> 00:00:04,861
Dakle, počela sam da radim
kao kompjuterska programerka

2
00:00:04,885 --> 00:00:06,841
kad sam bila prva godina na fakultetu -

3
00:00:06,865 --> 00:00:08,372
u suštini kao tinejdžerka.

4
00:00:08,889 --> 00:00:10,621
Ubrzo nakon što sam počela da radim,

5
00:00:10,645 --> 00:00:12,255
da pišem softvere za firmu,

6
00:00:12,799 --> 00:00:16,434
menadžer koji je radio u firmi
se spustio do mene

7
00:00:16,458 --> 00:00:17,726
i prošaputao mi je:

8
00:00:18,229 --> 00:00:21,090
"Zna li da lažem?"

9
00:00:21,806 --> 00:00:23,883
Nije bilo više bilo koga u prostoriji.

10
00:00:25,032 --> 00:00:29,421
"Zna li ko da lažete? I zašto šapućemo?"

11
00:00:30,266 --> 00:00:33,373
Menadžer je pokazao
na kompjuter u prostoriji.

12
00:00:33,397 --> 00:00:36,493
"Zna li da lažem?"

13
00:00:37,613 --> 00:00:41,975
Pa, taj menadžer je imao aferu
sa recepcionerom.

14
00:00:41,999 --> 00:00:43,111
(Smeh)

15
00:00:43,135 --> 00:00:44,901
A ja sam još uvek bila tinejdžerka.

16
00:00:45,447 --> 00:00:47,466
Pa sam mu polušapatom odgovorila:

17
00:00:47,490 --> 00:00:51,114
"Da, kompjuter zna kad mu lažete."

18
00:00:51,138 --> 00:00:52,944
(Smeh)

19
00:00:52,968 --> 00:00:55,891
Pa, smejala sam se,
ali zapravo šala je na moj račun.

20
00:00:55,915 --> 00:00:59,183
Ovih dana imamo kompjuterske sisteme

21
00:00:59,207 --> 00:01:02,755
koji mogu da prozru
emocionalna stanja, čak i laganje,

22
00:01:02,779 --> 00:01:04,823
obradom ljudskih lica.

23
00:01:05,248 --> 00:01:09,401
Oglašivači, čak i vlade
su veoma zainteresovane za to.

24
00:01:10,319 --> 00:01:12,181
Postala sam kompjuterska programerka

25
00:01:12,205 --> 00:01:15,318
jer sam bila jedno od dece
koja su luda za matematikom i naukom.

26
00:01:15,942 --> 00:01:19,050
No, nekako sam usput
saznala za nuklearno oružje

27
00:01:19,074 --> 00:01:22,026
i postala sam zaista zabrinuta
zbog naučne etike.

28
00:01:22,050 --> 00:01:23,254
Mučilo me je to.

29
00:01:23,278 --> 00:01:25,919
Međutim, zbog porodičnih okolnosti,

30
00:01:25,943 --> 00:01:29,241
takođe je bilo potrebno
da počnem da radim što pre.

31
00:01:29,265 --> 00:01:32,564
Pa sam pomislila u sebi, hej,
hajde da izaberem tehničku oblast

32
00:01:32,588 --> 00:01:34,384
gde mogu lako da se zaposlim

33
00:01:34,408 --> 00:01:38,426
i gde ne moram da se bavim
bilo kakvim mučnim etičkim pitanjem.

34
00:01:39,022 --> 00:01:40,551
Pa sam odabrala kompjutere.

35
00:01:40,575 --> 00:01:41,679
(Smeh)

36
00:01:41,703 --> 00:01:45,113
Pa, ha, ha, ha!
Šala je skroz na moj račun.

37
00:01:45,137 --> 00:01:47,891
Ovih dana kompjuterski naučnici
prave platforme

38
00:01:47,915 --> 00:01:52,124
koje upravljaju onim
što milijarde ljudi gledaju svakodnevno.

39
00:01:53,052 --> 00:01:56,874
Razvijaju automobile
koji mogu da odluče koga da pregaze.

40
00:01:57,707 --> 00:02:00,920
Čak grade mašine, oružja,

41
00:02:00,944 --> 00:02:03,229
koja mogu da ubijaju ljude u ratu.

42
00:02:03,253 --> 00:02:06,024
U potpunosti se radi o etici.

43
00:02:07,183 --> 00:02:09,241
Mašinska inteligencija je tu.

44
00:02:09,823 --> 00:02:13,297
Trenutno koristimo kompjutere
da donesemo razne odluke,

45
00:02:13,321 --> 00:02:15,207
ali i nove tipove odluka.

46
00:02:15,231 --> 00:02:20,403
Postavljamo kompjuterima pitanja
koja nemaju jedan pravi odgovor,

47
00:02:20,427 --> 00:02:21,629
koja su subjektivna,

48
00:02:21,653 --> 00:02:23,978
otvorena i krcata vrednostima.

49
00:02:24,002 --> 00:02:25,760
Postavljamo ovakva pitanja:

50
00:02:25,784 --> 00:02:27,434
"Koga da firma zaposli?"

51
00:02:28,096 --> 00:02:30,855
"Koje ažuriranje od kog prijatelja
treba da bude vidljivo?"

52
00:02:30,879 --> 00:02:33,145
"Koji osuđenik je skloniji
novom prestupu?"

53
00:02:33,514 --> 00:02:36,568
"Koji novinski čalanak ili film
treba preporučiti ljudima?"

54
00:02:36,592 --> 00:02:39,964
Gledajte, da, već neko vreme
koristimo kompjutere,

55
00:02:39,988 --> 00:02:41,505
ali ovo je drugačije.

56
00:02:41,529 --> 00:02:43,596
Ovo je istorijski preokret

57
00:02:43,620 --> 00:02:48,957
jer ne možemo da usidrimo kompjutere
kod sličnih subjektivnih odluka

58
00:02:48,981 --> 00:02:54,401
na način na koji usidravamo kompjutere
koji upravljaju avionima, grade mostove,

59
00:02:54,425 --> 00:02:55,684
idu na mesec.

60
00:02:56,449 --> 00:02:59,708
Jesu li avioni bezbedniji?
Da li se most zaljuljao i pao?

61
00:02:59,732 --> 00:03:04,230
Tu imamo uspostavljene
prilično jasne repere

62
00:03:04,254 --> 00:03:06,493
i tu su zakoni prirode da nas vode.

63
00:03:06,517 --> 00:03:09,911
Nemamo slična težišta i repere

64
00:03:09,935 --> 00:03:13,898
za odluke koje se tiču
haotičnih ljudskih odnosa.

65
00:03:13,922 --> 00:03:18,159
Da bi stvari bile još složenije,
naši softveri postaju sve moćniji,

66
00:03:18,183 --> 00:03:21,956
ali takođe postaju manje
transparentni i složeniji.

67
00:03:22,542 --> 00:03:24,582
U skorije vreme, u poslednjoj deceniji,

68
00:03:24,606 --> 00:03:27,335
složeni algoritmi
su poprilično napredovali.

69
00:03:27,359 --> 00:03:29,349
Mogu da prepoznaju ljudska lica.

70
00:03:29,985 --> 00:03:32,040
Mogu da dešifruju rukopis.

71
00:03:32,436 --> 00:03:34,502
Mogu da zapaze prevaru
kod kreditnih kartica

72
00:03:34,526 --> 00:03:35,715
i da blokiraju spamove

73
00:03:35,739 --> 00:03:37,776
i da prevode s jezika na jezik.

74
00:03:37,800 --> 00:03:40,374
Mogu da zapaze tumore
na medicinskim snimcima.

75
00:03:40,398 --> 00:03:42,603
Mogu da pobede ljude u šahu i gou.

76
00:03:43,264 --> 00:03:47,768
Veliki deo ovog napretka potiče
od metoda nazvanog "mašinsko učenje".

77
00:03:48,175 --> 00:03:51,362
Mašinsko učenje se razlikuje
od tradicionalnog programiranja,

78
00:03:51,386 --> 00:03:54,971
gde dajete kompjuteru
detaljne, tačne, minuciozne instrukcije.

79
00:03:55,378 --> 00:03:59,494
Pre se radi o odabiru sistema
i pohranjivanju podataka u njega,

80
00:03:59,494 --> 00:04:01,240
uključujući nestrukturirane podatke,

81
00:04:01,264 --> 00:04:03,542
poput onih koje stvaramo
u digitalnim životima.

82
00:04:03,566 --> 00:04:06,296
A sistem uči, pretresajući podatke.

83
00:04:06,669 --> 00:04:08,195
Suštinsko je takođe

84
00:04:08,219 --> 00:04:12,599
da se ovi sistemi ne vode
logikom samo jednog odgovora.

85
00:04:12,623 --> 00:04:15,582
Ne proizvode jednostavne odgovore;
više se radi o verovatnoći:

86
00:04:15,606 --> 00:04:19,089
"Ovo je verovatno sličnije
onome što tražite."

87
00:04:20,023 --> 00:04:23,087
Sad, pozitivno je:
ovaj metod je zaista moćan.

88
00:04:23,087 --> 00:04:25,193
Glavni u Guglovom sistemu
za VI je to nazvao:

89
00:04:25,217 --> 00:04:27,414
"nerazumna efikasnost podataka."

90
00:04:27,791 --> 00:04:29,144
Negativno je:

91
00:04:29,738 --> 00:04:32,809
ne razumemo zaista šta je sistem naučio.

92
00:04:32,833 --> 00:04:34,420
Zapravo, to je njegova moć.

93
00:04:34,946 --> 00:04:38,744
Ovo manje liči na davanje
uputstava kompjuteru;

94
00:04:39,200 --> 00:04:43,264
više liči na dresiranje
bića - mehaničko kuče,

95
00:04:43,288 --> 00:04:45,659
koje zaista ne razumemo,
niti kontrolišemo.

96
00:04:46,362 --> 00:04:47,913
Dakle, to je naš problem.

97
00:04:48,427 --> 00:04:52,689
Problem je kad ovaj sistem veštačke
inteligencije nešto pogrešno shvati.

98
00:04:52,713 --> 00:04:56,253
Takođe je problem kad nešto dobro shvati.

99
00:04:56,277 --> 00:04:59,905
jer čak ni ne znamo šta je šta
kod subjektivnog problema.

100
00:04:59,929 --> 00:05:02,268
Ne znamo o čemu ova stvar razmišlja.

101
00:05:03,493 --> 00:05:07,176
Dakle, uzmite u obzir
algoritam za zapošljavanje -

102
00:05:08,123 --> 00:05:12,434
sistem koji se koristi pri zapošljavanju,
koji koristi sisteme mašinskog učenja.

103
00:05:13,052 --> 00:05:16,631
Sličan sistem je obučavan
na podacima prethodnih zaposlenih

104
00:05:16,655 --> 00:05:19,246
i naučen je da pronalazi i zapošljava

105
00:05:19,270 --> 00:05:22,308
ljude poput postojećih
najučinkovitijih u firmi.

106
00:05:22,814 --> 00:05:23,967
Zvuči dobro.

107
00:05:23,991 --> 00:05:25,990
Jednom sam bila na konferenciji

108
00:05:26,014 --> 00:05:29,123
koja je spojila menadžere
iz kadrovske službe i direktore,

109
00:05:29,123 --> 00:05:30,353
ljude s visokih pozicija,

110
00:05:30,353 --> 00:05:32,072
koristeći ove sisteme zapošljavanja.

111
00:05:32,072 --> 00:05:33,622
Bili su veoma uzbuđeni.

112
00:05:33,646 --> 00:05:38,299
Smatrali su da bi zbog ovoga zapošljavanje
bilo objektivnije, nepristrasnije,

113
00:05:38,323 --> 00:05:41,323
i da bi žene i manjine imale više šanse,

114
00:05:41,347 --> 00:05:43,535
nasuprot pristrasnim ljudskim menadžerima.

115
00:05:43,559 --> 00:05:46,402
I, gledajte -
zapošljavanje ljudi je pristrasno.

116
00:05:47,099 --> 00:05:48,284
Znam.

117
00:05:48,308 --> 00:05:51,313
Mislim, na jednom od mojih
prvih poslova kao programerke,

118
00:05:51,337 --> 00:05:55,205
moja nadređena menadžerka bi ponekad
prišla mestu na kom sam,

119
00:05:55,229 --> 00:05:58,982
veoma rano ujutru
ili veoma kasno poslepodne,

120
00:05:59,006 --> 00:06:02,068
i rekla bi: "Zejnep, pođimo na ručak!"

121
00:06:02,724 --> 00:06:04,891
Zbunilo bi me neobično vreme.

122
00:06:04,915 --> 00:06:07,044
Četiri je popodne. Ručak?

123
00:06:07,068 --> 00:06:10,162
Bila sam švorc, pa sam uvek išla
na besplatan ručak.

124
00:06:10,618 --> 00:06:12,685
Kasnije sam shvatila o čemu se radilo.

125
00:06:12,709 --> 00:06:17,255
Moji nadređeni menadžeri
nisu priznali svojim nadređenim

126
00:06:17,259 --> 00:06:21,202
da je programer kog su zaposlili
za ozbiljan posao bila tinejdžerka

127
00:06:21,622 --> 00:06:24,426
koja je nosila farmerke i patike na posao.

128
00:06:25,174 --> 00:06:27,376
Bila sam dobar radnik,
samo pogrešnog izgleda

129
00:06:27,400 --> 00:06:29,099
i bila sam pogrešnih godina i roda.

130
00:06:29,123 --> 00:06:32,469
Pa zapošljavanje
na rodno i rasno nepristrasan način

131
00:06:32,493 --> 00:06:34,358
izvesno da mi zvuči dobro.

132
00:06:35,031 --> 00:06:38,372
Ali uz ove sisteme,
složenije je, a evo zašto:

133
00:06:38,968 --> 00:06:44,759
trenutno kompjuterski sistemi
mogu da zaključe razne stvari o vama

134
00:06:44,783 --> 00:06:46,655
iz vaših digitalnih tragova,

135
00:06:46,679 --> 00:06:49,012
čak iako to niste obelodanili.

136
00:06:49,506 --> 00:06:52,433
Mogu da zaključe vašu
seksualnu orijentaciju,

137
00:06:52,994 --> 00:06:54,300
vaše lične osobine,

138
00:06:54,859 --> 00:06:56,232
vaša politička naginjanja.

139
00:06:56,830 --> 00:07:00,515
Imaju moć predviđanja
sa visokim stepenom tačnosti.

140
00:07:01,362 --> 00:07:03,940
Zapamtite - za ono što čak
niste ni obelodanili.

141
00:07:03,964 --> 00:07:05,555
To je zaključivanje.

142
00:07:05,579 --> 00:07:08,840
Imam prijateljicu koja je razvila
sličan kompjuterski sistem

143
00:07:08,864 --> 00:07:12,505
za predviđanje verovatnoće
kliničke ili postporođajne depresije

144
00:07:12,529 --> 00:07:14,075
iz podataka sa društvenih mreža.

145
00:07:14,676 --> 00:07:16,103
Rezultati su bili impresivni.

146
00:07:16,492 --> 00:07:19,849
Njeni sistemi mogu da predvide
verovatnoću depresije

147
00:07:19,873 --> 00:07:23,776
mesecima pre nastupa
bilo kakvih simptoma -

148
00:07:23,800 --> 00:07:25,173
mesecima ranije.

149
00:07:25,197 --> 00:07:27,443
Bez simptoma imamo predviđanje.

150
00:07:27,467 --> 00:07:32,279
Ona se nada da će biti korišćeni
za rane intervencije. Sjajno!

151
00:07:32,911 --> 00:07:34,951
Sad ovo stavite u kontekst zapošljavanja.

152
00:07:36,027 --> 00:07:39,073
Pa sam na ovoj konferenciji
menadžera iz kadrovske

153
00:07:39,097 --> 00:07:43,806
prišla visokoprofilnoj menadžerki
iz prilično velike firme,

154
00:07:43,830 --> 00:07:48,408
i rekla sam joj: "Pazi, šta ako bi,
bez tvog znanja,

155
00:07:48,432 --> 00:07:54,981
ovaj sistem iskorenjivao ljude sa velikim
izgledima za depresiju u budućnosti?

156
00:07:55,761 --> 00:07:59,237
Trenutno nisu depresivni, ali je veća
verovatnoća da će biti u budućnosti.

157
00:07:59,923 --> 00:08:03,329
Šta ako iskorenjuje žene
s većom verovatnoćom da zatrudne

158
00:08:03,353 --> 00:08:05,939
u narednih godinu ili dve,
ali trenutno nisu trudne?

159
00:08:06,844 --> 00:08:12,480
Šta ako zapošljava agresivne ljude
jer je to kultura na vašem radnom mestu?"

160
00:08:13,173 --> 00:08:15,864
Ovo ne možete da vidite,
posmatrajući rodnu nejednakost.

161
00:08:15,888 --> 00:08:17,460
Ona bi mogla da bude u ravnoteži.

162
00:08:17,460 --> 00:08:20,971
A kako se radi o mašinskom učenju,
a ne tradicionalnom programiranju,

163
00:08:20,995 --> 00:08:25,902
tu nemamo varijablu
s oznakom "veći rizik od depresije",

164
00:08:25,926 --> 00:08:27,759
"veći rizik za trudnoću",

165
00:08:27,783 --> 00:08:29,517
"skala agresivnih muškaraca".

166
00:08:29,995 --> 00:08:33,674
Ne samo da ne znate
na osnovu čega vaš sistem bira,

167
00:08:33,698 --> 00:08:36,021
čak ne znate ni gde da gledate.

168
00:08:36,045 --> 00:08:37,291
To je crna kutija.

169
00:08:37,315 --> 00:08:40,122
Ima moć predviđanja,
ali je vi ne razumete.

170
00:08:40,486 --> 00:08:42,855
"Koja vam je zaštita",
pitala sam, "koju imate

171
00:08:42,879 --> 00:08:46,552
kojom se starate da crna kutija
ne obavlja nešto sumnjivo?"

172
00:08:48,863 --> 00:08:52,741
Pogledala me je kao da sam
nagazila na 10 kučećih repića.

173
00:08:52,765 --> 00:08:54,013
(Smeh)

174
00:08:54,037 --> 00:08:56,078
Buljila je u mene i rekla:

175
00:08:56,556 --> 00:09:00,889
"Ne želim da čujem ni reč više o ovome."

176
00:09:01,458 --> 00:09:03,492
Okrenula se i otišla.

177
00:09:04,064 --> 00:09:05,550
Pazite - nije bila nepristojna.

178
00:09:05,574 --> 00:09:11,882
Jasno se radilo o ovome: ono što ne znam
nije moj problem, nestani, prazan pogeld.

179
00:09:11,906 --> 00:09:13,152
(Smeh)

180
00:09:13,862 --> 00:09:17,701
Vidite, sličan sistem bi mogao
čak da bude na neki način

181
00:09:17,725 --> 00:09:19,828
i manje pristrasan od ljudskih menadžera.

182
00:09:19,852 --> 00:09:21,998
I mogao bi da ima finansijsku prednost.

183
00:09:22,573 --> 00:09:24,223
Ali bi takođe mogao da dovede

184
00:09:24,247 --> 00:09:28,995
do stabilnog, ali prikrivenog
isključivanja sa tržišta rada

185
00:09:29,019 --> 00:09:31,312
ljudi s većim rizikom od depresije.

186
00:09:31,753 --> 00:09:34,349
Da li je ovo oblik društva
koji želimo da gradimo,

187
00:09:34,373 --> 00:09:36,658
a da pri tom ne znamo da smo to uradili

188
00:09:36,682 --> 00:09:40,646
jer smo prepustili donošenje odluka
mašinama koje u potpunosti ne razumemo?

189
00:09:41,265 --> 00:09:42,723
Drugi problem je sledeće:

190
00:09:43,314 --> 00:09:47,766
ovi sistemi su često obučavani
na podacima koje proizvode naša delanja,

191
00:09:47,790 --> 00:09:49,606
na ljudskom otisku.

192
00:09:50,188 --> 00:09:53,996
Pa, oni bi prosto mogli
da odražavaju naše predrasude,

193
00:09:54,020 --> 00:09:57,613
i ovi sistemi bi mogli
da pokupe naše predrasude

194
00:09:57,637 --> 00:09:58,950
i da ih naglase

195
00:09:58,974 --> 00:10:00,392
i potom da nam ih pokažu,

196
00:10:00,416 --> 00:10:01,878
dok mi govorimo sebi:

197
00:10:01,902 --> 00:10:05,019
"Samo izvodimo objektivne,
neutralne proračune."

198
00:10:06,314 --> 00:10:08,991
Istraživači su otkrili da na Guglu

199
00:10:10,134 --> 00:10:15,447
ženama mnogo ređe nego muškarcima
prikazuju oglase za dobro plaćene poslove.

200
00:10:16,463 --> 00:10:18,993
A pretraga afroameričkih imena

201
00:10:19,017 --> 00:10:23,723
često sa sobom povlači oglase
koji nagoveštavaju kriminalnu prošlost,

202
00:10:23,747 --> 00:10:25,314
čak i kad ona ne postoji.

203
00:10:26,693 --> 00:10:30,242
Slične prikrivene predrasude
i algoritmi nalik crnoj kutiji,

204
00:10:30,266 --> 00:10:34,239
koje istraživači povremeno otkrivaju,
ali ponekad to ne uspeju,

205
00:10:34,263 --> 00:10:36,924
mogu da imaju ozbiljne posledice.

206
00:10:37,958 --> 00:10:42,117
Okrivljeni iz Viskonsina
je osuđen na šest godina zatvora

207
00:10:42,141 --> 00:10:43,496
zbog izbegavanja policije.

208
00:10:44,824 --> 00:10:46,010
Možda ne znate za ovo,

209
00:10:46,034 --> 00:10:50,032
ali algoritme sve češće koriste
u odlučivanju o uslovnoj ili kazni.

210
00:10:50,056 --> 00:10:53,011
Želeo je da zna:
kako su izračunali ovaj rezultat?

211
00:10:53,795 --> 00:10:55,460
To je komercijalna crna kutija.

212
00:10:55,484 --> 00:10:59,689
Firma je odbila da njen algoritam
izazovu na javnom suđenju.

213
00:11:00,396 --> 00:11:05,928
No, ProPublica, istraživačka neprofitna
organizacija je proverila taj algoritam

214
00:11:05,952 --> 00:11:07,968
sa podacima koje su uspeli da nađu

215
00:11:07,992 --> 00:11:10,308
i otkrili su da su njihovi
rezultati pristrasni,

216
00:11:10,332 --> 00:11:13,961
a da je njihova moć predviđanja očajna,
jedva bolja od nagađanja

217
00:11:13,985 --> 00:11:18,401
i da su pogrešno označavali
okrivljene crnce kao buduće kriminalce,

218
00:11:18,425 --> 00:11:22,320
dvostruko češće nego okrivljene belce.

219
00:11:23,891 --> 00:11:25,455
Pa, razmotrite ovaj slučaj:

220
00:11:26,103 --> 00:11:29,955
ova žena je kasnila da pokupi svoje kumče

221
00:11:29,979 --> 00:11:32,054
iz okruga Brauard u Floridi,

222
00:11:32,757 --> 00:11:35,113
trčala je niz ulicu
sa svojom prijateljicom.

223
00:11:35,137 --> 00:11:39,236
Spazile su nezaključan dečji bicikl
i skuter na tremu

224
00:11:39,260 --> 00:11:40,892
i nesmotreno su sele na bicikl.

225
00:11:40,916 --> 00:11:43,515
Dok su jurile dalje,
žena je izašla i rekla:

226
00:11:43,539 --> 00:11:45,744
"Hej! To je bicikl mog deteta!"

227
00:11:45,768 --> 00:11:49,062
Ostavile su ga, odšetale, ali su uhapšene.

228
00:11:49,086 --> 00:11:52,723
Pogrešila je, bila je nesmotrena,
ali je takođe imala svega 18 godina.

229
00:11:52,747 --> 00:11:55,291
Imala je nekoliko maloletničkih prekršaja.

230
00:11:55,808 --> 00:12:00,993
U međuvremenu, ovaj čovek je uhapšen
zbog krađe u supermarketu -

231
00:12:01,017 --> 00:12:03,941
robe u vrednosti od 85 dolara,
sličan manji zločin.

232
00:12:04,766 --> 00:12:09,325
Ali je pre toga imao
dve osude zbog oružane pljačke.

233
00:12:09,955 --> 00:12:13,437
Ali je algoritam nju ocenio
kao visokorizičnu, a njega nije.

234
00:12:14,746 --> 00:12:18,620
Dve godine kasnije, ProPublica je otkrila
da ona nije imala novih prekršaja.

235
00:12:18,644 --> 00:12:21,194
Samo joj je sa dosijeom
bilo teško da nađe posao.

236
00:12:21,218 --> 00:12:23,294
On, s druge strane, ponovo je u zatvoru

237
00:12:23,318 --> 00:12:27,154
i ovaj put služi kaznu od osam godina
zbog kasnijeg zločina.

238
00:12:28,088 --> 00:12:31,457
Očigledno, moramo da proveravamo
naše crne kutije

239
00:12:31,481 --> 00:12:34,096
kako ne bi imale
sličnu nekontrolisanu moć.

240
00:12:34,120 --> 00:12:36,999
(Aplauz)

241
00:12:38,087 --> 00:12:42,329
Provere su sjajne i važne,
ali ne rešavaju sve naše probleme.

242
00:12:42,353 --> 00:12:45,101
Uzmite Fejsbukov moćan
algoritam za dostavu vesti -

243
00:12:45,125 --> 00:12:49,968
znate, onaj koji sve rangira
i odlučuje šta da vam pokaže

244
00:12:49,992 --> 00:12:52,276
od svih prijatelja
i stranica koje pratite.

245
00:12:52,898 --> 00:12:55,173
Da li da vam pokaže još jednu sliku bebe?

246
00:12:55,197 --> 00:12:56,393
(Smeh)

247
00:12:56,417 --> 00:12:59,013
Sumornu poruku od poznanika?

248
00:12:59,449 --> 00:13:01,305
Važnu, ali tešku vest?

249
00:13:01,329 --> 00:13:02,811
Nema pravog odgovora.

250
00:13:02,835 --> 00:13:05,494
Fejsbuk najviše ima koristi
od angažmana na sajtu:

251
00:13:05,518 --> 00:13:07,013
sviđanja, deljenja, komentara.

252
00:13:08,168 --> 00:13:10,864
Avgusta 2014,

253
00:13:10,888 --> 00:13:13,550
izbili su protesti u Fergusonu, Misuri,

254
00:13:13,574 --> 00:13:17,991
nakon ubistva afroameričkog tinejdžera
od strane policajca belca,

255
00:13:18,015 --> 00:13:19,585
pod nejasnim okolnostima.

256
00:13:19,974 --> 00:13:21,981
Vesti o protestima su bile svuda

257
00:13:22,005 --> 00:13:24,690
po mom algoritamski nefilterisanom
Tviter nalogu,

258
00:13:24,714 --> 00:13:26,664
ali nigde na mom Fejsbuku.

259
00:13:27,142 --> 00:13:28,956
Da li su krivi prijatelji na Fejsbuku?

260
00:13:28,956 --> 00:13:30,972
Onemogućila sam Fejsbukov algoritam,

261
00:13:31,472 --> 00:13:34,320
a to je teško jer Fejsbuk
nastoji da vas natera

262
00:13:34,344 --> 00:13:36,380
da budete pod kontrolom algoritma,

263
00:13:36,404 --> 00:13:38,642
i videla sam da moji prijatelji
govore o tome.

264
00:13:38,666 --> 00:13:41,175
Samo mi moj algoritam to nije pokazivao.

265
00:13:41,199 --> 00:13:44,241
Istražila sam ovo i otkrila
da je ovo raširen problem.

266
00:13:44,265 --> 00:13:48,072
Priča o Fergusonu
nije bila prihvatljiva za algoritam.

267
00:13:48,072 --> 00:13:49,273
Nije nešto za "sviđanje".

268
00:13:49,297 --> 00:13:50,849
Ko će da pritisne "sviđanje"?

269
00:13:51,500 --> 00:13:53,706
Nije je čak lako ni komentarisati.

270
00:13:53,730 --> 00:13:55,101
Bez sviđanja i komentara,

271
00:13:55,125 --> 00:13:58,417
algoritam je težio da je prikaže
čak i manjem broju ljudi,

272
00:13:58,441 --> 00:13:59,983
pa nismo mogli da je vidimo.

273
00:14:00,946 --> 00:14:02,174
Umesto toga, te sedmice,

274
00:14:02,198 --> 00:14:04,496
Fejsbukov algoritam je izdvojio ovo,

275
00:14:04,520 --> 00:14:06,746
a to je ALS ledeni izazov.

276
00:14:06,770 --> 00:14:10,512
Plemenit cilj; polij se ledenom vodom,
doniraj u dobrotvorne svrhe, fino.

277
00:14:10,536 --> 00:14:12,620
Ali bilo je veoma
algoritamski prihvatljivo.

278
00:14:13,219 --> 00:14:15,832
Mašina je donela ovu odluku u naše ime.

279
00:14:15,856 --> 00:14:19,353
Veoma važan, ali težak razgovor

280
00:14:19,377 --> 00:14:20,932
je mogao da bude ugušen,

281
00:14:20,956 --> 00:14:23,652
da je Fejsbuk bio jedini kanal.

282
00:14:24,117 --> 00:14:27,914
Sad, naposletku, ovi sistemi
takođe mogu da greše

283
00:14:27,938 --> 00:14:30,648
drugačije od ljudskih sistema.

284
00:14:30,648 --> 00:14:33,840
Ljudi, sećate li se Votsona,
IBM-ovog sistema mašinske inteligencije

285
00:14:33,840 --> 00:14:36,802
koji je obrisao pod
ljudskim takmičarima na kvizu?

286
00:14:37,131 --> 00:14:38,559
Bio je sjajan takmičar.

287
00:14:38,583 --> 00:14:42,152
Ali su ga onda u finalnom izazovu
upitali sledeće pitanje:

288
00:14:42,569 --> 00:14:45,611
"Njegov najveći aerodrom je nazvan
po heroju iz II svetskog rata,

289
00:14:45,615 --> 00:14:47,897
a drugi po veličini
po bici iz II svetskog rata."

290
00:14:47,897 --> 00:14:49,339
(Pevuši finalnu temu iz kviza)

291
00:14:49,582 --> 00:14:50,764
Čikago.

292
00:14:50,788 --> 00:14:52,238
Oba ljudska bića su pogodila.

293
00:14:52,697 --> 00:14:57,045
Votson, s druge strane,
odgovorio je: "Toronto" -

294
00:14:57,069 --> 00:14:58,887
za kategoriju gradova SAD-a.

295
00:14:59,596 --> 00:15:02,497
Impresivni sistem je napravio i grešku

296
00:15:02,521 --> 00:15:06,172
koju ljudsko biće nikad ne bi,
drugaš je nikad ne bi napravio.

297
00:15:06,823 --> 00:15:09,932
Naša mašinska inteligencija može da omane

298
00:15:09,956 --> 00:15:13,056
na načine koji se ne uklapaju
sa obrascima grešenja kod ljudi,

299
00:15:13,080 --> 00:15:16,030
na načine koji su neočekivani
i na koje nismo pripremljeni.

300
00:15:16,054 --> 00:15:19,692
Bilo bi loše ne dobiti posao
za koji ste kvalifikovani,

301
00:15:19,716 --> 00:15:23,437
ali bi bilo tri puta gore
ako bi to bilo zbog preopterećenja

302
00:15:23,437 --> 00:15:24,979
u nekakvoj sistemskoj podrutini.

303
00:15:24,979 --> 00:15:26,522
(Smeh)

304
00:15:26,526 --> 00:15:29,312
U maju 2010,

305
00:15:29,336 --> 00:15:33,380
munjevit krah na Vol Stritu
je pokrenut povratnom petljom

306
00:15:33,404 --> 00:15:36,432
u Vol Stritovom algoritmu "prodaja",

307
00:15:36,456 --> 00:15:40,640
izbrisao je vrednost
od trilion dolara za 36 minuta.

308
00:15:41,692 --> 00:15:43,929
Ne želim da razmišljam
o tome šta znači "greška"

309
00:15:43,933 --> 00:15:47,522
u kontekstu smrtonosnog
autonomnog oružja.

310
00:15:49,894 --> 00:15:53,684
Dakle, da, ljudi su oduvek
bili pristrasni.

311
00:15:53,708 --> 00:15:55,884
Donosioci odluka i čuvari informacija,

312
00:15:55,908 --> 00:15:59,401
na sudovima, vestima, u ratu...

313
00:15:59,425 --> 00:16:02,463
oni greše; ali u tome je poenta.

314
00:16:02,487 --> 00:16:06,008
Ne možemo da izbegnemo
ova teška pitanja.

315
00:16:06,596 --> 00:16:10,112
Ne možemo da delegiramo
naša zaduženja mašinama.

316
00:16:10,676 --> 00:16:14,884
(Aplauz)

317
00:16:17,089 --> 00:16:21,536
Veštačka inteligencija nam ne pruža
besplatnu kartu za "beg od etike".

318
00:16:22,742 --> 00:16:26,123
Naučnik za podatke Fred Benson
to naziva matematičkim ispiranjem.

319
00:16:26,147 --> 00:16:27,536
Potrebno nam je suprotno.

320
00:16:27,560 --> 00:16:32,948
Moramo da negujemo sumnju u algoritme,
nadzor i istraživanje.

321
00:16:33,380 --> 00:16:36,578
Moramo da se postaramo
da imamo algoritamsku odgovrnost,

322
00:16:36,602 --> 00:16:39,047
proveru i smislenu transparentnost.

323
00:16:39,380 --> 00:16:42,614
Moramo da prihvatimo
da uvođenje matematike i kompjutera

324
00:16:42,638 --> 00:16:45,608
u neuredne ljudske odnose
vođene vrednostima

325
00:16:45,632 --> 00:16:48,016
ne donosi objektivnost;

326
00:16:48,040 --> 00:16:51,673
već pre složenost ljudskih odnosa
osvaja algoritme.

327
00:16:52,148 --> 00:16:55,635
Da, možemo i treba da koristimo kompjutere

328
00:16:55,659 --> 00:16:57,673
kako bi donosili bolje odluke.

329
00:16:57,697 --> 00:17:03,029
Ali moramo da ovladamo
našom moralnom odgovornošću i rasuđivanjem

330
00:17:03,053 --> 00:17:05,871
i da koristimo algoritme
unutar tog okvira,

331
00:17:05,895 --> 00:17:10,830
ne kao sredstva da se odreknemo
i da delegiramo naše odgovornosti

332
00:17:10,854 --> 00:17:13,308
nekom drugom, kao čovek čoveku.

333
00:17:13,807 --> 00:17:16,416
Mašinska inteligencija je tu.

334
00:17:16,440 --> 00:17:19,861
To znači da se kao nikad pre
moramo čvrsto držati

335
00:17:19,885 --> 00:17:22,032
ljudskih vrednosti i ljudske etike.

336
00:17:22,056 --> 00:17:23,210
Hvala vam.

337
00:17:23,234 --> 00:17:27,764
(Aplauz)