0:00:00.739,0:00:04.861
Dakle, počela sam da radim[br]kao kompjuterska programerka

0:00:04.885,0:00:06.841
kad sam bila prva godina na fakultetu -

0:00:06.865,0:00:08.372
u suštini kao tinejdžerka.

0:00:08.889,0:00:10.621
Ubrzo nakon što sam počela da radim,

0:00:10.645,0:00:12.255
da pišem softvere za firmu,

0:00:12.799,0:00:16.434
menadžer koji je radio u firmi[br]se spustio do mene

0:00:16.458,0:00:17.726
i prošaputao mi je:

0:00:18.229,0:00:21.090
"Zna li da lažem?"

0:00:21.806,0:00:23.883
Nije bilo više bilo koga u prostoriji.

0:00:25.032,0:00:29.421
"Zna li ko da lažete? I zašto šapućemo?"

0:00:30.266,0:00:33.373
Menadžer je pokazao[br]na kompjuter u prostoriji.

0:00:33.397,0:00:36.493
"Zna li da lažem?"

0:00:37.613,0:00:41.975
Pa, taj menadžer je imao aferu[br]sa recepcionerom.

0:00:41.999,0:00:43.111
(Smeh)

0:00:43.135,0:00:44.901
A ja sam još uvek bila tinejdžerka.

0:00:45.447,0:00:47.466
Pa sam mu polušapatom odgovorila:

0:00:47.490,0:00:51.114
"Da, kompjuter zna kad mu lažete."

0:00:51.138,0:00:52.944
(Smeh)

0:00:52.968,0:00:55.891
Pa, smejala sam se,[br]ali zapravo šala je na moj račun.

0:00:55.915,0:00:59.183
Ovih dana imamo kompjuterske sisteme

0:00:59.207,0:01:02.755
koji mogu da prozru[br]emocionalna stanja, čak i laganje,

0:01:02.779,0:01:04.823
obradom ljudskih lica.

0:01:05.248,0:01:09.401
Oglašivači, čak i vlade[br]su veoma zainteresovane za to.

0:01:10.319,0:01:12.181
Postala sam kompjuterska programerka

0:01:12.205,0:01:15.318
jer sam bila jedno od dece[br]koja su luda za matematikom i naukom.

0:01:15.942,0:01:19.050
No, nekako sam usput[br]saznala za nuklearno oružje

0:01:19.074,0:01:22.026
i postala sam zaista zabrinuta[br]zbog naučne etike.

0:01:22.050,0:01:23.254
Mučilo me je to.

0:01:23.278,0:01:25.919
Međutim, zbog porodičnih okolnosti,

0:01:25.943,0:01:29.241
takođe je bilo potrebno[br]da počnem da radim što pre.

0:01:29.265,0:01:32.564
Pa sam pomislila u sebi, hej,[br]hajde da izaberem tehničku oblast

0:01:32.588,0:01:34.384
gde mogu lako da se zaposlim

0:01:34.408,0:01:38.426
i gde ne moram da se bavim[br]bilo kakvim mučnim etičkim pitanjem.

0:01:39.022,0:01:40.551
Pa sam odabrala kompjutere.

0:01:40.575,0:01:41.679
(Smeh)

0:01:41.703,0:01:45.113
Pa, ha, ha, ha![br]Šala je skroz na moj račun.

0:01:45.137,0:01:47.891
Ovih dana kompjuterski naučnici[br]prave platforme

0:01:47.915,0:01:52.124
koje upravljaju onim[br]što milijarde ljudi gledaju svakodnevno.

0:01:53.052,0:01:56.874
Razvijaju automobile[br]koji mogu da odluče koga da pregaze.

0:01:57.707,0:02:00.920
Čak grade mašine, oružja,

0:02:00.944,0:02:03.229
koja mogu da ubijaju ljude u ratu.

0:02:03.253,0:02:06.024
U potpunosti se radi o etici.

0:02:07.183,0:02:09.241
Mašinska inteligencija je tu.

0:02:09.823,0:02:13.297
Trenutno koristimo kompjutere[br]da donesemo razne odluke,

0:02:13.321,0:02:15.207
ali i nove tipove odluka.

0:02:15.231,0:02:20.403
Postavljamo kompjuterima pitanja[br]koja nemaju jedan pravi odgovor,

0:02:20.427,0:02:21.629
koja su subjektivna,

0:02:21.653,0:02:23.978
otvorena i krcata vrednostima.

0:02:24.002,0:02:25.760
Postavljamo ovakva pitanja:

0:02:25.784,0:02:27.434
"Koga da firma zaposli?"

0:02:28.096,0:02:30.855
"Koje ažuriranje od kog prijatelja[br]treba da bude vidljivo?"

0:02:30.879,0:02:33.145
"Koji osuđenik je skloniji[br]novom prestupu?"

0:02:33.514,0:02:36.568
"Koji novinski čalanak ili film[br]treba preporučiti ljudima?"

0:02:36.592,0:02:39.964
Gledajte, da, već neko vreme[br]koristimo kompjutere,

0:02:39.988,0:02:41.505
ali ovo je drugačije.

0:02:41.529,0:02:43.596
Ovo je istorijski preokret

0:02:43.620,0:02:48.957
jer ne možemo da usidrimo kompjutere[br]kod sličnih subjektivnih odluka

0:02:48.981,0:02:54.401
na način na koji usidravamo kompjutere[br]koji upravljaju avionima, grade mostove,

0:02:54.425,0:02:55.684
idu na mesec.

0:02:56.449,0:02:59.708
Jesu li avioni bezbedniji?[br]Da li se most zaljuljao i pao?

0:02:59.732,0:03:04.230
Tu imamo uspostavljene[br]prilično jasne repere

0:03:04.254,0:03:06.493
i tu su zakoni prirode da nas vode.

0:03:06.517,0:03:09.911
Nemamo slična težišta i repere

0:03:09.935,0:03:13.898
za odluke koje se tiču[br]haotičnih ljudskih odnosa.

0:03:13.922,0:03:18.159
Da bi stvari bile još složenije,[br]naši softveri postaju sve moćniji,

0:03:18.183,0:03:21.956
ali takođe postaju manje[br]transparentni i složeniji.

0:03:22.542,0:03:24.582
U skorije vreme, u poslednjoj deceniji,

0:03:24.606,0:03:27.335
složeni algoritmi[br]su poprilično napredovali.

0:03:27.359,0:03:29.349
Mogu da prepoznaju ljudska lica.

0:03:29.985,0:03:32.040
Mogu da dešifruju rukopis.

0:03:32.436,0:03:34.502
Mogu da zapaze prevaru[br]kod kreditnih kartica

0:03:34.526,0:03:35.715
i da blokiraju spamove

0:03:35.739,0:03:37.776
i da prevode s jezika na jezik.

0:03:37.800,0:03:40.374
Mogu da zapaze tumore[br]na medicinskim snimcima.

0:03:40.398,0:03:42.603
Mogu da pobede ljude u šahu i gou.

0:03:43.264,0:03:47.768
Veliki deo ovog napretka potiče[br]od metoda nazvanog "mašinsko učenje".

0:03:48.175,0:03:51.362
Mašinsko učenje se razlikuje[br]od tradicionalnog programiranja,

0:03:51.386,0:03:54.971
gde dajete kompjuteru[br]detaljne, tačne, minuciozne instrukcije.

0:03:55.378,0:03:59.494
Pre se radi o odabiru sistema[br]i pohranjivanju podataka u njega,

0:03:59.494,0:04:01.240
uključujući nestrukturirane podatke,

0:04:01.264,0:04:03.542
poput onih koje stvaramo[br]u digitalnim životima.

0:04:03.566,0:04:06.296
A sistem uči, pretresajući podatke.

0:04:06.669,0:04:08.195
Suštinsko je takođe

0:04:08.219,0:04:12.599
da se ovi sistemi ne vode[br]logikom samo jednog odgovora.

0:04:12.623,0:04:15.582
Ne proizvode jednostavne odgovore;[br]više se radi o verovatnoći:

0:04:15.606,0:04:19.089
"Ovo je verovatno sličnije[br]onome što tražite."

0:04:20.023,0:04:23.087
Sad, pozitivno je:[br]ovaj metod je zaista moćan.

0:04:23.087,0:04:25.193
Glavni u Guglovom sistemu[br]za VI je to nazvao:

0:04:25.217,0:04:27.414
"nerazumna efikasnost podataka."

0:04:27.791,0:04:29.144
Negativno je:

0:04:29.738,0:04:32.809
ne razumemo zaista šta je sistem naučio.

0:04:32.833,0:04:34.420
Zapravo, to je njegova moć.

0:04:34.946,0:04:38.744
Ovo manje liči na davanje[br]uputstava kompjuteru;

0:04:39.200,0:04:43.264
više liči na dresiranje[br]bića - mehaničko kuče,

0:04:43.288,0:04:45.659
koje zaista ne razumemo,[br]niti kontrolišemo.

0:04:46.362,0:04:47.913
Dakle, to je naš problem.

0:04:48.427,0:04:52.689
Problem je kad ovaj sistem veštačke[br]inteligencije nešto pogrešno shvati.

0:04:52.713,0:04:56.253
Takođe je problem kad nešto dobro shvati.

0:04:56.277,0:04:59.905
jer čak ni ne znamo šta je šta[br]kod subjektivnog problema.

0:04:59.929,0:05:02.268
Ne znamo o čemu ova stvar razmišlja.

0:05:03.493,0:05:07.176
Dakle, uzmite u obzir[br]algoritam za zapošljavanje -

0:05:08.123,0:05:12.434
sistem koji se koristi pri zapošljavanju,[br]koji koristi sisteme mašinskog učenja.

0:05:13.052,0:05:16.631
Sličan sistem je obučavan[br]na podacima prethodnih zaposlenih

0:05:16.655,0:05:19.246
i naučen je da pronalazi i zapošljava

0:05:19.270,0:05:22.308
ljude poput postojećih[br]najučinkovitijih u firmi.

0:05:22.814,0:05:23.967
Zvuči dobro.

0:05:23.991,0:05:25.990
Jednom sam bila na konferenciji

0:05:26.014,0:05:29.123
koja je spojila menadžere[br]iz kadrovske službe i direktore,

0:05:29.123,0:05:30.353
ljude s visokih pozicija,

0:05:30.353,0:05:32.072
koristeći ove sisteme zapošljavanja.

0:05:32.072,0:05:33.622
Bili su veoma uzbuđeni.

0:05:33.646,0:05:38.299
Smatrali su da bi zbog ovoga zapošljavanje[br]bilo objektivnije, nepristrasnije,

0:05:38.323,0:05:41.323
i da bi žene i manjine imale više šanse,

0:05:41.347,0:05:43.535
nasuprot pristrasnim ljudskim menadžerima.

0:05:43.559,0:05:46.402
I, gledajte -[br]zapošljavanje ljudi je pristrasno.

0:05:47.099,0:05:48.284
Znam.

0:05:48.308,0:05:51.313
Mislim, na jednom od mojih[br]prvih poslova kao programerke,

0:05:51.337,0:05:55.205
moja nadređena menadžerka bi ponekad[br]prišla mestu na kom sam,

0:05:55.229,0:05:58.982
veoma rano ujutru[br]ili veoma kasno poslepodne,

0:05:59.006,0:06:02.068
i rekla bi: "Zejnep, pođimo na ručak!"

0:06:02.724,0:06:04.891
Zbunilo bi me neobično vreme.

0:06:04.915,0:06:07.044
Četiri je popodne. Ručak?

0:06:07.068,0:06:10.162
Bila sam švorc, pa sam uvek išla[br]na besplatan ručak.

0:06:10.618,0:06:12.685
Kasnije sam shvatila o čemu se radilo.

0:06:12.709,0:06:17.255
Moji nadređeni menadžeri[br]nisu priznali svojim nadređenim

0:06:17.259,0:06:21.202
da je programer kog su zaposlili[br]za ozbiljan posao bila tinejdžerka

0:06:21.622,0:06:24.426
koja je nosila farmerke i patike na posao.

0:06:25.174,0:06:27.376
Bila sam dobar radnik,[br]samo pogrešnog izgleda

0:06:27.400,0:06:29.099
i bila sam pogrešnih godina i roda.

0:06:29.123,0:06:32.469
Pa zapošljavanje[br]na rodno i rasno nepristrasan način

0:06:32.493,0:06:34.358
izvesno da mi zvuči dobro.

0:06:35.031,0:06:38.372
Ali uz ove sisteme,[br]složenije je, a evo zašto:

0:06:38.968,0:06:44.759
trenutno kompjuterski sistemi[br]mogu da zaključe razne stvari o vama

0:06:44.783,0:06:46.655
iz vaših digitalnih tragova,

0:06:46.679,0:06:49.012
čak iako to niste obelodanili.

0:06:49.506,0:06:52.433
Mogu da zaključe vašu[br]seksualnu orijentaciju,

0:06:52.994,0:06:54.300
vaše lične osobine,

0:06:54.859,0:06:56.232
vaša politička naginjanja.

0:06:56.830,0:07:00.515
Imaju moć predviđanja[br]sa visokim stepenom tačnosti.

0:07:01.362,0:07:03.940
Zapamtite - za ono što čak[br]niste ni obelodanili.

0:07:03.964,0:07:05.555
To je zaključivanje.

0:07:05.579,0:07:08.840
Imam prijateljicu koja je razvila[br]sličan kompjuterski sistem

0:07:08.864,0:07:12.505
za predviđanje verovatnoće[br]kliničke ili postporođajne depresije

0:07:12.529,0:07:14.075
iz podataka sa društvenih mreža.

0:07:14.676,0:07:16.103
Rezultati su bili impresivni.

0:07:16.492,0:07:19.849
Njeni sistemi mogu da predvide[br]verovatnoću depresije

0:07:19.873,0:07:23.776
mesecima pre nastupa[br]bilo kakvih simptoma -

0:07:23.800,0:07:25.173
mesecima ranije.

0:07:25.197,0:07:27.443
Bez simptoma imamo predviđanje.

0:07:27.467,0:07:32.279
Ona se nada da će biti korišćeni[br]za rane intervencije. Sjajno!

0:07:32.911,0:07:34.951
Sad ovo stavite u kontekst zapošljavanja.

0:07:36.027,0:07:39.073
Pa sam na ovoj konferenciji[br]menadžera iz kadrovske

0:07:39.097,0:07:43.806
prišla visokoprofilnoj menadžerki[br]iz prilično velike firme,

0:07:43.830,0:07:48.408
i rekla sam joj: "Pazi, šta ako bi,[br]bez tvog znanja,

0:07:48.432,0:07:54.981
ovaj sistem iskorenjivao ljude sa velikim[br]izgledima za depresiju u budućnosti?

0:07:55.761,0:07:59.237
Trenutno nisu depresivni, ali je veća[br]verovatnoća da će biti u budućnosti.

0:07:59.923,0:08:03.329
Šta ako iskorenjuje žene[br]s većom verovatnoćom da zatrudne

0:08:03.353,0:08:05.939
u narednih godinu ili dve,[br]ali trenutno nisu trudne?

0:08:06.844,0:08:12.480
Šta ako zapošljava agresivne ljude[br]jer je to kultura na vašem radnom mestu?"

0:08:13.173,0:08:15.864
Ovo ne možete da vidite,[br]posmatrajući rodnu nejednakost.

0:08:15.888,0:08:17.460
Ona bi mogla da bude u ravnoteži.

0:08:17.460,0:08:20.971
A kako se radi o mašinskom učenju,[br]a ne tradicionalnom programiranju,

0:08:20.995,0:08:25.902
tu nemamo varijablu[br]s oznakom "veći rizik od depresije",

0:08:25.926,0:08:27.759
"veći rizik za trudnoću",

0:08:27.783,0:08:29.517
"skala agresivnih muškaraca".

0:08:29.995,0:08:33.674
Ne samo da ne znate[br]na osnovu čega vaš sistem bira,

0:08:33.698,0:08:36.021
čak ne znate ni gde da gledate.

0:08:36.045,0:08:37.291
To je crna kutija.

0:08:37.315,0:08:40.122
Ima moć predviđanja,[br]ali je vi ne razumete.

0:08:40.486,0:08:42.855
"Koja vam je zaštita",[br]pitala sam, "koju imate

0:08:42.879,0:08:46.552
kojom se starate da crna kutija[br]ne obavlja nešto sumnjivo?"

0:08:48.863,0:08:52.741
Pogledala me je kao da sam[br]nagazila na 10 kučećih repića.

0:08:52.765,0:08:54.013
(Smeh)

0:08:54.037,0:08:56.078
Buljila je u mene i rekla:

0:08:56.556,0:09:00.889
"Ne želim da čujem ni reč više o ovome."

0:09:01.458,0:09:03.492
Okrenula se i otišla.

0:09:04.064,0:09:05.550
Pazite - nije bila nepristojna.

0:09:05.574,0:09:11.882
Jasno se radilo o ovome: ono što ne znam[br]nije moj problem, nestani, prazan pogeld.

0:09:11.906,0:09:13.152
(Smeh)

0:09:13.862,0:09:17.701
Vidite, sličan sistem bi mogao[br]čak da bude na neki način

0:09:17.725,0:09:19.828
i manje pristrasan od ljudskih menadžera.

0:09:19.852,0:09:21.998
I mogao bi da ima finansijsku prednost.

0:09:22.573,0:09:24.223
Ali bi takođe mogao da dovede

0:09:24.247,0:09:28.995
do stabilnog, ali prikrivenog[br]isključivanja sa tržišta rada

0:09:29.019,0:09:31.312
ljudi s većim rizikom od depresije.

0:09:31.753,0:09:34.349
Da li je ovo oblik društva[br]koji želimo da gradimo,

0:09:34.373,0:09:36.658
a da pri tom ne znamo da smo to uradili

0:09:36.682,0:09:40.646
jer smo prepustili donošenje odluka[br]mašinama koje u potpunosti ne razumemo?

0:09:41.265,0:09:42.723
Drugi problem je sledeće:

0:09:43.314,0:09:47.766
ovi sistemi su često obučavani[br]na podacima koje proizvode naša delanja,

0:09:47.790,0:09:49.606
na ljudskom otisku.

0:09:50.188,0:09:53.996
Pa, oni bi prosto mogli[br]da odražavaju naše predrasude,

0:09:54.020,0:09:57.613
i ovi sistemi bi mogli[br]da pokupe naše predrasude

0:09:57.637,0:09:58.950
i da ih naglase

0:09:58.974,0:10:00.392
i potom da nam ih pokažu,

0:10:00.416,0:10:01.878
dok mi govorimo sebi:

0:10:01.902,0:10:05.019
"Samo izvodimo objektivne,[br]neutralne proračune."

0:10:06.314,0:10:08.991
Istraživači su otkrili da na Guglu

0:10:10.134,0:10:15.447
ženama mnogo ređe nego muškarcima[br]prikazuju oglase za dobro plaćene poslove.

0:10:16.463,0:10:18.993
A pretraga afroameričkih imena

0:10:19.017,0:10:23.723
često sa sobom povlači oglase[br]koji nagoveštavaju kriminalnu prošlost,

0:10:23.747,0:10:25.314
čak i kad ona ne postoji.

0:10:26.693,0:10:30.242
Slične prikrivene predrasude[br]i algoritmi nalik crnoj kutiji,

0:10:30.266,0:10:34.239
koje istraživači povremeno otkrivaju,[br]ali ponekad to ne uspeju,

0:10:34.263,0:10:36.924
mogu da imaju ozbiljne posledice.

0:10:37.958,0:10:42.117
Okrivljeni iz Viskonsina[br]je osuđen na šest godina zatvora

0:10:42.141,0:10:43.496
zbog izbegavanja policije.

0:10:44.824,0:10:46.010
Možda ne znate za ovo,

0:10:46.034,0:10:50.032
ali algoritme sve češće koriste[br]u odlučivanju o uslovnoj ili kazni.

0:10:50.056,0:10:53.011
Želeo je da zna:[br]kako su izračunali ovaj rezultat?

0:10:53.795,0:10:55.460
To je komercijalna crna kutija.

0:10:55.484,0:10:59.689
Firma je odbila da njen algoritam[br]izazovu na javnom suđenju.

0:11:00.396,0:11:05.928
No, ProPublica, istraživačka neprofitna[br]organizacija je proverila taj algoritam

0:11:05.952,0:11:07.968
sa podacima koje su uspeli da nađu

0:11:07.992,0:11:10.308
i otkrili su da su njihovi[br]rezultati pristrasni,

0:11:10.332,0:11:13.961
a da je njihova moć predviđanja očajna,[br]jedva bolja od nagađanja

0:11:13.985,0:11:18.401
i da su pogrešno označavali[br]okrivljene crnce kao buduće kriminalce,

0:11:18.425,0:11:22.320
dvostruko češće nego okrivljene belce.

0:11:23.891,0:11:25.455
Pa, razmotrite ovaj slučaj:

0:11:26.103,0:11:29.955
ova žena je kasnila da pokupi svoje kumče

0:11:29.979,0:11:32.054
iz okruga Brauard u Floridi,

0:11:32.757,0:11:35.113
trčala je niz ulicu[br]sa svojom prijateljicom.

0:11:35.137,0:11:39.236
Spazile su nezaključan dečji bicikl[br]i skuter na tremu

0:11:39.260,0:11:40.892
i nesmotreno su sele na bicikl.

0:11:40.916,0:11:43.515
Dok su jurile dalje,[br]žena je izašla i rekla:

0:11:43.539,0:11:45.744
"Hej! To je bicikl mog deteta!"

0:11:45.768,0:11:49.062
Ostavile su ga, odšetale, ali su uhapšene.

0:11:49.086,0:11:52.723
Pogrešila je, bila je nesmotrena,[br]ali je takođe imala svega 18 godina.

0:11:52.747,0:11:55.291
Imala je nekoliko maloletničkih prekršaja.

0:11:55.808,0:12:00.993
U međuvremenu, ovaj čovek je uhapšen[br]zbog krađe u supermarketu -

0:12:01.017,0:12:03.941
robe u vrednosti od 85 dolara,[br]sličan manji zločin.

0:12:04.766,0:12:09.325
Ali je pre toga imao[br]dve osude zbog oružane pljačke.

0:12:09.955,0:12:13.437
Ali je algoritam nju ocenio[br]kao visokorizičnu, a njega nije.

0:12:14.746,0:12:18.620
Dve godine kasnije, ProPublica je otkrila[br]da ona nije imala novih prekršaja.

0:12:18.644,0:12:21.194
Samo joj je sa dosijeom[br]bilo teško da nađe posao.

0:12:21.218,0:12:23.294
On, s druge strane, ponovo je u zatvoru

0:12:23.318,0:12:27.154
i ovaj put služi kaznu od osam godina[br]zbog kasnijeg zločina.

0:12:28.088,0:12:31.457
Očigledno, moramo da proveravamo[br]naše crne kutije

0:12:31.481,0:12:34.096
kako ne bi imale[br]sličnu nekontrolisanu moć.

0:12:34.120,0:12:36.999
(Aplauz)

0:12:38.087,0:12:42.329
Provere su sjajne i važne,[br]ali ne rešavaju sve naše probleme.

0:12:42.353,0:12:45.101
Uzmite Fejsbukov moćan[br]algoritam za dostavu vesti -

0:12:45.125,0:12:49.968
znate, onaj koji sve rangira[br]i odlučuje šta da vam pokaže

0:12:49.992,0:12:52.276
od svih prijatelja[br]i stranica koje pratite.

0:12:52.898,0:12:55.173
Da li da vam pokaže još jednu sliku bebe?

0:12:55.197,0:12:56.393
(Smeh)

0:12:56.417,0:12:59.013
Sumornu poruku od poznanika?

0:12:59.449,0:13:01.305
Važnu, ali tešku vest?

0:13:01.329,0:13:02.811
Nema pravog odgovora.

0:13:02.835,0:13:05.494
Fejsbuk najviše ima koristi[br]od angažmana na sajtu:

0:13:05.518,0:13:07.013
sviđanja, deljenja, komentara.

0:13:08.168,0:13:10.864
Avgusta 2014,

0:13:10.888,0:13:13.550
izbili su protesti u Fergusonu, Misuri,

0:13:13.574,0:13:17.991
nakon ubistva afroameričkog tinejdžera[br]od strane policajca belca,

0:13:18.015,0:13:19.585
pod nejasnim okolnostima.

0:13:19.974,0:13:21.981
Vesti o protestima su bile svuda

0:13:22.005,0:13:24.690
po mom algoritamski nefilterisanom[br]Tviter nalogu,

0:13:24.714,0:13:26.664
ali nigde na mom Fejsbuku.

0:13:27.142,0:13:28.956
Da li su krivi prijatelji na Fejsbuku?

0:13:28.956,0:13:30.972
Onemogućila sam Fejsbukov algoritam,

0:13:31.472,0:13:34.320
a to je teško jer Fejsbuk[br]nastoji da vas natera

0:13:34.344,0:13:36.380
da budete pod kontrolom algoritma,

0:13:36.404,0:13:38.642
i videla sam da moji prijatelji[br]govore o tome.

0:13:38.666,0:13:41.175
Samo mi moj algoritam to nije pokazivao.

0:13:41.199,0:13:44.241
Istražila sam ovo i otkrila[br]da je ovo raširen problem.

0:13:44.265,0:13:48.072
Priča o Fergusonu[br]nije bila prihvatljiva za algoritam.

0:13:48.072,0:13:49.273
Nije nešto za "sviđanje".

0:13:49.297,0:13:50.849
Ko će da pritisne "sviđanje"?

0:13:51.500,0:13:53.706
Nije je čak lako ni komentarisati.

0:13:53.730,0:13:55.101
Bez sviđanja i komentara,

0:13:55.125,0:13:58.417
algoritam je težio da je prikaže[br]čak i manjem broju ljudi,

0:13:58.441,0:13:59.983
pa nismo mogli da je vidimo.

0:14:00.946,0:14:02.174
Umesto toga, te sedmice,

0:14:02.198,0:14:04.496
Fejsbukov algoritam je izdvojio ovo,

0:14:04.520,0:14:06.746
a to je ALS ledeni izazov.

0:14:06.770,0:14:10.512
Plemenit cilj; polij se ledenom vodom,[br]doniraj u dobrotvorne svrhe, fino.

0:14:10.536,0:14:12.620
Ali bilo je veoma[br]algoritamski prihvatljivo.

0:14:13.219,0:14:15.832
Mašina je donela ovu odluku u naše ime.

0:14:15.856,0:14:19.353
Veoma važan, ali težak razgovor

0:14:19.377,0:14:20.932
je mogao da bude ugušen,

0:14:20.956,0:14:23.652
da je Fejsbuk bio jedini kanal.

0:14:24.117,0:14:27.914
Sad, naposletku, ovi sistemi[br]takođe mogu da greše

0:14:27.938,0:14:30.648
drugačije od ljudskih sistema.

0:14:30.648,0:14:33.840
Ljudi, sećate li se Votsona,[br]IBM-ovog sistema mašinske inteligencije

0:14:33.840,0:14:36.802
koji je obrisao pod[br]ljudskim takmičarima na kvizu?

0:14:37.131,0:14:38.559
Bio je sjajan takmičar.

0:14:38.583,0:14:42.152
Ali su ga onda u finalnom izazovu[br]upitali sledeće pitanje:

0:14:42.569,0:14:45.611
"Njegov najveći aerodrom je nazvan[br]po heroju iz II svetskog rata,

0:14:45.615,0:14:47.897
a drugi po veličini[br]po bici iz II svetskog rata."

0:14:47.897,0:14:49.339
(Pevuši finalnu temu iz kviza)

0:14:49.582,0:14:50.764
Čikago.

0:14:50.788,0:14:52.238
Oba ljudska bića su pogodila.

0:14:52.697,0:14:57.045
Votson, s druge strane,[br]odgovorio je: "Toronto" -

0:14:57.069,0:14:58.887
za kategoriju gradova SAD-a.

0:14:59.596,0:15:02.497
Impresivni sistem je napravio i grešku

0:15:02.521,0:15:06.172
koju ljudsko biće nikad ne bi,[br]drugaš je nikad ne bi napravio.

0:15:06.823,0:15:09.932
Naša mašinska inteligencija može da omane

0:15:09.956,0:15:13.056
na načine koji se ne uklapaju[br]sa obrascima grešenja kod ljudi,

0:15:13.080,0:15:16.030
na načine koji su neočekivani[br]i na koje nismo pripremljeni.

0:15:16.054,0:15:19.692
Bilo bi loše ne dobiti posao[br]za koji ste kvalifikovani,

0:15:19.716,0:15:23.437
ali bi bilo tri puta gore[br]ako bi to bilo zbog preopterećenja

0:15:23.437,0:15:24.979
u nekakvoj sistemskoj podrutini.

0:15:24.979,0:15:26.522
(Smeh)

0:15:26.526,0:15:29.312
U maju 2010,

0:15:29.336,0:15:33.380
munjevit krah na Vol Stritu[br]je pokrenut povratnom petljom

0:15:33.404,0:15:36.432
u Vol Stritovom algoritmu "prodaja",

0:15:36.456,0:15:40.640
izbrisao je vrednost[br]od trilion dolara za 36 minuta.

0:15:41.692,0:15:43.929
Ne želim da razmišljam[br]o tome šta znači "greška"

0:15:43.933,0:15:47.522
u kontekstu smrtonosnog[br]autonomnog oružja.

0:15:49.894,0:15:53.684
Dakle, da, ljudi su oduvek[br]bili pristrasni.

0:15:53.708,0:15:55.884
Donosioci odluka i čuvari informacija,

0:15:55.908,0:15:59.401
na sudovima, vestima, u ratu...

0:15:59.425,0:16:02.463
oni greše; ali u tome je poenta.

0:16:02.487,0:16:06.008
Ne možemo da izbegnemo[br]ova teška pitanja.

0:16:06.596,0:16:10.112
Ne možemo da delegiramo[br]naša zaduženja mašinama.

0:16:10.676,0:16:14.884
(Aplauz)

0:16:17.089,0:16:21.536
Veštačka inteligencija nam ne pruža[br]besplatnu kartu za "beg od etike".

0:16:22.742,0:16:26.123
Naučnik za podatke Fred Benson[br]to naziva matematičkim ispiranjem.

0:16:26.147,0:16:27.536
Potrebno nam je suprotno.

0:16:27.560,0:16:32.948
Moramo da negujemo sumnju u algoritme,[br]nadzor i istraživanje.

0:16:33.380,0:16:36.578
Moramo da se postaramo[br]da imamo algoritamsku odgovrnost,

0:16:36.602,0:16:39.047
proveru i smislenu transparentnost.

0:16:39.380,0:16:42.614
Moramo da prihvatimo[br]da uvođenje matematike i kompjutera

0:16:42.638,0:16:45.608
u neuredne ljudske odnose[br]vođene vrednostima

0:16:45.632,0:16:48.016
ne donosi objektivnost;

0:16:48.040,0:16:51.673
već pre složenost ljudskih odnosa[br]osvaja algoritme.

0:16:52.148,0:16:55.635
Da, možemo i treba da koristimo kompjutere

0:16:55.659,0:16:57.673
kako bi donosili bolje odluke.

0:16:57.697,0:17:03.029
Ali moramo da ovladamo[br]našom moralnom odgovornošću i rasuđivanjem

0:17:03.053,0:17:05.871
i da koristimo algoritme[br]unutar tog okvira,

0:17:05.895,0:17:10.830
ne kao sredstva da se odreknemo[br]i da delegiramo naše odgovornosti

0:17:10.854,0:17:13.308
nekom drugom, kao čovek čoveku.

0:17:13.807,0:17:16.416
Mašinska inteligencija je tu.

0:17:16.440,0:17:19.861
To znači da se kao nikad pre[br]moramo čvrsto držati

0:17:19.885,0:17:22.032
ljudskih vrednosti i ljudske etike.

0:17:22.056,0:17:23.210
Hvala vam.

0:17:23.234,0:17:27.764
(Aplauz)