WEBVTT

00:00:00.739 --> 00:00:04.861
Dakle, počela sam da radim
kao kompjuterska programerka

00:00:04.885 --> 00:00:06.841
kad sam bila prva godina na fakultetu -

00:00:06.865 --> 00:00:08.372
u suštini kao tinejdžerka.

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
Ubrzo nakon što sam počela da radim,

00:00:10.645 --> 00:00:12.255
da pišem softvere za firmu,

00:00:12.799 --> 00:00:16.434
menadžer koji je radio u firmi
se spustio do mene

00:00:16.458 --> 00:00:17.726
i prošaputao mi je:

00:00:18.229 --> 00:00:21.090
"Zna li da lažem?"

00:00:21.806 --> 00:00:23.883
Nije bilo više bilo koga u prostoriji.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
"Zna li ko da lažete? I zašto šapućemo?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
Menadžer je pokazao
na kompjuter u prostoriji.

00:00:33.397 --> 00:00:36.493
"Zna li da lažem?"

00:00:37.613 --> 00:00:41.975
Pa, taj menadžer je imao aferu
sa recepcionerom.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Smeh)

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
A ja sam još uvek bila tinejdžerka.

00:00:45.447 --> 00:00:47.466
Pa sam mu polušapatom odgovorila:

00:00:47.490 --> 00:00:51.114
"Da, kompjuter zna kad mu lažete."

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Smeh)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
Pa, smejala sam se,
ali zapravo šala je na moj račun.

00:00:55.915 --> 00:00:59.183
Ovih dana imamo kompjuterske sisteme

00:00:59.207 --> 00:01:02.755
koji mogu da prozru
emocionalna stanja, čak i laganje,

00:01:02.779 --> 00:01:04.823
obradom ljudskih lica.

00:01:05.248 --> 00:01:09.401
Oglašivači, čak i vlade
su veoma zainteresovane za to.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Postala sam kompjuterska programerka

00:01:12.205 --> 00:01:15.318
jer sam bila jedno od dece
koja su luda za matematikom i naukom.

00:01:15.942 --> 00:01:19.050
No, nekako sam usput
saznala za nuklearno oružje

00:01:19.074 --> 00:01:22.026
i postala sam zaista zabrinuta
zbog naučne etike.

00:01:22.050 --> 00:01:23.254
Mučilo me je to.

00:01:23.278 --> 00:01:25.919
Međutim, zbog porodičnih okolnosti,

00:01:25.943 --> 00:01:29.241
takođe je bilo potrebno
da počnem da radim što pre.

00:01:29.265 --> 00:01:32.564
Pa sam pomislila u sebi, hej,
hajde da izaberem tehničku oblast

00:01:32.588 --> 00:01:34.384
gde mogu lako da se zaposlim

00:01:34.408 --> 00:01:38.426
i gde ne moram da se bavim
bilo kakvim mučnim etičkim pitanjem.

00:01:39.022 --> 00:01:40.551
Pa sam odabrala kompjutere.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Smeh)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Pa, ha, ha, ha!
Šala je skroz na moj račun.

00:01:45.137 --> 00:01:47.891
Ovih dana kompjuterski naučnici
prave platforme

00:01:47.915 --> 00:01:52.124
koje upravljaju onim
što milijarde ljudi gledaju svakodnevno.

00:01:53.052 --> 00:01:56.874
Razvijaju automobile
koji mogu da odluče koga da pregaze.

00:01:57.707 --> 00:02:00.920
Čak grade mašine, oružja,

00:02:00.944 --> 00:02:03.229
koja mogu da ubijaju ljude u ratu.

00:02:03.253 --> 00:02:06.024
U potpunosti se radi o etici.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
Mašinska inteligencija je tu.

00:02:09.823 --> 00:02:13.297
Trenutno koristimo kompjutere
da donesemo razne odluke,

00:02:13.321 --> 00:02:15.207
ali i nove tipove odluka.

00:02:15.231 --> 00:02:20.403
Postavljamo kompjuterima pitanja
koja nemaju jedan pravi odgovor,

00:02:20.427 --> 00:02:21.629
koja su subjektivna,

00:02:21.653 --> 00:02:23.978
otvorena i krcata vrednostima.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
Postavljamo ovakva pitanja:

00:02:25.784 --> 00:02:27.434
"Koga da firma zaposli?"

00:02:28.096 --> 00:02:30.855
"Koje ažuriranje od kog prijatelja
treba da bude vidljivo?"

00:02:30.879 --> 00:02:33.145
"Koji osuđenik je skloniji
novom prestupu?"

00:02:33.514 --> 00:02:36.568
"Koji novinski čalanak ili film
treba preporučiti ljudima?"

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Gledajte, da, već neko vreme
koristimo kompjutere,

00:02:39.988 --> 00:02:41.505
ali ovo je drugačije.

00:02:41.529 --> 00:02:43.596
Ovo je istorijski preokret

00:02:43.620 --> 00:02:48.957
jer ne možemo da usidrimo kompjutere
kod sličnih subjektivnih odluka

00:02:48.981 --> 00:02:54.401
na način na koji usidravamo kompjutere
koji upravljaju avionima, grade mostove,

00:02:54.425 --> 00:02:55.684
idu na mesec.

00:02:56.449 --> 00:02:59.708
Jesu li avioni bezbedniji?
Da li se most zaljuljao i pao?

00:02:59.732 --> 00:03:04.230
Tu imamo uspostavljene
prilično jasne repere

00:03:04.254 --> 00:03:06.493
i tu su zakoni prirode da nas vode.

00:03:06.517 --> 00:03:09.911
Nemamo slična težišta i repere

00:03:09.935 --> 00:03:13.898
za odluke koje se tiču
haotičnih ljudskih odnosa.

NOTE Paragraph

00:03:13.922 --> 00:03:18.159
Da bi stvari bile još složenije,
naši softveri postaju sve moćniji,

00:03:18.183 --> 00:03:21.956
ali takođe postaju manje
transparentni i složeniji.

00:03:22.542 --> 00:03:24.582
U skorije vreme, u poslednjoj deceniji,

00:03:24.606 --> 00:03:27.335
složeni algoritmi
su poprilično napredovali.

00:03:27.359 --> 00:03:29.349
Mogu da prepoznaju ljudska lica.

00:03:29.985 --> 00:03:32.040
Mogu da dešifruju rukopis.

00:03:32.436 --> 00:03:34.502
Mogu da zapaze prevaru
kod kreditnih kartica

00:03:34.526 --> 00:03:35.715
i da blokiraju spamove

00:03:35.739 --> 00:03:37.776
i da prevode s jezika na jezik.

00:03:37.800 --> 00:03:40.374
Mogu da zapaze tumore
na medicinskim snimcima.

00:03:40.398 --> 00:03:42.603
Mogu da pobede ljude u šahu i gou.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
Veliki deo ovog napretka potiče
od metoda nazvanog "mašinsko učenje".

00:03:48.175 --> 00:03:51.362
Mašinsko učenje se razlikuje
od tradicionalnog programiranja,

00:03:51.386 --> 00:03:54.971
gde dajete kompjuteru
detaljne, tačne, minuciozne instrukcije.

00:03:55.378 --> 00:03:59.494
Pre se radi o odabiru sistema
i pohranjivanju podataka u njega,

00:03:59.494 --> 00:04:01.240
uključujući nestrukturirane podatke,

00:04:01.264 --> 00:04:03.542
poput onih koje stvaramo
u digitalnim životima.

00:04:03.566 --> 00:04:06.296
A sistem uči, pretresajući podatke.

00:04:06.669 --> 00:04:08.195
Suštinsko je takođe

00:04:08.219 --> 00:04:12.599
da se ovi sistemi ne vode
logikom samo jednog odgovora.

00:04:12.623 --> 00:04:15.582
Ne proizvode jednostavne odgovore;
više se radi o verovatnoći:

00:04:15.606 --> 00:04:19.089
"Ovo je verovatno sličnije
onome što tražite."

NOTE Paragraph

00:04:20.023 --> 00:04:23.087
Sad, pozitivno je:
ovaj metod je zaista moćan.

00:04:23.087 --> 00:04:25.193
Glavni u Guglovom sistemu
za VI je to nazvao:

00:04:25.217 --> 00:04:27.414
"nerazumna efikasnost podataka."

00:04:27.791 --> 00:04:29.144
Negativno je:

00:04:29.738 --> 00:04:32.809
ne razumemo zaista šta je sistem naučio.

00:04:32.833 --> 00:04:34.420
Zapravo, to je njegova moć.

00:04:34.946 --> 00:04:38.744
Ovo manje liči na davanje
uputstava kompjuteru;

00:04:39.200 --> 00:04:43.264
više liči na dresiranje
bića - mehaničko kuče,

00:04:43.288 --> 00:04:45.659
koje zaista ne razumemo,
niti kontrolišemo.

00:04:46.362 --> 00:04:47.913
Dakle, to je naš problem.

00:04:48.427 --> 00:04:52.689
Problem je kad ovaj sistem veštačke
inteligencije nešto pogrešno shvati.

00:04:52.713 --> 00:04:56.253
Takođe je problem kad nešto dobro shvati.

00:04:56.277 --> 00:04:59.905
jer čak ni ne znamo šta je šta
kod subjektivnog problema.

00:04:59.929 --> 00:05:02.268
Ne znamo o čemu ova stvar razmišlja.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
Dakle, uzmite u obzir
algoritam za zapošljavanje -

00:05:08.123 --> 00:05:12.434
sistem koji se koristi pri zapošljavanju,
koji koristi sisteme mašinskog učenja.

00:05:13.052 --> 00:05:16.631
Sličan sistem je obučavan
na podacima prethodnih zaposlenih

00:05:16.655 --> 00:05:19.246
i naučen je da pronalazi i zapošljava

00:05:19.270 --> 00:05:22.308
ljude poput postojećih
najučinkovitijih u firmi.

00:05:22.814 --> 00:05:23.967
Zvuči dobro.

00:05:23.991 --> 00:05:25.990
Jednom sam bila na konferenciji

00:05:26.014 --> 00:05:29.123
koja je spojila menadžere
iz kadrovske službe i direktore,

00:05:29.123 --> 00:05:30.353
ljude s visokih pozicija,

00:05:30.353 --> 00:05:32.072
koristeći ove sisteme zapošljavanja.

00:05:32.072 --> 00:05:33.622
Bili su veoma uzbuđeni.

00:05:33.646 --> 00:05:38.299
Smatrali su da bi zbog ovoga zapošljavanje
bilo objektivnije, nepristrasnije,

00:05:38.323 --> 00:05:41.323
i da bi žene i manjine imale više šanse,

00:05:41.347 --> 00:05:43.535
nasuprot pristrasnim ljudskim menadžerima.

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
I, gledajte -
zapošljavanje ljudi je pristrasno.

00:05:47.099 --> 00:05:48.284
Znam.

00:05:48.308 --> 00:05:51.313
Mislim, na jednom od mojih
prvih poslova kao programerke,

00:05:51.337 --> 00:05:55.205
moja nadređena menadžerka bi ponekad
prišla mestu na kom sam,

00:05:55.229 --> 00:05:58.982
veoma rano ujutru
ili veoma kasno poslepodne,

00:05:59.006 --> 00:06:02.068
i rekla bi: "Zejnep, pođimo na ručak!"

00:06:02.724 --> 00:06:04.891
Zbunilo bi me neobično vreme.

00:06:04.915 --> 00:06:07.044
Četiri je popodne. Ručak?

00:06:07.068 --> 00:06:10.162
Bila sam švorc, pa sam uvek išla
na besplatan ručak.

00:06:10.618 --> 00:06:12.685
Kasnije sam shvatila o čemu se radilo.

00:06:12.709 --> 00:06:17.255
Moji nadređeni menadžeri
nisu priznali svojim nadređenim

00:06:17.259 --> 00:06:21.202
da je programer kog su zaposlili
za ozbiljan posao bila tinejdžerka

00:06:21.622 --> 00:06:24.426
koja je nosila farmerke i patike na posao.

00:06:25.174 --> 00:06:27.376
Bila sam dobar radnik,
samo pogrešnog izgleda

00:06:27.400 --> 00:06:29.099
i bila sam pogrešnih godina i roda.

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
Pa zapošljavanje
na rodno i rasno nepristrasan način

00:06:32.493 --> 00:06:34.358
izvesno da mi zvuči dobro.

00:06:35.031 --> 00:06:38.372
Ali uz ove sisteme,
složenije je, a evo zašto:

00:06:38.968 --> 00:06:44.759
trenutno kompjuterski sistemi
mogu da zaključe razne stvari o vama

00:06:44.783 --> 00:06:46.655
iz vaših digitalnih tragova,

00:06:46.679 --> 00:06:49.012
čak iako to niste obelodanili.

00:06:49.506 --> 00:06:52.433
Mogu da zaključe vašu
seksualnu orijentaciju,

00:06:52.994 --> 00:06:54.300
vaše lične osobine,

00:06:54.859 --> 00:06:56.232
vaša politička naginjanja.

00:06:56.830 --> 00:07:00.515
Imaju moć predviđanja
sa visokim stepenom tačnosti.

00:07:01.362 --> 00:07:03.940
Zapamtite - za ono što čak
niste ni obelodanili.

00:07:03.964 --> 00:07:05.555
To je zaključivanje.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
Imam prijateljicu koja je razvila
sličan kompjuterski sistem

00:07:08.864 --> 00:07:12.505
za predviđanje verovatnoće
kliničke ili postporođajne depresije

00:07:12.529 --> 00:07:14.075
iz podataka sa društvenih mreža.

00:07:14.676 --> 00:07:16.103
Rezultati su bili impresivni.

00:07:16.492 --> 00:07:19.849
Njeni sistemi mogu da predvide
verovatnoću depresije

00:07:19.873 --> 00:07:23.776
mesecima pre nastupa
bilo kakvih simptoma -

00:07:23.800 --> 00:07:25.173
mesecima ranije.

00:07:25.197 --> 00:07:27.443
Bez simptoma imamo predviđanje.

00:07:27.467 --> 00:07:32.279
Ona se nada da će biti korišćeni
za rane intervencije. Sjajno!

00:07:32.911 --> 00:07:34.951
Sad ovo stavite u kontekst zapošljavanja.

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
Pa sam na ovoj konferenciji
menadžera iz kadrovske

00:07:39.097 --> 00:07:43.806
prišla visokoprofilnoj menadžerki
iz prilično velike firme,

00:07:43.830 --> 00:07:48.408
i rekla sam joj: "Pazi, šta ako bi,
bez tvog znanja,

00:07:48.432 --> 00:07:54.981
ovaj sistem iskorenjivao ljude sa velikim
izgledima za depresiju u budućnosti?

00:07:55.761 --> 00:07:59.237
Trenutno nisu depresivni, ali je veća
verovatnoća da će biti u budućnosti.

00:07:59.923 --> 00:08:03.329
Šta ako iskorenjuje žene
s većom verovatnoćom da zatrudne

00:08:03.353 --> 00:08:05.939
u narednih godinu ili dve,
ali trenutno nisu trudne?

00:08:06.844 --> 00:08:12.480
Šta ako zapošljava agresivne ljude
jer je to kultura na vašem radnom mestu?"

00:08:13.173 --> 00:08:15.864
Ovo ne možete da vidite,
posmatrajući rodnu nejednakost.

00:08:15.888 --> 00:08:17.460
Ona bi mogla da bude u ravnoteži.

00:08:17.460 --> 00:08:20.971
A kako se radi o mašinskom učenju,
a ne tradicionalnom programiranju,

00:08:20.995 --> 00:08:25.902
tu nemamo varijablu
s oznakom "veći rizik od depresije",

00:08:25.926 --> 00:08:27.759
"veći rizik za trudnoću",

00:08:27.783 --> 00:08:29.517
"skala agresivnih muškaraca".

00:08:29.995 --> 00:08:33.674
Ne samo da ne znate
na osnovu čega vaš sistem bira,

00:08:33.698 --> 00:08:36.021
čak ne znate ni gde da gledate.

00:08:36.045 --> 00:08:37.291
To je crna kutija.

00:08:37.315 --> 00:08:40.122
Ima moć predviđanja,
ali je vi ne razumete.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
"Koja vam je zaštita",
pitala sam, "koju imate

00:08:42.879 --> 00:08:46.552
kojom se starate da crna kutija
ne obavlja nešto sumnjivo?"

00:08:48.863 --> 00:08:52.741
Pogledala me je kao da sam
nagazila na 10 kučećih repića.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Smeh)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
Buljila je u mene i rekla:

00:08:56.556 --> 00:09:00.889
"Ne želim da čujem ni reč više o ovome."

00:09:01.458 --> 00:09:03.492
Okrenula se i otišla.

00:09:04.064 --> 00:09:05.550
Pazite - nije bila nepristojna.

00:09:05.574 --> 00:09:11.882
Jasno se radilo o ovome: ono što ne znam
nije moj problem, nestani, prazan pogeld.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(Smeh)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
Vidite, sličan sistem bi mogao
čak da bude na neki način

00:09:17.725 --> 00:09:19.828
i manje pristrasan od ljudskih menadžera.

00:09:19.852 --> 00:09:21.998
I mogao bi da ima finansijsku prednost.

00:09:22.573 --> 00:09:24.223
Ali bi takođe mogao da dovede

00:09:24.247 --> 00:09:28.995
do stabilnog, ali prikrivenog
isključivanja sa tržišta rada

00:09:29.019 --> 00:09:31.312
ljudi s većim rizikom od depresije.

00:09:31.753 --> 00:09:34.349
Da li je ovo oblik društva
koji želimo da gradimo,

00:09:34.373 --> 00:09:36.658
a da pri tom ne znamo da smo to uradili

00:09:36.682 --> 00:09:40.646
jer smo prepustili donošenje odluka
mašinama koje u potpunosti ne razumemo?

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
Drugi problem je sledeće:

00:09:43.314 --> 00:09:47.766
ovi sistemi su često obučavani
na podacima koje proizvode naša delanja,

00:09:47.790 --> 00:09:49.606
na ljudskom otisku.

00:09:50.188 --> 00:09:53.996
Pa, oni bi prosto mogli
da odražavaju naše predrasude,

00:09:54.020 --> 00:09:57.613
i ovi sistemi bi mogli
da pokupe naše predrasude

00:09:57.637 --> 00:09:58.950
i da ih naglase

00:09:58.974 --> 00:10:00.392
i potom da nam ih pokažu,

00:10:00.416 --> 00:10:01.878
dok mi govorimo sebi:

00:10:01.902 --> 00:10:05.019
"Samo izvodimo objektivne,
neutralne proračune."

NOTE Paragraph

00:10:06.314 --> 00:10:08.991
Istraživači su otkrili da na Guglu

00:10:10.134 --> 00:10:15.447
ženama mnogo ređe nego muškarcima
prikazuju oglase za dobro plaćene poslove.

00:10:16.463 --> 00:10:18.993
A pretraga afroameričkih imena

00:10:19.017 --> 00:10:23.723
često sa sobom povlači oglase
koji nagoveštavaju kriminalnu prošlost,

00:10:23.747 --> 00:10:25.314
čak i kad ona ne postoji.

00:10:26.693 --> 00:10:30.242
Slične prikrivene predrasude
i algoritmi nalik crnoj kutiji,

00:10:30.266 --> 00:10:34.239
koje istraživači povremeno otkrivaju,
ali ponekad to ne uspeju,

00:10:34.263 --> 00:10:36.924
mogu da imaju ozbiljne posledice.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
Okrivljeni iz Viskonsina
je osuđen na šest godina zatvora

00:10:42.141 --> 00:10:43.496
zbog izbegavanja policije.

00:10:44.824 --> 00:10:46.010
Možda ne znate za ovo,

00:10:46.034 --> 00:10:50.032
ali algoritme sve češće koriste
u odlučivanju o uslovnoj ili kazni.

00:10:50.056 --> 00:10:53.011
Želeo je da zna:
kako su izračunali ovaj rezultat?

00:10:53.795 --> 00:10:55.460
To je komercijalna crna kutija.

00:10:55.484 --> 00:10:59.689
Firma je odbila da njen algoritam
izazovu na javnom suđenju.

00:11:00.396 --> 00:11:05.928
No, ProPublica, istraživačka neprofitna
organizacija je proverila taj algoritam

00:11:05.952 --> 00:11:07.968
sa podacima koje su uspeli da nađu

00:11:07.992 --> 00:11:10.308
i otkrili su da su njihovi
rezultati pristrasni,

00:11:10.332 --> 00:11:13.961
a da je njihova moć predviđanja očajna,
jedva bolja od nagađanja

00:11:13.985 --> 00:11:18.401
i da su pogrešno označavali
okrivljene crnce kao buduće kriminalce,

00:11:18.425 --> 00:11:22.320
dvostruko češće nego okrivljene belce.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
Pa, razmotrite ovaj slučaj:

00:11:26.103 --> 00:11:29.955
ova žena je kasnila da pokupi svoje kumče

00:11:29.979 --> 00:11:32.054
iz okruga Brauard u Floridi,

00:11:32.757 --> 00:11:35.113
trčala je niz ulicu
sa svojom prijateljicom.

00:11:35.137 --> 00:11:39.236
Spazile su nezaključan dečji bicikl
i skuter na tremu

00:11:39.260 --> 00:11:40.892
i nesmotreno su sele na bicikl.

00:11:40.916 --> 00:11:43.515
Dok su jurile dalje,
žena je izašla i rekla:

00:11:43.539 --> 00:11:45.744
"Hej! To je bicikl mog deteta!"

00:11:45.768 --> 00:11:49.062
Ostavile su ga, odšetale, ali su uhapšene.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Pogrešila je, bila je nesmotrena,
ali je takođe imala svega 18 godina.

00:11:52.747 --> 00:11:55.291
Imala je nekoliko maloletničkih prekršaja.

00:11:55.808 --> 00:12:00.993
U međuvremenu, ovaj čovek je uhapšen
zbog krađe u supermarketu -

00:12:01.017 --> 00:12:03.941
robe u vrednosti od 85 dolara,
sličan manji zločin.

00:12:04.766 --> 00:12:09.325
Ali je pre toga imao
dve osude zbog oružane pljačke.

00:12:09.955 --> 00:12:13.437
Ali je algoritam nju ocenio
kao visokorizičnu, a njega nije.

00:12:14.746 --> 00:12:18.620
Dve godine kasnije, ProPublica je otkrila
da ona nije imala novih prekršaja.

00:12:18.644 --> 00:12:21.194
Samo joj je sa dosijeom
bilo teško da nađe posao.

00:12:21.218 --> 00:12:23.294
On, s druge strane, ponovo je u zatvoru

00:12:23.318 --> 00:12:27.154
i ovaj put služi kaznu od osam godina
zbog kasnijeg zločina.

00:12:28.088 --> 00:12:31.457
Očigledno, moramo da proveravamo
naše crne kutije

00:12:31.481 --> 00:12:34.096
kako ne bi imale
sličnu nekontrolisanu moć.

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
(Aplauz)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Provere su sjajne i važne,
ali ne rešavaju sve naše probleme.

00:12:42.353 --> 00:12:45.101
Uzmite Fejsbukov moćan
algoritam za dostavu vesti -

00:12:45.125 --> 00:12:49.968
znate, onaj koji sve rangira
i odlučuje šta da vam pokaže

00:12:49.992 --> 00:12:52.276
od svih prijatelja
i stranica koje pratite.

00:12:52.898 --> 00:12:55.173
Da li da vam pokaže još jednu sliku bebe?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Smeh)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
Sumornu poruku od poznanika?

00:12:59.449 --> 00:13:01.305
Važnu, ali tešku vest?

00:13:01.329 --> 00:13:02.811
Nema pravog odgovora.

00:13:02.835 --> 00:13:05.494
Fejsbuk najviše ima koristi
od angažmana na sajtu:

00:13:05.518 --> 00:13:07.013
sviđanja, deljenja, komentara.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
Avgusta 2014,

00:13:10.888 --> 00:13:13.550
izbili su protesti u Fergusonu, Misuri,

00:13:13.574 --> 00:13:17.991
nakon ubistva afroameričkog tinejdžera
od strane policajca belca,

00:13:18.015 --> 00:13:19.585
pod nejasnim okolnostima.

00:13:19.974 --> 00:13:21.981
Vesti o protestima su bile svuda

00:13:22.005 --> 00:13:24.690
po mom algoritamski nefilterisanom
Tviter nalogu,

00:13:24.714 --> 00:13:26.664
ali nigde na mom Fejsbuku.

00:13:27.142 --> 00:13:28.956
Da li su krivi prijatelji na Fejsbuku?

00:13:28.956 --> 00:13:30.972
Onemogućila sam Fejsbukov algoritam,

00:13:31.472 --> 00:13:34.320
a to je teško jer Fejsbuk
nastoji da vas natera

00:13:34.344 --> 00:13:36.380
da budete pod kontrolom algoritma,

00:13:36.404 --> 00:13:38.642
i videla sam da moji prijatelji
govore o tome.

00:13:38.666 --> 00:13:41.175
Samo mi moj algoritam to nije pokazivao.

00:13:41.199 --> 00:13:44.241
Istražila sam ovo i otkrila
da je ovo raširen problem.

NOTE Paragraph

00:13:44.265 --> 00:13:48.072
Priča o Fergusonu
nije bila prihvatljiva za algoritam.

00:13:48.072 --> 00:13:49.273
Nije nešto za "sviđanje".

00:13:49.297 --> 00:13:50.849
Ko će da pritisne "sviđanje"?

00:13:51.500 --> 00:13:53.706
Nije je čak lako ni komentarisati.

00:13:53.730 --> 00:13:55.101
Bez sviđanja i komentara,

00:13:55.125 --> 00:13:58.417
algoritam je težio da je prikaže
čak i manjem broju ljudi,

00:13:58.441 --> 00:13:59.983
pa nismo mogli da je vidimo.

00:14:00.946 --> 00:14:02.174
Umesto toga, te sedmice,

00:14:02.198 --> 00:14:04.496
Fejsbukov algoritam je izdvojio ovo,

00:14:04.520 --> 00:14:06.746
a to je ALS ledeni izazov.

00:14:06.770 --> 00:14:10.512
Plemenit cilj; polij se ledenom vodom,
doniraj u dobrotvorne svrhe, fino.

00:14:10.536 --> 00:14:12.620
Ali bilo je veoma
algoritamski prihvatljivo.

00:14:13.219 --> 00:14:15.832
Mašina je donela ovu odluku u naše ime.

00:14:15.856 --> 00:14:19.353
Veoma važan, ali težak razgovor

00:14:19.377 --> 00:14:20.932
je mogao da bude ugušen,

00:14:20.956 --> 00:14:23.652
da je Fejsbuk bio jedini kanal.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
Sad, naposletku, ovi sistemi
takođe mogu da greše

00:14:27.938 --> 00:14:30.648
drugačije od ljudskih sistema.

00:14:30.648 --> 00:14:33.840
Ljudi, sećate li se Votsona,
IBM-ovog sistema mašinske inteligencije

00:14:33.840 --> 00:14:36.802
koji je obrisao pod
ljudskim takmičarima na kvizu?

00:14:37.131 --> 00:14:38.559
Bio je sjajan takmičar.

00:14:38.583 --> 00:14:42.152
Ali su ga onda u finalnom izazovu
upitali sledeće pitanje:

00:14:42.569 --> 00:14:45.611
"Njegov najveći aerodrom je nazvan
po heroju iz II svetskog rata,

00:14:45.615 --> 00:14:47.897
a drugi po veličini
po bici iz II svetskog rata."

NOTE Paragraph

00:14:47.897 --> 00:14:49.339
(Pevuši finalnu temu iz kviza)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
Čikago.

00:14:50.788 --> 00:14:52.238
Oba ljudska bića su pogodila.

00:14:52.697 --> 00:14:57.045
Votson, s druge strane,
odgovorio je: "Toronto" -

00:14:57.069 --> 00:14:58.887
za kategoriju gradova SAD-a.

00:14:59.596 --> 00:15:02.497
Impresivni sistem je napravio i grešku

00:15:02.521 --> 00:15:06.172
koju ljudsko biće nikad ne bi,
drugaš je nikad ne bi napravio.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
Naša mašinska inteligencija može da omane

00:15:09.956 --> 00:15:13.056
na načine koji se ne uklapaju
sa obrascima grešenja kod ljudi,

00:15:13.080 --> 00:15:16.030
na načine koji su neočekivani
i na koje nismo pripremljeni.

00:15:16.054 --> 00:15:19.692
Bilo bi loše ne dobiti posao
za koji ste kvalifikovani,

00:15:19.716 --> 00:15:23.437
ali bi bilo tri puta gore
ako bi to bilo zbog preopterećenja

00:15:23.437 --> 00:15:24.979
u nekakvoj sistemskoj podrutini.

NOTE Paragraph

00:15:24.979 --> 00:15:26.522
(Smeh)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
U maju 2010,

00:15:29.336 --> 00:15:33.380
munjevit krah na Vol Stritu
je pokrenut povratnom petljom

00:15:33.404 --> 00:15:36.432
u Vol Stritovom algoritmu "prodaja",

00:15:36.456 --> 00:15:40.640
izbrisao je vrednost
od trilion dolara za 36 minuta.

00:15:41.692 --> 00:15:43.929
Ne želim da razmišljam
o tome šta znači "greška"

00:15:43.933 --> 00:15:47.522
u kontekstu smrtonosnog
autonomnog oružja.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
Dakle, da, ljudi su oduvek
bili pristrasni.

00:15:53.708 --> 00:15:55.884
Donosioci odluka i čuvari informacija,

00:15:55.908 --> 00:15:59.401
na sudovima, vestima, u ratu...

00:15:59.425 --> 00:16:02.463
oni greše; ali u tome je poenta.

00:16:02.487 --> 00:16:06.008
Ne možemo da izbegnemo
ova teška pitanja.

00:16:06.596 --> 00:16:10.112
Ne možemo da delegiramo
naša zaduženja mašinama.

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
(Aplauz)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
Veštačka inteligencija nam ne pruža
besplatnu kartu za "beg od etike".

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
Naučnik za podatke Fred Benson
to naziva matematičkim ispiranjem.

00:16:26.147 --> 00:16:27.536
Potrebno nam je suprotno.

00:16:27.560 --> 00:16:32.948
Moramo da negujemo sumnju u algoritme,
nadzor i istraživanje.

00:16:33.380 --> 00:16:36.578
Moramo da se postaramo
da imamo algoritamsku odgovrnost,

00:16:36.602 --> 00:16:39.047
proveru i smislenu transparentnost.

00:16:39.380 --> 00:16:42.614
Moramo da prihvatimo
da uvođenje matematike i kompjutera

00:16:42.638 --> 00:16:45.608
u neuredne ljudske odnose
vođene vrednostima

00:16:45.632 --> 00:16:48.016
ne donosi objektivnost;

00:16:48.040 --> 00:16:51.673
već pre složenost ljudskih odnosa
osvaja algoritme.

00:16:52.148 --> 00:16:55.635
Da, možemo i treba da koristimo kompjutere

00:16:55.659 --> 00:16:57.673
kako bi donosili bolje odluke.

00:16:57.697 --> 00:17:03.029
Ali moramo da ovladamo
našom moralnom odgovornošću i rasuđivanjem

00:17:03.053 --> 00:17:05.871
i da koristimo algoritme
unutar tog okvira,

00:17:05.895 --> 00:17:10.830
ne kao sredstva da se odreknemo
i da delegiramo naše odgovornosti

00:17:10.854 --> 00:17:13.308
nekom drugom, kao čovek čoveku.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
Mašinska inteligencija je tu.

00:17:16.440 --> 00:17:19.861
To znači da se kao nikad pre
moramo čvrsto držati

00:17:19.885 --> 00:17:22.032
ljudskih vrednosti i ljudske etike.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Hvala vam.

NOTE Paragraph

00:17:23.234 --> 00:17:27.764
(Aplauz)