Dakle, počela sam da radim
kao kompjuterska programerka
kad sam bila prva godina na fakultetu -
u suštini kao tinejdžerka.
Ubrzo nakon što sam počela da radim,
da pišem softvere za firmu,
menadžer koji je radio u firmi
se spustio do mene
i prošaputao mi je:
"Zna li da lažem?"
Nije bilo više bilo koga u prostoriji.
"Zna li ko da lažete? I zašto šapućemo?"
Menadžer je pokazao
na kompjuter u prostoriji.
"Zna li da lažem?"
Pa, taj menadžer je imao aferu
sa recepcionerom.
(Smeh)
A ja sam još uvek bila tinejdžerka.
Pa sam mu polušapatom odgovorila:
"Da, kompjuter zna kad mu lažete."
(Smeh)
Pa, smejala sam se,
ali zapravo šala je na moj račun.
Ovih dana imamo kompjuterske sisteme
koji mogu da prozru
emocionalna stanja, čak i laganje,
obradom ljudskih lica.
Oglašivači, čak i vlade
su veoma zainteresovane za to.
Postala sam kompjuterska programerka
jer sam bila jedno od dece
koja su luda za matematikom i naukom.
No, nekako sam usput
saznala za nuklearno oružje
i postala sam zaista zabrinuta
zbog naučne etike.
Mučilo me je to.
Međutim, zbog porodičnih okolnosti,
takođe je bilo potrebno
da počnem da radim što pre.
Pa sam pomislila u sebi, hej,
hajde da izaberem tehničku oblast
gde mogu lako da se zaposlim
i gde ne moram da se bavim
bilo kakvim mučnim etičkim pitanjem.
Pa sam odabrala kompjutere.
(Smeh)
Pa, ha, ha, ha!
Šala je skroz na moj račun.
Ovih dana kompjuterski naučnici
prave platforme
koje upravljaju onim
što milijarde ljudi gledaju svakodnevno.
Razvijaju automobile
koji mogu da odluče koga da pregaze.
Čak grade mašine, oružja,
koja mogu da ubijaju ljude u ratu.
U potpunosti se radi o etici.
Mašinska inteligencija je tu.
Trenutno koristimo kompjutere
da donesemo razne odluke,
ali i nove tipove odluka.
Postavljamo kompjuterima pitanja
koja nemaju jedan pravi odgovor,
koja su subjektivna,
otvorena i krcata vrednostima.
Postavljamo ovakva pitanja:
"Koga da firma zaposli?"
"Koje ažuriranje od kog prijatelja
treba da bude vidljivo?"
"Koji osuđenik je skloniji
novom prestupu?"
"Koji novinski čalanak ili film
treba preporučiti ljudima?"
Gledajte, da, već neko vreme
koristimo kompjutere,
ali ovo je drugačije.
Ovo je istorijski preokret
jer ne možemo da usidrimo kompjutere
kod sličnih subjektivnih odluka
na način na koji usidravamo kompjutere
koji upravljaju avionima, grade mostove,
idu na mesec.
Jesu li avioni bezbedniji?
Da li se most zaljuljao i pao?
Tu imamo uspostavljene
prilično jasne repere
i tu su zakoni prirode da nas vode.
Nemamo slična težišta i repere
za odluke koje se tiču
haotičnih ljudskih odnosa.
Da bi stvari bile još složenije,
naši softveri postaju sve moćniji,
ali takođe postaju manje
transparentni i složeniji.
U skorije vreme, u poslednjoj deceniji,
složeni algoritmi
su poprilično napredovali.
Mogu da prepoznaju ljudska lica.
Mogu da dešifruju rukopis.
Mogu da zapaze prevaru
kod kreditnih kartica
i da blokiraju spamove
i da prevode s jezika na jezik.
Mogu da zapaze tumore
na medicinskim snimcima.
Mogu da pobede ljude u šahu i gou.
Veliki deo ovog napretka potiče
od metoda nazvanog "mašinsko učenje".
Mašinsko učenje se razlikuje
od tradicionalnog programiranja,
gde dajete kompjuteru
detaljne, tačne, minuciozne instrukcije.
Pre se radi o odabiru sistema
i pohranjivanju podataka u njega,
uključujući nestrukturirane podatke,
poput onih koje stvaramo
u digitalnim životima.
A sistem uči, pretresajući podatke.
Suštinsko je takođe
da se ovi sistemi ne vode
logikom samo jednog odgovora.
Ne proizvode jednostavne odgovore;
više se radi o verovatnoći:
"Ovo je verovatno sličnije
onome što tražite."
Sad, pozitivno je:
ovaj metod je zaista moćan.
Glavni u Guglovom sistemu
za VI je to nazvao:
"nerazumna efikasnost podataka."
Negativno je:
ne razumemo zaista šta je sistem naučio.
Zapravo, to je njegova moć.
Ovo manje liči na davanje
uputstava kompjuteru;
više liči na dresiranje
bića - mehaničko kuče,
koje zaista ne razumemo,
niti kontrolišemo.
Dakle, to je naš problem.
Problem je kad ovaj sistem veštačke
inteligencije nešto pogrešno shvati.
Takođe je problem kad nešto dobro shvati.
jer čak ni ne znamo šta je šta
kod subjektivnog problema.
Ne znamo o čemu ova stvar razmišlja.
Dakle, uzmite u obzir
algoritam za zapošljavanje -
sistem koji se koristi pri zapošljavanju,
koji koristi sisteme mašinskog učenja.
Sličan sistem je obučavan
na podacima prethodnih zaposlenih
i naučen je da pronalazi i zapošljava
ljude poput postojećih
najučinkovitijih u firmi.
Zvuči dobro.
Jednom sam bila na konferenciji
koja je spojila menadžere
iz kadrovske službe i direktore,
ljude s visokih pozicija,
koristeći ove sisteme zapošljavanja.
Bili su veoma uzbuđeni.
Smatrali su da bi zbog ovoga zapošljavanje
bilo objektivnije, nepristrasnije,
i da bi žene i manjine imale više šanse,
nasuprot pristrasnim ljudskim menadžerima.
I, gledajte -
zapošljavanje ljudi je pristrasno.
Znam.
Mislim, na jednom od mojih
prvih poslova kao programerke,
moja nadređena menadžerka bi ponekad
prišla mestu na kom sam,
veoma rano ujutru
ili veoma kasno poslepodne,
i rekla bi: "Zejnep, pođimo na ručak!"
Zbunilo bi me neobično vreme.
Četiri je popodne. Ručak?
Bila sam švorc, pa sam uvek išla
na besplatan ručak.
Kasnije sam shvatila o čemu se radilo.
Moji nadređeni menadžeri
nisu priznali svojim nadređenim
da je programer kog su zaposlili
za ozbiljan posao bila tinejdžerka
koja je nosila farmerke i patike na posao.
Bila sam dobar radnik,
samo pogrešnog izgleda
i bila sam pogrešnih godina i roda.
Pa zapošljavanje
na rodno i rasno nepristrasan način
izvesno da mi zvuči dobro.
Ali uz ove sisteme,
složenije je, a evo zašto:
trenutno kompjuterski sistemi
mogu da zaključe razne stvari o vama
iz vaših digitalnih tragova,
čak iako to niste obelodanili.
Mogu da zaključe vašu
seksualnu orijentaciju,
vaše lične osobine,
vaša politička naginjanja.
Imaju moć predviđanja
sa visokim stepenom tačnosti.
Zapamtite - za ono što čak
niste ni obelodanili.
To je zaključivanje.
Imam prijateljicu koja je razvila
sličan kompjuterski sistem
za predviđanje verovatnoće
kliničke ili postporođajne depresije
iz podataka sa društvenih mreža.
Rezultati su bili impresivni.
Njeni sistemi mogu da predvide
verovatnoću depresije
mesecima pre nastupa
bilo kakvih simptoma -
mesecima ranije.
Bez simptoma imamo predviđanje.
Ona se nada da će biti korišćeni
za rane intervencije. Sjajno!
Sad ovo stavite u kontekst zapošljavanja.
Pa sam na ovoj konferenciji
menadžera iz kadrovske
prišla visokoprofilnoj menadžerki
iz prilično velike firme,
i rekla sam joj: "Pazi, šta ako bi,
bez tvog znanja,
ovaj sistem iskorenjivao ljude sa velikim
izgledima za depresiju u budućnosti?
Trenutno nisu depresivni, ali je veća
verovatnoća da će biti u budućnosti.
Šta ako iskorenjuje žene
s većom verovatnoćom da zatrudne
u narednih godinu ili dve,
ali trenutno nisu trudne?
Šta ako zapošljava agresivne ljude
jer je to kultura na vašem radnom mestu?"
Ovo ne možete da vidite,
posmatrajući rodnu nejednakost.
Ona bi mogla da bude u ravnoteži.
A kako se radi o mašinskom učenju,
a ne tradicionalnom programiranju,
tu nemamo varijablu
s oznakom "veći rizik od depresije",
"veći rizik za trudnoću",
"skala agresivnih muškaraca".
Ne samo da ne znate
na osnovu čega vaš sistem bira,
čak ne znate ni gde da gledate.
To je crna kutija.
Ima moć predviđanja,
ali je vi ne razumete.
"Koja vam je zaštita",
pitala sam, "koju imate
kojom se starate da crna kutija
ne obavlja nešto sumnjivo?"
Pogledala me je kao da sam
nagazila na 10 kučećih repića.
(Smeh)
Buljila je u mene i rekla:
"Ne želim da čujem ni reč više o ovome."
Okrenula se i otišla.
Pazite - nije bila nepristojna.
Jasno se radilo o ovome: ono što ne znam
nije moj problem, nestani, prazan pogeld.
(Smeh)
Vidite, sličan sistem bi mogao
čak da bude na neki način
i manje pristrasan od ljudskih menadžera.
I mogao bi da ima finansijsku prednost.
Ali bi takođe mogao da dovede
do stabilnog, ali prikrivenog
isključivanja sa tržišta rada
ljudi s većim rizikom od depresije.
Da li je ovo oblik društva
koji želimo da gradimo,
a da pri tom ne znamo da smo to uradili
jer smo prepustili donošenje odluka
mašinama koje u potpunosti ne razumemo?
Drugi problem je sledeće:
ovi sistemi su često obučavani
na podacima koje proizvode naša delanja,
na ljudskom otisku.
Pa, oni bi prosto mogli
da odražavaju naše predrasude,
i ovi sistemi bi mogli
da pokupe naše predrasude
i da ih naglase
i potom da nam ih pokažu,
dok mi govorimo sebi:
"Samo izvodimo objektivne,
neutralne proračune."
Istraživači su otkrili da na Guglu
ženama mnogo ređe nego muškarcima
prikazuju oglase za dobro plaćene poslove.
A pretraga afroameričkih imena
često sa sobom povlači oglase
koji nagoveštavaju kriminalnu prošlost,
čak i kad ona ne postoji.
Slične prikrivene predrasude
i algoritmi nalik crnoj kutiji,
koje istraživači povremeno otkrivaju,
ali ponekad to ne uspeju,
mogu da imaju ozbiljne posledice.
Okrivljeni iz Viskonsina
je osuđen na šest godina zatvora
zbog izbegavanja policije.
Možda ne znate za ovo,
ali algoritme sve češće koriste
u odlučivanju o uslovnoj ili kazni.
Želeo je da zna:
kako su izračunali ovaj rezultat?
To je komercijalna crna kutija.
Firma je odbila da njen algoritam
izazovu na javnom suđenju.
No, ProPublica, istraživačka neprofitna
organizacija je proverila taj algoritam
sa podacima koje su uspeli da nađu
i otkrili su da su njihovi
rezultati pristrasni,
a da je njihova moć predviđanja očajna,
jedva bolja od nagađanja
i da su pogrešno označavali
okrivljene crnce kao buduće kriminalce,
dvostruko češće nego okrivljene belce.
Pa, razmotrite ovaj slučaj:
ova žena je kasnila da pokupi svoje kumče
iz okruga Brauard u Floridi,
trčala je niz ulicu
sa svojom prijateljicom.
Spazile su nezaključan dečji bicikl
i skuter na tremu
i nesmotreno su sele na bicikl.
Dok su jurile dalje,
žena je izašla i rekla:
"Hej! To je bicikl mog deteta!"
Ostavile su ga, odšetale, ali su uhapšene.
Pogrešila je, bila je nesmotrena,
ali je takođe imala svega 18 godina.
Imala je nekoliko maloletničkih prekršaja.
U međuvremenu, ovaj čovek je uhapšen
zbog krađe u supermarketu -
robe u vrednosti od 85 dolara,
sličan manji zločin.
Ali je pre toga imao
dve osude zbog oružane pljačke.
Ali je algoritam nju ocenio
kao visokorizičnu, a njega nije.
Dve godine kasnije, ProPublica je otkrila
da ona nije imala novih prekršaja.
Samo joj je sa dosijeom
bilo teško da nađe posao.
On, s druge strane, ponovo je u zatvoru
i ovaj put služi kaznu od osam godina
zbog kasnijeg zločina.
Očigledno, moramo da proveravamo
naše crne kutije
kako ne bi imale
sličnu nekontrolisanu moć.
(Aplauz)
Provere su sjajne i važne,
ali ne rešavaju sve naše probleme.
Uzmite Fejsbukov moćan
algoritam za dostavu vesti -
znate, onaj koji sve rangira
i odlučuje šta da vam pokaže
od svih prijatelja
i stranica koje pratite.
Da li da vam pokaže još jednu sliku bebe?
(Smeh)
Sumornu poruku od poznanika?
Važnu, ali tešku vest?
Nema pravog odgovora.
Fejsbuk najviše ima koristi
od angažmana na sajtu:
sviđanja, deljenja, komentara.
Avgusta 2014,
izbili su protesti u Fergusonu, Misuri,
nakon ubistva afroameričkog tinejdžera
od strane policajca belca,
pod nejasnim okolnostima.
Vesti o protestima su bile svuda
po mom algoritamski nefilterisanom
Tviter nalogu,
ali nigde na mom Fejsbuku.
Da li su krivi prijatelji na Fejsbuku?
Onemogućila sam Fejsbukov algoritam,
a to je teško jer Fejsbuk
nastoji da vas natera
da budete pod kontrolom algoritma,
i videla sam da moji prijatelji
govore o tome.
Samo mi moj algoritam to nije pokazivao.
Istražila sam ovo i otkrila
da je ovo raširen problem.
Priča o Fergusonu
nije bila prihvatljiva za algoritam.
Nije nešto za "sviđanje".
Ko će da pritisne "sviđanje"?
Nije je čak lako ni komentarisati.
Bez sviđanja i komentara,
algoritam je težio da je prikaže
čak i manjem broju ljudi,
pa nismo mogli da je vidimo.
Umesto toga, te sedmice,
Fejsbukov algoritam je izdvojio ovo,
a to je ALS ledeni izazov.
Plemenit cilj; polij se ledenom vodom,
doniraj u dobrotvorne svrhe, fino.
Ali bilo je veoma
algoritamski prihvatljivo.
Mašina je donela ovu odluku u naše ime.
Veoma važan, ali težak razgovor
je mogao da bude ugušen,
da je Fejsbuk bio jedini kanal.
Sad, naposletku, ovi sistemi
takođe mogu da greše
drugačije od ljudskih sistema.
Ljudi, sećate li se Votsona,
IBM-ovog sistema mašinske inteligencije
koji je obrisao pod
ljudskim takmičarima na kvizu?
Bio je sjajan takmičar.
Ali su ga onda u finalnom izazovu
upitali sledeće pitanje:
"Njegov najveći aerodrom je nazvan
po heroju iz II svetskog rata,
a drugi po veličini
po bici iz II svetskog rata."
(Pevuši finalnu temu iz kviza)
Čikago.
Oba ljudska bića su pogodila.
Votson, s druge strane,
odgovorio je: "Toronto" -
za kategoriju gradova SAD-a.
Impresivni sistem je napravio i grešku
koju ljudsko biće nikad ne bi,
drugaš je nikad ne bi napravio.
Naša mašinska inteligencija može da omane
na načine koji se ne uklapaju
sa obrascima grešenja kod ljudi,
na načine koji su neočekivani
i na koje nismo pripremljeni.
Bilo bi loše ne dobiti posao
za koji ste kvalifikovani,
ali bi bilo tri puta gore
ako bi to bilo zbog preopterećenja
u nekakvoj sistemskoj podrutini.
(Smeh)
U maju 2010,
munjevit krah na Vol Stritu
je pokrenut povratnom petljom
u Vol Stritovom algoritmu "prodaja",
izbrisao je vrednost
od trilion dolara za 36 minuta.
Ne želim da razmišljam
o tome šta znači "greška"
u kontekstu smrtonosnog
autonomnog oružja.
Dakle, da, ljudi su oduvek
bili pristrasni.
Donosioci odluka i čuvari informacija,
na sudovima, vestima, u ratu...
oni greše; ali u tome je poenta.
Ne možemo da izbegnemo
ova teška pitanja.
Ne možemo da delegiramo
naša zaduženja mašinama.
(Aplauz)
Veštačka inteligencija nam ne pruža
besplatnu kartu za "beg od etike".
Naučnik za podatke Fred Benson
to naziva matematičkim ispiranjem.
Potrebno nam je suprotno.
Moramo da negujemo sumnju u algoritme,
nadzor i istraživanje.
Moramo da se postaramo
da imamo algoritamsku odgovrnost,
proveru i smislenu transparentnost.
Moramo da prihvatimo
da uvođenje matematike i kompjutera
u neuredne ljudske odnose
vođene vrednostima
ne donosi objektivnost;
već pre složenost ljudskih odnosa
osvaja algoritme.
Da, možemo i treba da koristimo kompjutere
kako bi donosili bolje odluke.
Ali moramo da ovladamo
našom moralnom odgovornošću i rasuđivanjem
i da koristimo algoritme
unutar tog okvira,
ne kao sredstva da se odreknemo
i da delegiramo naše odgovornosti
nekom drugom, kao čovek čoveku.
Mašinska inteligencija je tu.
To znači da se kao nikad pre
moramo čvrsto držati
ljudskih vrednosti i ljudske etike.
Hvala vam.
(Aplauz)