Zbog mašinske inteligencije ljudski moral je sve važniji

Mašinska inteligencija je stigla, i već je koristimo u donošenju subjektivnih odluka. Međutim, zbog složenog načina rasta i napredovanja veštačke inteligencije teško ju je razumeti, a još teže kontrolisati. U ovom poučnom govoru, sociološkinja tehnologije Zejnep Tufekči objašnjava kako inteligentne mašine mogu da pogreše tako da se to ne uklapa u ljudske obrasce grešenja - kao i na neočekivane načine na koje nismo pripremljeni. "Ne možemo da delegiramo naša zaduženja mašinama", kaže. "Moramo se kao nikad pre čvrsto držati ljudskih vrednosti i ljudske etike."

Dakle, počela sam da radim
kao kompjuterska programerka

kad sam bila prva godina na fakultetu -

u suštini kao tinejdžerka.

Ubrzo nakon što sam počela da radim,

da pišem softvere za firmu,

menadžer koji je radio u firmi
se spustio do mene

i prošaputao mi je:

"Zna li da lažem?"

Nije bilo više bilo koga u prostoriji.

"Zna li ko da lažete? I zašto šapućemo?"

Menadžer je pokazao
na kompjuter u prostoriji.

"Zna li da lažem?"

Pa, taj menadžer je imao aferu
sa recepcionerom.

(Smeh)

A ja sam još uvek bila tinejdžerka.

Pa sam mu polušapatom odgovorila:

"Da, kompjuter zna kad mu lažete."

(Smeh)

Pa, smejala sam se,
ali zapravo šala je na moj račun.

Ovih dana imamo kompjuterske sisteme

koji mogu da prozru
emocionalna stanja, čak i laganje,

obradom ljudskih lica.

Oglašivači, čak i vlade
su veoma zainteresovane za to.

Postala sam kompjuterska programerka

jer sam bila jedno od dece
koja su luda za matematikom i naukom.

No, nekako sam usput
saznala za nuklearno oružje

i postala sam zaista zabrinuta
zbog naučne etike.

Mučilo me je to.

Međutim, zbog porodičnih okolnosti,

takođe je bilo potrebno
da počnem da radim što pre.

Pa sam pomislila u sebi, hej,
hajde da izaberem tehničku oblast

gde mogu lako da se zaposlim

i gde ne moram da se bavim
bilo kakvim mučnim etičkim pitanjem.

Pa sam odabrala kompjutere.

(Smeh)

Pa, ha, ha, ha!
Šala je skroz na moj račun.

Ovih dana kompjuterski naučnici
prave platforme

koje upravljaju onim
što milijarde ljudi gledaju svakodnevno.

Razvijaju automobile
koji mogu da odluče koga da pregaze.

Čak grade mašine, oružja,

koja mogu da ubijaju ljude u ratu.

U potpunosti se radi o etici.

Mašinska inteligencija je tu.

Trenutno koristimo kompjutere
da donesemo razne odluke,

ali i nove tipove odluka.

Postavljamo kompjuterima pitanja
koja nemaju jedan pravi odgovor,

koja su subjektivna,

otvorena i krcata vrednostima.

Postavljamo ovakva pitanja:

"Koga da firma zaposli?"

"Koje ažuriranje od kog prijatelja
treba da bude vidljivo?"

"Koji osuđenik je skloniji
novom prestupu?"

"Koji novinski čalanak ili film
treba preporučiti ljudima?"

Gledajte, da, već neko vreme
koristimo kompjutere,

ali ovo je drugačije.

Ovo je istorijski preokret

jer ne možemo da usidrimo kompjutere
kod sličnih subjektivnih odluka

na način na koji usidravamo kompjutere
koji upravljaju avionima, grade mostove,

idu na mesec.

Jesu li avioni bezbedniji?
Da li se most zaljuljao i pao?

Tu imamo uspostavljene
prilično jasne repere

i tu su zakoni prirode da nas vode.

Nemamo slična težišta i repere

za odluke koje se tiču
haotičnih ljudskih odnosa.

Da bi stvari bile još složenije,
naši softveri postaju sve moćniji,

ali takođe postaju manje
transparentni i složeniji.

U skorije vreme, u poslednjoj deceniji,

složeni algoritmi
su poprilično napredovali.

Mogu da prepoznaju ljudska lica.

Mogu da dešifruju rukopis.

Mogu da zapaze prevaru
kod kreditnih kartica

i da blokiraju spamove

i da prevode s jezika na jezik.

Mogu da zapaze tumore
na medicinskim snimcima.

Mogu da pobede ljude u šahu i gou.

Veliki deo ovog napretka potiče
od metoda nazvanog "mašinsko učenje".

Mašinsko učenje se razlikuje
od tradicionalnog programiranja,

gde dajete kompjuteru
detaljne, tačne, minuciozne instrukcije.

Pre se radi o odabiru sistema
i pohranjivanju podataka u njega,

uključujući nestrukturirane podatke,

poput onih koje stvaramo
u digitalnim životima.

A sistem uči, pretresajući podatke.

Suštinsko je takođe

da se ovi sistemi ne vode
logikom samo jednog odgovora.

Ne proizvode jednostavne odgovore;
više se radi o verovatnoći:

"Ovo je verovatno sličnije
onome što tražite."

Sad, pozitivno je:
ovaj metod je zaista moćan.

Glavni u Guglovom sistemu
za VI je to nazvao:

"nerazumna efikasnost podataka."

Negativno je:

ne razumemo zaista šta je sistem naučio.

Zapravo, to je njegova moć.

Ovo manje liči na davanje
uputstava kompjuteru;

više liči na dresiranje
bića - mehaničko kuče,

koje zaista ne razumemo,
niti kontrolišemo.

Dakle, to je naš problem.

Problem je kad ovaj sistem veštačke
inteligencije nešto pogrešno shvati.

Takođe je problem kad nešto dobro shvati.

jer čak ni ne znamo šta je šta
kod subjektivnog problema.

Ne znamo o čemu ova stvar razmišlja.

Dakle, uzmite u obzir
algoritam za zapošljavanje -

sistem koji se koristi pri zapošljavanju,
koji koristi sisteme mašinskog učenja.

Sličan sistem je obučavan
na podacima prethodnih zaposlenih

i naučen je da pronalazi i zapošljava

ljude poput postojećih
najučinkovitijih u firmi.

Zvuči dobro.

Jednom sam bila na konferenciji

koja je spojila menadžere
iz kadrovske službe i direktore,

ljude s visokih pozicija,

koristeći ove sisteme zapošljavanja.

Bili su veoma uzbuđeni.

Smatrali su da bi zbog ovoga zapošljavanje
bilo objektivnije, nepristrasnije,

i da bi žene i manjine imale više šanse,

nasuprot pristrasnim ljudskim menadžerima.

I, gledajte -
zapošljavanje ljudi je pristrasno.

Znam.

Mislim, na jednom od mojih
prvih poslova kao programerke,

moja nadređena menadžerka bi ponekad
prišla mestu na kom sam,

veoma rano ujutru
ili veoma kasno poslepodne,

i rekla bi: "Zejnep, pođimo na ručak!"

Zbunilo bi me neobično vreme.

Četiri je popodne. Ručak?

Bila sam švorc, pa sam uvek išla
na besplatan ručak.

Kasnije sam shvatila o čemu se radilo.

Moji nadređeni menadžeri
nisu priznali svojim nadređenim

da je programer kog su zaposlili
za ozbiljan posao bila tinejdžerka

koja je nosila farmerke i patike na posao.

Bila sam dobar radnik,
samo pogrešnog izgleda

i bila sam pogrešnih godina i roda.

Pa zapošljavanje
na rodno i rasno nepristrasan način

izvesno da mi zvuči dobro.

Ali uz ove sisteme,
složenije je, a evo zašto:

trenutno kompjuterski sistemi
mogu da zaključe razne stvari o vama

iz vaših digitalnih tragova,

čak iako to niste obelodanili.

Mogu da zaključe vašu
seksualnu orijentaciju,

vaše lične osobine,

vaša politička naginjanja.

Imaju moć predviđanja
sa visokim stepenom tačnosti.

Zapamtite - za ono što čak
niste ni obelodanili.

To je zaključivanje.

Imam prijateljicu koja je razvila
sličan kompjuterski sistem

za predviđanje verovatnoće
kliničke ili postporođajne depresije

iz podataka sa društvenih mreža.

Rezultati su bili impresivni.

Njeni sistemi mogu da predvide
verovatnoću depresije

mesecima pre nastupa
bilo kakvih simptoma -

mesecima ranije.

Bez simptoma imamo predviđanje.

Ona se nada da će biti korišćeni
za rane intervencije. Sjajno!

Sad ovo stavite u kontekst zapošljavanja.

Pa sam na ovoj konferenciji
menadžera iz kadrovske

prišla visokoprofilnoj menadžerki
iz prilično velike firme,

i rekla sam joj: "Pazi, šta ako bi,
bez tvog znanja,

ovaj sistem iskorenjivao ljude sa velikim
izgledima za depresiju u budućnosti?

Trenutno nisu depresivni, ali je veća
verovatnoća da će biti u budućnosti.

Šta ako iskorenjuje žene
s većom verovatnoćom da zatrudne

u narednih godinu ili dve,
ali trenutno nisu trudne?

Šta ako zapošljava agresivne ljude
jer je to kultura na vašem radnom mestu?"

Ovo ne možete da vidite,
posmatrajući rodnu nejednakost.

Ona bi mogla da bude u ravnoteži.

A kako se radi o mašinskom učenju,
a ne tradicionalnom programiranju,

tu nemamo varijablu
s oznakom "veći rizik od depresije",

"veći rizik za trudnoću",

"skala agresivnih muškaraca".

Ne samo da ne znate
na osnovu čega vaš sistem bira,

čak ne znate ni gde da gledate.

To je crna kutija.

Ima moć predviđanja,
ali je vi ne razumete.

"Koja vam je zaštita",
pitala sam, "koju imate

kojom se starate da crna kutija
ne obavlja nešto sumnjivo?"

Pogledala me je kao da sam
nagazila na 10 kučećih repića.

(Smeh)

Buljila je u mene i rekla:

"Ne želim da čujem ni reč više o ovome."

Okrenula se i otišla.

Pazite - nije bila nepristojna.

Jasno se radilo o ovome: ono što ne znam
nije moj problem, nestani, prazan pogeld.

(Smeh)

Vidite, sličan sistem bi mogao
čak da bude na neki način

i manje pristrasan od ljudskih menadžera.

I mogao bi da ima finansijsku prednost.

Ali bi takođe mogao da dovede

do stabilnog, ali prikrivenog
isključivanja sa tržišta rada

ljudi s većim rizikom od depresije.

Da li je ovo oblik društva
koji želimo da gradimo,

a da pri tom ne znamo da smo to uradili

jer smo prepustili donošenje odluka
mašinama koje u potpunosti ne razumemo?

Drugi problem je sledeće:

ovi sistemi su često obučavani
na podacima koje proizvode naša delanja,

na ljudskom otisku.

Pa, oni bi prosto mogli
da odražavaju naše predrasude,

i ovi sistemi bi mogli
da pokupe naše predrasude

i da ih naglase

i potom da nam ih pokažu,

dok mi govorimo sebi:

"Samo izvodimo objektivne,
neutralne proračune."

Istraživači su otkrili da na Guglu

ženama mnogo ređe nego muškarcima
prikazuju oglase za dobro plaćene poslove.

A pretraga afroameričkih imena

često sa sobom povlači oglase
koji nagoveštavaju kriminalnu prošlost,

čak i kad ona ne postoji.

Slične prikrivene predrasude
i algoritmi nalik crnoj kutiji,

koje istraživači povremeno otkrivaju,
ali ponekad to ne uspeju,

mogu da imaju ozbiljne posledice.

Okrivljeni iz Viskonsina
je osuđen na šest godina zatvora

zbog izbegavanja policije.

Možda ne znate za ovo,

ali algoritme sve češće koriste
u odlučivanju o uslovnoj ili kazni.

Želeo je da zna:
kako su izračunali ovaj rezultat?

To je komercijalna crna kutija.

Firma je odbila da njen algoritam
izazovu na javnom suđenju.

No, ProPublica, istraživačka neprofitna
organizacija je proverila taj algoritam

sa podacima koje su uspeli da nađu

i otkrili su da su njihovi
rezultati pristrasni,

a da je njihova moć predviđanja očajna,
jedva bolja od nagađanja

i da su pogrešno označavali
okrivljene crnce kao buduće kriminalce,

dvostruko češće nego okrivljene belce.

Pa, razmotrite ovaj slučaj:

ova žena je kasnila da pokupi svoje kumče

iz okruga Brauard u Floridi,

trčala je niz ulicu
sa svojom prijateljicom.

Spazile su nezaključan dečji bicikl
i skuter na tremu

i nesmotreno su sele na bicikl.

Dok su jurile dalje,
žena je izašla i rekla:

"Hej! To je bicikl mog deteta!"

Ostavile su ga, odšetale, ali su uhapšene.

Pogrešila je, bila je nesmotrena,
ali je takođe imala svega 18 godina.

Imala je nekoliko maloletničkih prekršaja.

U međuvremenu, ovaj čovek je uhapšen
zbog krađe u supermarketu -

robe u vrednosti od 85 dolara,
sličan manji zločin.

Ali je pre toga imao
dve osude zbog oružane pljačke.

Ali je algoritam nju ocenio
kao visokorizičnu, a njega nije.

Dve godine kasnije, ProPublica je otkrila
da ona nije imala novih prekršaja.

Samo joj je sa dosijeom
bilo teško da nađe posao.

On, s druge strane, ponovo je u zatvoru

i ovaj put služi kaznu od osam godina
zbog kasnijeg zločina.

Očigledno, moramo da proveravamo
naše crne kutije

kako ne bi imale
sličnu nekontrolisanu moć.

(Aplauz)

Provere su sjajne i važne,
ali ne rešavaju sve naše probleme.

Uzmite Fejsbukov moćan
algoritam za dostavu vesti -

znate, onaj koji sve rangira
i odlučuje šta da vam pokaže

od svih prijatelja
i stranica koje pratite.

Da li da vam pokaže još jednu sliku bebe?

(Smeh)

Sumornu poruku od poznanika?

Važnu, ali tešku vest?

Nema pravog odgovora.

Fejsbuk najviše ima koristi
od angažmana na sajtu:

sviđanja, deljenja, komentara.

Avgusta 2014,

izbili su protesti u Fergusonu, Misuri,

nakon ubistva afroameričkog tinejdžera
od strane policajca belca,

pod nejasnim okolnostima.

Vesti o protestima su bile svuda

po mom algoritamski nefilterisanom
Tviter nalogu,

ali nigde na mom Fejsbuku.

Da li su krivi prijatelji na Fejsbuku?

Onemogućila sam Fejsbukov algoritam,

a to je teško jer Fejsbuk
nastoji da vas natera

da budete pod kontrolom algoritma,

i videla sam da moji prijatelji
govore o tome.

Samo mi moj algoritam to nije pokazivao.

Istražila sam ovo i otkrila
da je ovo raširen problem.

Priča o Fergusonu
nije bila prihvatljiva za algoritam.

Nije nešto za "sviđanje".

Ko će da pritisne "sviđanje"?

Nije je čak lako ni komentarisati.

Bez sviđanja i komentara,

algoritam je težio da je prikaže
čak i manjem broju ljudi,

pa nismo mogli da je vidimo.

Umesto toga, te sedmice,

Fejsbukov algoritam je izdvojio ovo,

a to je ALS ledeni izazov.

Plemenit cilj; polij se ledenom vodom,
doniraj u dobrotvorne svrhe, fino.

Ali bilo je veoma
algoritamski prihvatljivo.

Mašina je donela ovu odluku u naše ime.

Veoma važan, ali težak razgovor

je mogao da bude ugušen,

da je Fejsbuk bio jedini kanal.

Sad, naposletku, ovi sistemi
takođe mogu da greše

drugačije od ljudskih sistema.

Ljudi, sećate li se Votsona,
IBM-ovog sistema mašinske inteligencije

koji je obrisao pod
ljudskim takmičarima na kvizu?

Bio je sjajan takmičar.

Ali su ga onda u finalnom izazovu
upitali sledeće pitanje:

"Njegov najveći aerodrom je nazvan
po heroju iz II svetskog rata,

a drugi po veličini
po bici iz II svetskog rata."

(Pevuši finalnu temu iz kviza)

Čikago.

Oba ljudska bića su pogodila.

Votson, s druge strane,
odgovorio je: "Toronto" -

za kategoriju gradova SAD-a.

Impresivni sistem je napravio i grešku

koju ljudsko biće nikad ne bi,
drugaš je nikad ne bi napravio.

Naša mašinska inteligencija može da omane

na načine koji se ne uklapaju
sa obrascima grešenja kod ljudi,

na načine koji su neočekivani
i na koje nismo pripremljeni.

Bilo bi loše ne dobiti posao
za koji ste kvalifikovani,

ali bi bilo tri puta gore
ako bi to bilo zbog preopterećenja

u nekakvoj sistemskoj podrutini.

(Smeh)

U maju 2010,

munjevit krah na Vol Stritu
je pokrenut povratnom petljom

u Vol Stritovom algoritmu "prodaja",

izbrisao je vrednost
od trilion dolara za 36 minuta.

Ne želim da razmišljam
o tome šta znači "greška"

u kontekstu smrtonosnog
autonomnog oružja.

Dakle, da, ljudi su oduvek
bili pristrasni.

Donosioci odluka i čuvari informacija,

na sudovima, vestima, u ratu...

oni greše; ali u tome je poenta.

Ne možemo da izbegnemo
ova teška pitanja.

Ne možemo da delegiramo
naša zaduženja mašinama.

(Aplauz)

Veštačka inteligencija nam ne pruža
besplatnu kartu za "beg od etike".

Naučnik za podatke Fred Benson
to naziva matematičkim ispiranjem.

Potrebno nam je suprotno.

Moramo da negujemo sumnju u algoritme,
nadzor i istraživanje.

Moramo da se postaramo
da imamo algoritamsku odgovrnost,

proveru i smislenu transparentnost.

Moramo da prihvatimo
da uvođenje matematike i kompjutera

u neuredne ljudske odnose
vođene vrednostima

ne donosi objektivnost;

već pre složenost ljudskih odnosa
osvaja algoritme.

Da, možemo i treba da koristimo kompjutere

kako bi donosili bolje odluke.

Ali moramo da ovladamo
našom moralnom odgovornošću i rasuđivanjem

i da koristimo algoritme
unutar tog okvira,

ne kao sredstva da se odreknemo
i da delegiramo naše odgovornosti

nekom drugom, kao čovek čoveku.

Mašinska inteligencija je tu.

To znači da se kao nikad pre
moramo čvrsto držati

ljudskih vrednosti i ljudske etike.

Hvala vam.

(Aplauz)