Dakle, počela sam da radim kao kompjuterska programerka kad sam bila prva godina na fakultetu - u suštini kao tinejdžerka. Ubrzo nakon što sam počela da radim, da pišem softvere za firmu, menadžer koji je radio u firmi se spustio do mene i prošaputao mi je: "Zna li da lažem?" Nije bilo više bilo koga u prostoriji. "Zna li ko da lažete? I zašto šapućemo?" Menadžer je pokazao na kompjuter u prostoriji. "Zna li da lažem?" Pa, taj menadžer je imao aferu sa recepcionerom. (Smeh) A ja sam još uvek bila tinejdžerka. Pa sam mu polušapatom odgovorila: "Da, kompjuter zna kad mu lažete." (Smeh) Pa, smejala sam se, ali zapravo šala je na moj račun. Ovih dana imamo kompjuterske sisteme koji mogu da prozru emocionalna stanja, čak i laganje, obradom ljudskih lica. Oglašivači, čak i vlade su veoma zainteresovane za to. Postala sam kompjuterska programerka jer sam bila jedno od dece koja su luda za matematikom i naukom. No, nekako sam usput saznala za nuklearno oružje i postala sam zaista zabrinuta zbog naučne etike. Mučilo me je to. Međutim, zbog porodičnih okolnosti, takođe je bilo potrebno da počnem da radim što pre. Pa sam pomislila u sebi, hej, hajde da izaberem tehničku oblast gde mogu lako da se zaposlim i gde ne moram da se bavim bilo kakvim mučnim etičkim pitanjem. Pa sam odabrala kompjutere. (Smeh) Pa, ha, ha, ha! Šala je skroz na moj račun. Ovih dana kompjuterski naučnici prave platforme koje upravljaju onim što milijarde ljudi gledaju svakodnevno. Razvijaju automobile koji mogu da odluče koga da pregaze. Čak grade mašine, oružja, koja mogu da ubijaju ljude u ratu. U potpunosti se radi o etici. Mašinska inteligencija je tu. Trenutno koristimo kompjutere da donesemo razne odluke, ali i nove tipove odluka. Postavljamo kompjuterima pitanja koja nemaju jedan pravi odgovor, koja su subjektivna, otvorena i krcata vrednostima. Postavljamo ovakva pitanja: "Koga da firma zaposli?" "Koje ažuriranje od kog prijatelja treba da bude vidljivo?" "Koji osuđenik je skloniji novom prestupu?" "Koji novinski čalanak ili film treba preporučiti ljudima?" Gledajte, da, već neko vreme koristimo kompjutere, ali ovo je drugačije. Ovo je istorijski preokret jer ne možemo da usidrimo kompjutere kod sličnih subjektivnih odluka na način na koji usidravamo kompjutere koji upravljaju avionima, grade mostove, idu na mesec. Jesu li avioni bezbedniji? Da li se most zaljuljao i pao? Tu imamo uspostavljene prilično jasne repere i tu su zakoni prirode da nas vode. Nemamo slična težišta i repere za odluke koje se tiču haotičnih ljudskih odnosa. Da bi stvari bile još složenije, naši softveri postaju sve moćniji, ali takođe postaju manje transparentni i složeniji. U skorije vreme, u poslednjoj deceniji, složeni algoritmi su poprilično napredovali. Mogu da prepoznaju ljudska lica. Mogu da dešifruju rukopis. Mogu da zapaze prevaru kod kreditnih kartica i da blokiraju spamove i da prevode s jezika na jezik. Mogu da zapaze tumore na medicinskim snimcima. Mogu da pobede ljude u šahu i gou. Veliki deo ovog napretka potiče od metoda nazvanog "mašinsko učenje". Mašinsko učenje se razlikuje od tradicionalnog programiranja, gde dajete kompjuteru detaljne, tačne, minuciozne instrukcije. Pre se radi o odabiru sistema i pohranjivanju podataka u njega, uključujući nestrukturirane podatke, poput onih koje stvaramo u digitalnim životima. A sistem uči, pretresajući podatke. Suštinsko je takođe da se ovi sistemi ne vode logikom samo jednog odgovora. Ne proizvode jednostavne odgovore; više se radi o verovatnoći: "Ovo je verovatno sličnije onome što tražite." Sad, pozitivno je: ovaj metod je zaista moćan. Glavni u Guglovom sistemu za VI je to nazvao: "nerazumna efikasnost podataka." Negativno je: ne razumemo zaista šta je sistem naučio. Zapravo, to je njegova moć. Ovo manje liči na davanje uputstava kompjuteru; više liči na dresiranje bića - mehaničko kuče, koje zaista ne razumemo, niti kontrolišemo. Dakle, to je naš problem. Problem je kad ovaj sistem veštačke inteligencije nešto pogrešno shvati. Takođe je problem kad nešto dobro shvati. jer čak ni ne znamo šta je šta kod subjektivnog problema. Ne znamo o čemu ova stvar razmišlja. Dakle, uzmite u obzir algoritam za zapošljavanje - sistem koji se koristi pri zapošljavanju, koji koristi sisteme mašinskog učenja. Sličan sistem je obučavan na podacima prethodnih zaposlenih i naučen je da pronalazi i zapošljava ljude poput postojećih najučinkovitijih u firmi. Zvuči dobro. Jednom sam bila na konferenciji koja je spojila menadžere iz kadrovske službe i direktore, ljude s visokih pozicija, koristeći ove sisteme zapošljavanja. Bili su veoma uzbuđeni. Smatrali su da bi zbog ovoga zapošljavanje bilo objektivnije, nepristrasnije, i da bi žene i manjine imale više šanse, nasuprot pristrasnim ljudskim menadžerima. I, gledajte - zapošljavanje ljudi je pristrasno. Znam. Mislim, na jednom od mojih prvih poslova kao programerke, moja nadređena menadžerka bi ponekad prišla mestu na kom sam, veoma rano ujutru ili veoma kasno poslepodne, i rekla bi: "Zejnep, pođimo na ručak!" Zbunilo bi me neobično vreme. Četiri je popodne. Ručak? Bila sam švorc, pa sam uvek išla na besplatan ručak. Kasnije sam shvatila o čemu se radilo. Moji nadređeni menadžeri nisu priznali svojim nadređenim da je programer kog su zaposlili za ozbiljan posao bila tinejdžerka koja je nosila farmerke i patike na posao. Bila sam dobar radnik, samo pogrešnog izgleda i bila sam pogrešnih godina i roda. Pa zapošljavanje na rodno i rasno nepristrasan način izvesno da mi zvuči dobro. Ali uz ove sisteme, složenije je, a evo zašto: trenutno kompjuterski sistemi mogu da zaključe razne stvari o vama iz vaših digitalnih tragova, čak iako to niste obelodanili. Mogu da zaključe vašu seksualnu orijentaciju, vaše lične osobine, vaša politička naginjanja. Imaju moć predviđanja sa visokim stepenom tačnosti. Zapamtite - za ono što čak niste ni obelodanili. To je zaključivanje. Imam prijateljicu koja je razvila sličan kompjuterski sistem za predviđanje verovatnoće kliničke ili postporođajne depresije iz podataka sa društvenih mreža. Rezultati su bili impresivni. Njeni sistemi mogu da predvide verovatnoću depresije mesecima pre nastupa bilo kakvih simptoma - mesecima ranije. Bez simptoma imamo predviđanje. Ona se nada da će biti korišćeni za rane intervencije. Sjajno! Sad ovo stavite u kontekst zapošljavanja. Pa sam na ovoj konferenciji menadžera iz kadrovske prišla visokoprofilnoj menadžerki iz prilično velike firme, i rekla sam joj: "Pazi, šta ako bi, bez tvog znanja, ovaj sistem iskorenjivao ljude sa velikim izgledima za depresiju u budućnosti? Trenutno nisu depresivni, ali je veća verovatnoća da će biti u budućnosti. Šta ako iskorenjuje žene s većom verovatnoćom da zatrudne u narednih godinu ili dve, ali trenutno nisu trudne? Šta ako zapošljava agresivne ljude jer je to kultura na vašem radnom mestu?" Ovo ne možete da vidite, posmatrajući rodnu nejednakost. Ona bi mogla da bude u ravnoteži. A kako se radi o mašinskom učenju, a ne tradicionalnom programiranju, tu nemamo varijablu s oznakom "veći rizik od depresije", "veći rizik za trudnoću", "skala agresivnih muškaraca". Ne samo da ne znate na osnovu čega vaš sistem bira, čak ne znate ni gde da gledate. To je crna kutija. Ima moć predviđanja, ali je vi ne razumete. "Koja vam je zaštita", pitala sam, "koju imate kojom se starate da crna kutija ne obavlja nešto sumnjivo?" Pogledala me je kao da sam nagazila na 10 kučećih repića. (Smeh) Buljila je u mene i rekla: "Ne želim da čujem ni reč više o ovome." Okrenula se i otišla. Pazite - nije bila nepristojna. Jasno se radilo o ovome: ono što ne znam nije moj problem, nestani, prazan pogeld. (Smeh) Vidite, sličan sistem bi mogao čak da bude na neki način i manje pristrasan od ljudskih menadžera. I mogao bi da ima finansijsku prednost. Ali bi takođe mogao da dovede do stabilnog, ali prikrivenog isključivanja sa tržišta rada ljudi s većim rizikom od depresije. Da li je ovo oblik društva koji želimo da gradimo, a da pri tom ne znamo da smo to uradili jer smo prepustili donošenje odluka mašinama koje u potpunosti ne razumemo? Drugi problem je sledeće: ovi sistemi su često obučavani na podacima koje proizvode naša delanja, na ljudskom otisku. Pa, oni bi prosto mogli da odražavaju naše predrasude, i ovi sistemi bi mogli da pokupe naše predrasude i da ih naglase i potom da nam ih pokažu, dok mi govorimo sebi: "Samo izvodimo objektivne, neutralne proračune." Istraživači su otkrili da na Guglu ženama mnogo ređe nego muškarcima prikazuju oglase za dobro plaćene poslove. A pretraga afroameričkih imena često sa sobom povlači oglase koji nagoveštavaju kriminalnu prošlost, čak i kad ona ne postoji. Slične prikrivene predrasude i algoritmi nalik crnoj kutiji, koje istraživači povremeno otkrivaju, ali ponekad to ne uspeju, mogu da imaju ozbiljne posledice. Okrivljeni iz Viskonsina je osuđen na šest godina zatvora zbog izbegavanja policije. Možda ne znate za ovo, ali algoritme sve češće koriste u odlučivanju o uslovnoj ili kazni. Želeo je da zna: kako su izračunali ovaj rezultat? To je komercijalna crna kutija. Firma je odbila da njen algoritam izazovu na javnom suđenju. No, ProPublica, istraživačka neprofitna organizacija je proverila taj algoritam sa podacima koje su uspeli da nađu i otkrili su da su njihovi rezultati pristrasni, a da je njihova moć predviđanja očajna, jedva bolja od nagađanja i da su pogrešno označavali okrivljene crnce kao buduće kriminalce, dvostruko češće nego okrivljene belce. Pa, razmotrite ovaj slučaj: ova žena je kasnila da pokupi svoje kumče iz okruga Brauard u Floridi, trčala je niz ulicu sa svojom prijateljicom. Spazile su nezaključan dečji bicikl i skuter na tremu i nesmotreno su sele na bicikl. Dok su jurile dalje, žena je izašla i rekla: "Hej! To je bicikl mog deteta!" Ostavile su ga, odšetale, ali su uhapšene. Pogrešila je, bila je nesmotrena, ali je takođe imala svega 18 godina. Imala je nekoliko maloletničkih prekršaja. U međuvremenu, ovaj čovek je uhapšen zbog krađe u supermarketu - robe u vrednosti od 85 dolara, sličan manji zločin. Ali je pre toga imao dve osude zbog oružane pljačke. Ali je algoritam nju ocenio kao visokorizičnu, a njega nije. Dve godine kasnije, ProPublica je otkrila da ona nije imala novih prekršaja. Samo joj je sa dosijeom bilo teško da nađe posao. On, s druge strane, ponovo je u zatvoru i ovaj put služi kaznu od osam godina zbog kasnijeg zločina. Očigledno, moramo da proveravamo naše crne kutije kako ne bi imale sličnu nekontrolisanu moć. (Aplauz) Provere su sjajne i važne, ali ne rešavaju sve naše probleme. Uzmite Fejsbukov moćan algoritam za dostavu vesti - znate, onaj koji sve rangira i odlučuje šta da vam pokaže od svih prijatelja i stranica koje pratite. Da li da vam pokaže još jednu sliku bebe? (Smeh) Sumornu poruku od poznanika? Važnu, ali tešku vest? Nema pravog odgovora. Fejsbuk najviše ima koristi od angažmana na sajtu: sviđanja, deljenja, komentara. Avgusta 2014, izbili su protesti u Fergusonu, Misuri, nakon ubistva afroameričkog tinejdžera od strane policajca belca, pod nejasnim okolnostima. Vesti o protestima su bile svuda po mom algoritamski nefilterisanom Tviter nalogu, ali nigde na mom Fejsbuku. Da li su krivi prijatelji na Fejsbuku? Onemogućila sam Fejsbukov algoritam, a to je teško jer Fejsbuk nastoji da vas natera da budete pod kontrolom algoritma, i videla sam da moji prijatelji govore o tome. Samo mi moj algoritam to nije pokazivao. Istražila sam ovo i otkrila da je ovo raširen problem. Priča o Fergusonu nije bila prihvatljiva za algoritam. Nije nešto za "sviđanje". Ko će da pritisne "sviđanje"? Nije je čak lako ni komentarisati. Bez sviđanja i komentara, algoritam je težio da je prikaže čak i manjem broju ljudi, pa nismo mogli da je vidimo. Umesto toga, te sedmice, Fejsbukov algoritam je izdvojio ovo, a to je ALS ledeni izazov. Plemenit cilj; polij se ledenom vodom, doniraj u dobrotvorne svrhe, fino. Ali bilo je veoma algoritamski prihvatljivo. Mašina je donela ovu odluku u naše ime. Veoma važan, ali težak razgovor je mogao da bude ugušen, da je Fejsbuk bio jedini kanal. Sad, naposletku, ovi sistemi takođe mogu da greše drugačije od ljudskih sistema. Ljudi, sećate li se Votsona, IBM-ovog sistema mašinske inteligencije koji je obrisao pod ljudskim takmičarima na kvizu? Bio je sjajan takmičar. Ali su ga onda u finalnom izazovu upitali sledeće pitanje: "Njegov najveći aerodrom je nazvan po heroju iz II svetskog rata, a drugi po veličini po bici iz II svetskog rata." (Pevuši finalnu temu iz kviza) Čikago. Oba ljudska bića su pogodila. Votson, s druge strane, odgovorio je: "Toronto" - za kategoriju gradova SAD-a. Impresivni sistem je napravio i grešku koju ljudsko biće nikad ne bi, drugaš je nikad ne bi napravio. Naša mašinska inteligencija može da omane na načine koji se ne uklapaju sa obrascima grešenja kod ljudi, na načine koji su neočekivani i na koje nismo pripremljeni. Bilo bi loše ne dobiti posao za koji ste kvalifikovani, ali bi bilo tri puta gore ako bi to bilo zbog preopterećenja u nekakvoj sistemskoj podrutini. (Smeh) U maju 2010, munjevit krah na Vol Stritu je pokrenut povratnom petljom u Vol Stritovom algoritmu "prodaja", izbrisao je vrednost od trilion dolara za 36 minuta. Ne želim da razmišljam o tome šta znači "greška" u kontekstu smrtonosnog autonomnog oružja. Dakle, da, ljudi su oduvek bili pristrasni. Donosioci odluka i čuvari informacija, na sudovima, vestima, u ratu... oni greše; ali u tome je poenta. Ne možemo da izbegnemo ova teška pitanja. Ne možemo da delegiramo naša zaduženja mašinama. (Aplauz) Veštačka inteligencija nam ne pruža besplatnu kartu za "beg od etike". Naučnik za podatke Fred Benson to naziva matematičkim ispiranjem. Potrebno nam je suprotno. Moramo da negujemo sumnju u algoritme, nadzor i istraživanje. Moramo da se postaramo da imamo algoritamsku odgovrnost, proveru i smislenu transparentnost. Moramo da prihvatimo da uvođenje matematike i kompjutera u neuredne ljudske odnose vođene vrednostima ne donosi objektivnost; već pre složenost ljudskih odnosa osvaja algoritme. Da, možemo i treba da koristimo kompjutere kako bi donosili bolje odluke. Ali moramo da ovladamo našom moralnom odgovornošću i rasuđivanjem i da koristimo algoritme unutar tog okvira, ne kao sredstva da se odreknemo i da delegiramo naše odgovornosti nekom drugom, kao čovek čoveku. Mašinska inteligencija je tu. To znači da se kao nikad pre moramo čvrsto držati ljudskih vrednosti i ljudske etike. Hvala vam. (Aplauz)