Algoritmi su svuda. Filtriraju i odvajaju pobednike od gubitnika. Pobednici dobijaju posao ili dobru ponudu kreditne kartice. Za gubitnike nema ni intervjua ili plaćaju više za osiguranje. Ocenjuju nas tajne formule koje ne razumemo, za koje često ne postoje sistemi za podnošenje žalbe. To nas tera se zapitamo: „Šta ako algoritmi greše?“ Da napravite algoritam potrebne su vam dve stvari: podaci, šta je bilo u prošlosti, i definicija uspeha, koji tražite i kojem se često nadate. Osposobljavate algoritam posmatranjem i zaključivanjem. Algoritam pronalazi vezu sa uspehom. Koja situacija vodi ka uspehu? Zapravo, svi koriste algoritme, ali ih ne formalizuju u pisani kôd. Evo vam primera. Svaki dan koristim algoritam da napravim porodici doručak. Podaci koje koristim su: namirnice u kuhinji, vreme koje imam na raspolaganju, ambicija koju imam, i te podatke obrađujem. U hranu ne računam ona mala pakovanja instant špageta. (Smeh) Moja definicija uspeha je - obrok je uspeo ako moja deca jedu povrće. To bi izgledalo mnogo drugačije da se moj sin pita. Njemu bi uspeh bio da se najede nutele. Ali, ja biram uspeh. Ja sam zadužena za to. Moje mišljenje je važno. To je prvo pravilo algoritama. Algoritmi su mišljenja ugrađena u kôd. To se veoma razlikuje od onoga što mislite da većina ljudi misli o algoritmima. Ljudi misle da su algoritmi objektivni, istiniti i naučni. To je marketinški trik. Marketinški trik jeste i kada vas plaše algoritmima, kada vas teraju da verujete i da se plašite algoritama jer verujete matematici i plašite je se. Mnogo grešaka može se desiti kada slepo verujemo u masovne podatke. Ovo je Kiri Soares, direktor srednje škole u Bruklinu. Godine 2011. rekla mi je da njen kolektiv ocenjuju složenim, tajnim algoritmom koji se zove „model dodatne vrednosti“. Rekla sam joj: „Saznaj koja je formula i pokaži mi je. Objasniću ti je.“ Rekla je: „Pokušala sam dobiti formulu, ali osoba iz Ministarstva obrazovanja mi je rekla da je to matematika i da je neću razumeti.“ Postaje sve gore. Njujork Post je podneo zahtev na osnovu zakona o slobodi informacija, dobio imena i ocene svih nastavnika i onda ih objavio kao čin sramoćenja nastavnika. Kada sam probala istim putem doći do formula, do izvornog kôda, rečeno mi je da ne može. Odbijena sam. Posle sam saznala da niko u Njujorku nema podatke o toj formuli. Niko je nije razumeo. Onda se uključio neko veoma bistar, Geri Rubenstajn. Pronašao je 665 nastavnika iz onog članka u Njujork Postu koji zapravo imaju dva rezultata. Ovo se moglo desiti jer su predavali matematiku u sedmom i osmom razredu. Odlučio je da ih ubaci u grafikon. Svaka tačka je nastavnica ili nastavnik. (Smeh) Šta je to? (Smeh) To se nikako nije trebalo koristiti za individualne procene. Ovo je kao generator nasumičnih brojeva. (Aplauz) Ali, korišćeno je. Ovo je Sara Visoki. Otpuštena je kad i 205 drugih nastavnika iz škola vašingtonskog okruga iako je imala odlučne preporuke direktora i roditelja učenika. Znam šta mnogi od vas ovde sada misle, posebno naučnici za podatke, stručnjaci za veštačku inteligenciju. Mislite: „Pa, nikada ne bismo napravili tako nedosledan algoritam.“ Ali, algoritmi mogu pogrešiti, čak imati i duboko destruktivno dejstvo sa dobrom namerama. Dok loše napravljen avion padne na tlo i svi to vide, loše osmišljen algoritam može trajati dugo i potajno i tiho praviti ogromnu štetu. Ovo je Rodžer Ejls. (Smeh) Osnovao je Foks Njuz 1996. godine. Preko 20 žena žalilo se na seksualno uznemiravanje. Rekle su da im u Foks Njuzu nije dozvoljen uspeh. Izbačen je prošle godine, ali nedavno smo videli da problemi još nisu rešeni. To zahteva da se postavi pitanje šta Foks Njuz treba da uradi da okrene novi list. Šta bi se desilo da proces zapošljavanja zamene mašinskim algoritmom koji uči? Zvuči dobro, zar ne? Razmislite o tome. Podaci. Šta bi bi bili podaci? Ima smisla izabrati prijave za Foks Njuz tokom poslednjih 21 godina. Ima smisla. A definicija uspeha? Razuman izbor bio bi, valjda, neko ko je uspešan u Foks Njuzu? Recimo, osoba koja je tamo bila četiri godine i dobila unapređenje makar jednom. Ima smisla. Onda bismo osposobljavali algoritam. Osposobili bismo ga da traži ljude, da uči šta je vodilo ka uspehu, kakve vrste prijava su vremenom vodile ka uspehu u skladu sa tom definicijom. Razmislite sada šta bi se desilo kada bismo to primenili na trenutne kandidate. Izbacilo bi žene jer ne deluju kao osobe koje su bile uspešne u prošlosti. Algoritmi ne popravljaju stvari ako ih samo nonšalantno i slepo primenjujete. Ne popravljaju stvari. Ponavljaju našu praksu iz prošlosti, naše šablone. Automatizuju status kvo. Da živimo u savršenom svetu to bi bilo sjajno, ali ne živimo. Dodaću da većina firmi nema sramne parnice, ali naučnicima za podatke u tim kompanijama rečeno je idu tragom podataka, da paze na tačnost. Razmislite šta to znači. Pošto smo svi pristrasni, to znači da će možda kodifikovati seksizam ili drugu netrpeljivost. Misaoni eksperiment, jer ih volim: jedno društvo, skroz podeljeno - na osnovu rase, svi gradovi, sve opštine - a policiju šaljemo samo u delove gde živi manjina u potrazi za kriminalom. Podaci o hapšenjima bili bi veoma pristrasni. Šta ako bismo, povrh svega, pronašli naučnike za podatke i platili tim naučnicima da predvide mesto sledećeg zločina? Opštine sa manjinama. Ili da predvide ko će sledeći biti kriminalac? Neko iz manjine. Naučnici bi se hvalisali svojim sjajnim i tačnim modelom, i bili bi u pravu. Realnost nije tako drastična, ali postoje ozbiljne podele u mnogim malim i velikom gradovima, i imamo mnoštvo dokaza o pristrasnim podacima u sistemu policije i pravosuđa. Mi zapravo predviđamo krizna mesta, mesta gde će se desiti nasilje. I predviđamo, zapravo, pojedinačni kriminalitet, kriminalitet pojedinaca. Novinska organizacija Propablika nedavno je proverila jedan „algoritam ugrožen recidivizmom“ kako ih zovu, koje sudije koriste u presudama na Floridi. Bernard, levo, crnac, dobio je 10 od 10 poena. Dilan, desno, 3 od 10. Deset od deset, visok rizik. Tri od deset, nizak rizik. Obojica su privedeni zbog posedovanja droge. Obojica su imali dosije, ali Dilan je imao krivično delo, a Bernard nije. Ovo je bitno jer što su ti veći poeni, veće su šanse da dobiješ dužu kaznu. O čemu se ovde radi? Pranje podataka. Proces kojim tehnolozi sakrivaju ružnu istinu u crne kutije algoritama i nazivaju ih objektivnima; nazivaju ih meritokratskim. Za tajne, važne i destruktivne algoritme sam skovala frazu „oružje za matematičko uništenje“. (Smeh) (Aplauz) Oni su svuda i to nije greška. To su privatne kompanije koje prave privatne algoritme za privatne ciljeve. Čak i one već spomenute, za nastavnike i policiju, napravile su privatne kompanije i zatim ih prodale vladinim telima. Zovu ih „tajnim umakom“; zato nam ništa ne mogu reći o tome. To je i privatna moć. Zarađuju na korišćenju autoriteta koji se ne može proveriti. Možda ste pomislili da, pošto je ovo privatno, postoji konkurencija; možda će slobodno tržište rešiti problem. Neće. Mnogo se novca može napraviti nepravdom. Uz to, mi nismo ekonomski racionalni činioci. Svi smo pristrasni. Svi smo rasisti i netrpeljivi onako kako ne želimo biti u oblicima koje i ne poznajemo. Ipak, znamo da je to kolektivno jer to sociolozi dosledno dokazuju eksperimentima koje osmišljavaju, kada pošalju gomilu prijava za posao, podjednako dobrih, ali neke imaju imena koja zvuče belački a neke koje zvuče kao crnački, i uvek su razočaravajući rezultati; uvek. Tako, mi smo pristrasni i mi u algoritme ubacujemo pristrasnost izborom podataka za prikupljanje, kao kada sam odlučila da ne mislim o instant-špagetama; odlučila sam da su nebitne. Ako verujemo podacima koji otkrivaju praksu iz prošlosti i biramo definiciju uspeha, kako onda očekujemo da algoritmi ostanu neoštećeni? Ne možemo. Moramo ih proveriti. Moramo proveriti da li su pravični. Dobra vest jeste da možemo proveriti jesu li pravični. Algoritme možemo ispitati i reći će nam istinu svaki put. I možemo ih popraviti. Možemo ih poboljšati. To zovem revizijom algoritma i ukratko ću vam je objasniti. Prvo, provera integriteta podataka. Zbog algoritma rizika od recidivizma o kojem sam govorila, provera integriteta podataka značila bi prihvatanje činjenice da u SAD crnci i belci podjednako puše travu ali crnci imaju mnogo više šanse da budu uhapšeni - četiri ili pet puta, zavisi od kraja. Kako ta pristrasnost izgleda u drugim kriminalnim oblastima, i kako je uzimamo u obzir? Drugo, treba da razmislimo o definiciji uspeha, da je revidiramo. Setite se algoritma za zapošljavanje koji smo spomenuli. Osoba koja je tu četiri godine i unapređena je jednom? Pa, to je uspešan zaposleni, ali je takođe i zaposleni u skladu sa njihovom kulturom. Tako i to može biti pristrasno. Moramo razdvojiti te dve stvari. Treba da uzmemo slepe audicije za orkestar kao primer. Tamo ljudi konkurišu su iza zastora. Što je meni bitno jeste da ljudi koji slušaju odlučuju šta je bitno i odlučuju su šta nije bitno, tako da im to ne odvlači pažnju. Otkad su počele slepe audicije za orkestre, broj žena u orkestrima povećao se pet puta. Zatim, moramo razmotriti tačnost. Tada bi se model dodatne vrednosti za nastavnike odmah raspao. Nema savršenog algoritma, naravno, pa moramo razmotriti greške svakog algoritma. Koliko su greške česte i za koga ovaj model ne funkcioniše? Koja je cena te nefunkcionalnosti? Na kraju, moramo razmotriti dugoročne efekte algoritama, njihove povratne kružne sprege koje se stvaraju. Ovo zvuči apstraktno, ali zamislite da su Fejsbukovi inženjeri to uzeli u obzir pre odluke da nam prikažu samo postove naših prijatelja. Imam još dve poruke, jednu za naučnike koji se bave podacima. Naučnici za podatke - ne treba da budemo sudije istine. Treba da budemo prevodioci etičkih rasprava koje se odvijaju u širem društvu. (Aplauz) A za vas ostale, koji niste naučnici za podatke: ovo nije test iz matematike. Ovo je politička borba. Od naših algoritamskih vladara moramo zahtevati odgovornost. (Aplauz) Doba slepe vere u masovne podatke mora se okončati. Hvala vam mnogo. (Aplauz)