Doba slepe vere u masovne podatke mora se okončati

Algoritmi odlučuju ko dobija kredit, ko će biti pozvan na razgovor za posao, ko dobija osiguranje i još mnogo toga, ali nisu automatski pravični. Keti O'Nil, matematičarka i naučnica za podatke, skovala je frazu za tajne, važne i štetne algoritme - „oružja matematičkog uništenja“. Saznajte više o tajnim planovima koji se kriju iza formula.

Algoritmi su svuda.

Filtriraju i odvajaju
pobednike od gubitnika.

Pobednici dobijaju posao

ili dobru ponudu kreditne kartice.

Za gubitnike nema ni intervjua

ili plaćaju više za osiguranje.

Ocenjuju nas tajne formule
koje ne razumemo,

za koje često ne postoje
sistemi za podnošenje žalbe.

To nas tera se zapitamo:

„Šta ako algoritmi greše?“

Da napravite algoritam
potrebne su vam dve stvari:

podaci, šta je bilo u prošlosti,

i definicija uspeha,

koji tražite i kojem se često nadate.

Osposobljavate algoritam
posmatranjem i zaključivanjem.

Algoritam pronalazi vezu sa uspehom.

Koja situacija vodi ka uspehu?

Zapravo, svi koriste algoritme,

ali ih ne formalizuju u pisani kôd.

Evo vam primera.

Svaki dan koristim algoritam
da napravim porodici doručak.

Podaci koje koristim su:

namirnice u kuhinji,

vreme koje imam na raspolaganju,

ambicija koju imam,

i te podatke obrađujem.

U hranu ne računam
ona mala pakovanja instant špageta.

(Smeh)

Moja definicija uspeha je -

obrok je uspeo ako moja deca jedu povrće.

To bi izgledalo mnogo drugačije
da se moj sin pita.

Njemu bi uspeh bio da se najede nutele.

Ali, ja biram uspeh.

Ja sam zadužena za to.
Moje mišljenje je važno.

To je prvo pravilo algoritama.

Algoritmi su mišljenja ugrađena u kôd.

To se veoma razlikuje od onoga što mislite
da većina ljudi misli o algoritmima.

Ljudi misle da su algoritmi
objektivni, istiniti i naučni.

To je marketinški trik.

Marketinški trik jeste

i kada vas plaše algoritmima,

kada vas teraju da verujete
i da se plašite algoritama

jer verujete matematici i plašite je se.

Mnogo grešaka može se desiti
kada slepo verujemo u masovne podatke.

Ovo je Kiri Soares,
direktor srednje škole u Bruklinu.

Godine 2011. rekla mi je
da njen kolektiv ocenjuju

složenim, tajnim algoritmom

koji se zove „model dodatne vrednosti“.

Rekla sam joj: „Saznaj
koja je formula i pokaži mi je.

Objasniću ti je.“

Rekla je: „Pokušala sam dobiti formulu,

ali osoba iz Ministarstva obrazovanja
mi je rekla da je to matematika

i da je neću razumeti.“

Postaje sve gore.

Njujork Post je podneo zahtev
na osnovu zakona o slobodi informacija,

dobio imena i ocene svih nastavnika

i onda ih objavio kao čin
sramoćenja nastavnika.

Kada sam probala istim putem doći
do formula, do izvornog kôda,

rečeno mi je da ne može.

Odbijena sam.

Posle sam saznala

da niko u Njujorku
nema podatke o toj formuli.

Niko je nije razumeo.

Onda se uključio neko
veoma bistar, Geri Rubenstajn.

Pronašao je 665 nastavnika
iz onog članka u Njujork Postu

koji zapravo imaju dva rezultata.

Ovo se moglo desiti jer su predavali
matematiku u sedmom i osmom razredu.

Odlučio je da ih ubaci u grafikon.

Svaka tačka je nastavnica ili nastavnik.

(Smeh)

Šta je to?

(Smeh)

To se nikako nije trebalo koristiti
za individualne procene.

Ovo je kao generator nasumičnih brojeva.

(Aplauz)

Ali, korišćeno je.

Ovo je Sara Visoki.

Otpuštena je kad i 205 drugih nastavnika

iz škola vašingtonskog okruga

iako je imala odlučne preporuke direktora

i roditelja učenika.

Znam šta mnogi od vas ovde sada misle,

posebno naučnici za podatke,
stručnjaci za veštačku inteligenciju.

Mislite: „Pa, nikada ne bismo napravili
tako nedosledan algoritam.“

Ali, algoritmi mogu pogrešiti,

čak imati i duboko destruktivno dejstvo
sa dobrom namerama.

Dok loše napravljen avion

padne na tlo i svi to vide,

loše osmišljen algoritam

može trajati dugo i potajno
i tiho praviti ogromnu štetu.

Ovo je Rodžer Ejls.

(Smeh)

Osnovao je Foks Njuz 1996. godine.

Preko 20 žena žalilo se
na seksualno uznemiravanje.

Rekle su da im u Foks Njuzu
nije dozvoljen uspeh.

Izbačen je prošle godine,

ali nedavno smo videli
da problemi još nisu rešeni.

To zahteva da se postavi pitanje

šta Foks Njuz treba da uradi
da okrene novi list.

Šta bi se desilo da proces zapošljavanja

zamene mašinskim algoritmom koji uči?

Zvuči dobro, zar ne?

Razmislite o tome.

Podaci. Šta bi bi bili podaci?

Ima smisla izabrati prijave za Foks Njuz
tokom poslednjih 21 godina.

Ima smisla.

A definicija uspeha?

Razuman izbor bio bi, valjda,

neko ko je uspešan u Foks Njuzu?

Recimo, osoba koja je tamo
bila četiri godine

i dobila unapređenje makar jednom.

Ima smisla.

Onda bismo osposobljavali algoritam.

Osposobili bismo ga da traži ljude,
da uči šta je vodilo ka uspehu,

kakve vrste prijava su vremenom
vodile ka uspehu

u skladu sa tom definicijom.

Razmislite sada šta bi se desilo

kada bismo to primenili
na trenutne kandidate.

Izbacilo bi žene

jer ne deluju kao osobe
koje su bile uspešne u prošlosti.

Algoritmi ne popravljaju stvari

ako ih samo nonšalantno
i slepo primenjujete.

Ne popravljaju stvari.

Ponavljaju našu praksu iz prošlosti,

naše šablone.

Automatizuju status kvo.

Da živimo u savršenom
svetu to bi bilo sjajno,

ali ne živimo.

Dodaću da većina firmi
nema sramne parnice,

ali naučnicima za podatke
u tim kompanijama

rečeno je idu tragom podataka,

da paze na tačnost.

Razmislite šta to znači.

Pošto smo svi pristrasni, to znači
da će možda kodifikovati seksizam

ili drugu netrpeljivost.

Misaoni eksperiment,

jer ih volim:

jedno društvo, skroz podeljeno -

na osnovu rase, svi gradovi, sve opštine -

a policiju šaljemo
samo u delove gde živi manjina

u potrazi za kriminalom.

Podaci o hapšenjima
bili bi veoma pristrasni.

Šta ako bismo, povrh svega,
pronašli naučnike za podatke

i platili tim naučnicima
da predvide mesto sledećeg zločina?

Opštine sa manjinama.

Ili da predvide
ko će sledeći biti kriminalac?

Neko iz manjine.

Naučnici bi se hvalisali
svojim sjajnim i tačnim modelom,

i bili bi u pravu.

Realnost nije tako drastična,
ali postoje ozbiljne podele

u mnogim malim i velikom gradovima,

i imamo mnoštvo dokaza

o pristrasnim podacima
u sistemu policije i pravosuđa.

Mi zapravo predviđamo krizna mesta,

mesta gde će se desiti nasilje.

I predviđamo, zapravo,
pojedinačni kriminalitet,

kriminalitet pojedinaca.

Novinska organizacija Propablika
nedavno je proverila

jedan „algoritam ugrožen recidivizmom“

kako ih zovu,

koje sudije koriste
u presudama na Floridi.

Bernard, levo, crnac,
dobio je 10 od 10 poena.

Dilan, desno, 3 od 10.

Deset od deset, visok rizik.
Tri od deset, nizak rizik.

Obojica su privedeni
zbog posedovanja droge.

Obojica su imali dosije,

ali Dilan je imao krivično delo,

a Bernard nije.

Ovo je bitno jer što su ti veći poeni,

veće su šanse da dobiješ dužu kaznu.

O čemu se ovde radi?

Pranje podataka.

Proces kojim tehnolozi
sakrivaju ružnu istinu

u crne kutije algoritama

i nazivaju ih objektivnima;

nazivaju ih meritokratskim.

Za tajne, važne i destruktivne algoritme

sam skovala frazu
„oružje za matematičko uništenje“.

(Smeh)

(Aplauz)

Oni su svuda i to nije greška.

To su privatne kompanije
koje prave privatne algoritme

za privatne ciljeve.

Čak i one već spomenute,
za nastavnike i policiju,

napravile su privatne kompanije

i zatim ih prodale vladinim telima.

Zovu ih „tajnim umakom“;

zato nam ništa ne mogu reći o tome.

To je i privatna moć.

Zarađuju na korišćenju autoriteta
koji se ne može proveriti.

Možda ste pomislili da,
pošto je ovo privatno,

postoji konkurencija;

možda će slobodno tržište rešiti problem.

Neće.

Mnogo se novca može napraviti nepravdom.

Uz to, mi nismo
ekonomski racionalni činioci.

Svi smo pristrasni.

Svi smo rasisti i netrpeljivi
onako kako ne želimo biti

u oblicima koje i ne poznajemo.

Ipak, znamo da je to kolektivno

jer to sociolozi dosledno dokazuju

eksperimentima koje osmišljavaju,

kada pošalju gomilu prijava za posao,

podjednako dobrih, ali neke imaju
imena koja zvuče belački

a neke koje zvuče kao crnački,

i uvek su razočaravajući rezultati; uvek.

Tako, mi smo pristrasni

i mi u algoritme ubacujemo pristrasnost

izborom podataka za prikupljanje,

kao kada sam odlučila
da ne mislim o instant-špagetama;

odlučila sam da su nebitne.

Ako verujemo podacima
koji otkrivaju praksu iz prošlosti

i biramo definiciju uspeha,

kako onda očekujemo
da algoritmi ostanu neoštećeni?

Ne možemo. Moramo ih proveriti.

Moramo proveriti da li su pravični.

Dobra vest jeste da možemo
proveriti jesu li pravični.

Algoritme možemo ispitati

i reći će nam istinu svaki put.

I možemo ih popraviti.
Možemo ih poboljšati.

To zovem revizijom algoritma

i ukratko ću vam je objasniti.

Prvo, provera integriteta podataka.

Zbog algoritma rizika od recidivizma
o kojem sam govorila,

provera integriteta podataka
značila bi prihvatanje činjenice

da u SAD crnci i belci
podjednako puše travu

ali crnci imaju mnogo više
šanse da budu uhapšeni -

četiri ili pet puta, zavisi od kraja.

Kako ta pristrasnost izgleda
u drugim kriminalnim oblastima,

i kako je uzimamo u obzir?

Drugo, treba da razmislimo
o definiciji uspeha,

da je revidiramo.

Setite se algoritma za zapošljavanje
koji smo spomenuli.

Osoba koja je tu četiri godine
i unapređena je jednom?

Pa, to je uspešan zaposleni,

ali je takođe i zaposleni
u skladu sa njihovom kulturom.

Tako i to može biti pristrasno.

Moramo razdvojiti te dve stvari.

Treba da uzmemo
slepe audicije za orkestar kao primer.

Tamo ljudi konkurišu su iza zastora.

Što je meni bitno jeste

da ljudi koji slušaju
odlučuju šta je bitno

i odlučuju su šta nije bitno,

tako da im to ne odvlači pažnju.

Otkad su počele
slepe audicije za orkestre,

broj žena u orkestrima
povećao se pet puta.

Zatim, moramo razmotriti tačnost.

Tada bi se model dodatne vrednosti
za nastavnike odmah raspao.

Nema savršenog algoritma, naravno,

pa moramo razmotriti
greške svakog algoritma.

Koliko su greške česte
i za koga ovaj model ne funkcioniše?

Koja je cena te nefunkcionalnosti?

Na kraju, moramo razmotriti

dugoročne efekte algoritama,

njihove povratne kružne sprege
koje se stvaraju.

Ovo zvuči apstraktno,

ali zamislite da su Fejsbukovi inženjeri
to uzeli u obzir

pre odluke da nam prikažu
samo postove naših prijatelja.

Imam još dve poruke,
jednu za naučnike koji se bave podacima.

Naučnici za podatke - ne treba
da budemo sudije istine.

Treba da budemo
prevodioci etičkih rasprava

koje se odvijaju u širem društvu.

(Aplauz)

A za vas ostale,

koji niste naučnici za podatke:

ovo nije test iz matematike.

Ovo je politička borba.

Od naših algoritamskih vladara
moramo zahtevati odgovornost.

(Aplauz)

Doba slepe vere u masovne podatke
mora se okončati.

Hvala vam mnogo.

(Aplauz)