Algoritmii sunt pretutindeni.
Sortează și separă învingătorii de învinși.
Învingătorii obțin locul de muncă
sau oferta bună pentru cardul de credit.
Învinșii n-au parte nici măcar de interviu
sau plătesc mai mult pentru asigurare.
Suntem evaluați cu formule secrete pe care nu le înțelegem
și care, adesea, nu pot fi contestate.
Asta impune întrebarea: și dacă algoritmii conțin erori?
E nevoie de două lucruri pentru algoritmi: date, ce s-a întâmplat în trecut,
și o definiție a succesului, a ceea ce cauți și speri să obții.
Algoritmul se formează observând, descifrând.
Algoritmul deduce ce se asociază cu succesul,
care situație conduce către succes.
De fapt, toată lumea folosește algoritmi, dar nu formalizați în scris.
Vă dau un exemplu.
Folosesc zilnic un algoritm ca să pregătesc masa pentru familia mea.
Datele pe care le folosesc
sunt ingredientele din bucătărie, timpul disponibil,
ambiția pe care o am, apoi organizez datele.
Nu consider mâncare pachețelele de tăieței ramen.
(Râsete)
Definiția mea a succesului e:
o masă e reușită când copiii mei mănâncă legume.
E foarte diferită de a mezinului meu care, dacă ar fi după el,
ar zice că succesul înseamnă să mănânce multă Nutella.
Dar eu sunt cea care alege succesul.
Eu conduc. Părerea mea contează.
Asta e prima regulă a algoritmilor.
Algoritmii sunt păreri încorporate în cod.
E foarte diferit de ce credeți voi că majoritatea crede despre algoritmi.
Ei cred că algoritmii sunt obiectivi, adevărați și științifici.
Ăsta e un truc de marketing.
Și tot un truc al marketingului
e să vă intimideze cu algoritmi,
să vă încredeți și să vă temeți de algoritmi,
pentru că vă încredeți și vă temeți de matematică.
Pot apărea multe probleme când avem încredere oarbă în volume mari de date.
Ea e Kiri Soares, directoarea unui liceu din Brooklyn.
În 2011 mi-a zis că profesorii ei erau evaluați
cu un algoritm complex și secret,
numit „modelul valoare adăugată”.
I-am zis: „Află care e formula, arată-mi-o și ți-o explic.”
Ea a zis: „Am încercat să obțin formula, dar la Departamentul de Educație
mi s-a zis că e matematică și n-o să înțeleg.”
Se poate și mai rău.
New York Post a solicitat, conform Legii privind libertatea de informare,
și a obținut numele tuturor profesorilor și punctajele lor
și le-a publicat pentru a-i blama public.
Când am încercat să obțin formula, codul sursă, cu aceleași mijloace,
mi s-a zis că nu se poate.
Mi s-a refuzat.
Mai târziu am aflat
că nimeni din New York n-avea acces la acea formulă.
Nimeni n-o înțelegea.
Apoi s-a implicat cineva foarte inteligent: Gary Rubinstein.
A descoperit că 665 de profesori din datele de la New York Post
aveau, de fapt, două punctaje.
Asta se putea întâmpla dacă predau
matematică de clasa a șaptea și a opta.
A decis să facă un grafic.
Fiecare punct reprezintă un profesor.
(Râsete)
Ce-i asta?
(Râsete)
N-ar fi trebuit să fie niciodată folosit pentru evaluare personală.
E mai degrabă un generator de numere aleatorii.
(Aplauze)
Dar a fost.
Ea e Sarah Wysocki.
A fost concediată, împreună cu alți 205 profesori,
din districtul școlar al Washington DC,
deși avea recomandări excelente de la director și părinții copiilor.
Știu ce gândesc mulți dintre voi,
mai ales experții în date și inteligență artificială.
Vă ziceți: „N-aș face niciodată un algoritm așa de inconsecvent.”
Dar algoritmii pot da greș,
pot avea chiar efecte profund distructive în ciuda bunelor intenții.
Dar în timp ce un avion care e prost conceput
se prăbușește și poate fi văzut de toți,
un algoritm prost conceput
poate să funcționeze mult timp făcând ravagii pe ascuns.
El e Roger Ailes.
(Râsete)
A fondat Fox News în 1996.
Peste 20 de femei s-au plâns de hărțuire sexuală.
Au zis că nu li s-a permis să aibă succes la Fox News.
A fost demis anul trecut, dar am văzut recent
că problemele au persistat.
Asta impune întrebarea:
ce ar trebui să facă Fox News pentru a întoarce pagina?
Cum ar fi dacă ar înlocui procesul de recrutare
cu algoritmi de învățare automatizată?
Sună bine, nu?
Gândiți-vă la asta.
Care ar fi datele?
O alegere rezonabilă ar fi cererile de angajare din ultimii 21 de ani.
Rezonabilă.
Dar definiția succesului?
Alegerea rezonabilă ar fi...
păi, cine are succes la Fox News?
Presupun că cineva care, să zicem, a lucrat acolo patru ani
și a fost promovat cel puțin o dată.
Sună rezonabil.
Apoi algoritmul ar fi instruit.
Va fi instruit să caute oameni, ca să înțeleagă ce a condus la succes,
ce fel de cereri de angajare au condus de-a lungul timpului la succes,
conform definiției.
Acum gândiți-vă ce s-ar întâmpla
dacă am aplica asta unui grup actual de candidați.
Ar filtra femeile,
pentru că ele nu par genul care să fi avut succes în trecut.
Algoritmii nu fac lucrurile echitabile,
dacă-i aplici fără griji și discernământ.
Nu fac lucrurile echitabile.
Ei repetă procedeele noastre din trecut,
tiparele noastre.
Automatizează status quo-ul.
Asta ar fi minunat dacă am trăi într-o lume perfectă,
dar nu trăim.
Adaug că majoritatea companiilor n-au procese de judecată jenante,
dar specialiștilor în date din acele companii
li se spune să urmărească datele,
să se concentreze pe acuratețe.
Gândiți-vă ce înseamnă asta.
Pentru că toți avem prejudecăți, înseamnă că ar putea codifica
discriminarea sexuală sau orice alt fel de intoleranță.
Un experiment de gândire,
pentru că-mi plac:
o societate complet scindată,
divizată religios, toate orașele, toate cartierele,
și în care trimitem poliția doar în cartierele cu minorități
pentru a cerceta delicte.
Datele arestărilor ar fi foarte părtinitoare.
Ce-ar fi dacă, în plus, am găsi specialiștii în date
și i-am plăti ca să prezică unde ar avea loc următoarea infracțiune?
Cartierul cu minorități.
Sau să prezică cine ar fi următorul infractor?
Un cetățean minoritar.
Specialiștii în date s-ar lăuda cu cât de grozav și precis
ar fi modelul lor
și ar avea dreptate.
Realitatea nu-i așa de drastică, dar avem diviziuni profunde
în multe orașe și comune,
și avem destule dovezi
în acțiunile părtinitoare ale poliției și datele sistemului judiciar.
Și chiar prezicem punctele critice,
locurile unde se desfășoară infracțiunile.
Și chiar prezicem, de fapt, infracțiunile individuale,
infracțiunile indivizilor.
Organizația de știri ProPublica a analizat recent
unul din algoritmii „riscului de recidivă”, cum li se zice,
folosiți în Florida în sentințele judecătorești.
Bernard, în stânga, bărbatul de culoare, a obținut zece puncte din zece.
Dylan, în dreapta, trei din zece.
Zece din zece, risc ridicat. Trei din zece, risc scăzut.
Au fost acuzați de posesie de droguri.
Amândoi cu antecedente,
dar Dylan comisese o crimă,
iar Bernard nu.
Asta contează, deoarece cu cât ai scorul mai mare,
cu atât ai mai multe șanse să primești o sentință mai lungă.
Ce se întâmplă?
Spălare de date.
E un proces prin care tehnologii ascund adevăruri neplăcute
în algoritmi de tip cutie neagră,
pe care-i numesc obiectivi
și meritocratici.
Când sunt secreți, importanți și distructivi,
am inventat o denumire pentru algoritmii ăștia:
„arme de distrugere matematică”.
(Râsete)
(Aplauze)
Sunt peste tot și nu din greșeală.
Sunt companii private care construiesc algoritmi privați
pentru scopuri private.
Chiar și cei de care am vorbit, pentru profesori și poliție,
au fost construiți de companii private și vânduți instituțiilor guvernamentale.
Ei numesc asta „sosul lor secret”,
de asta nu ni-l pot dezvălui.
E și o putere privată.
Profită de faptul că exercită autoritatea impenetrabilă.
Acum o să vă gândiți că, din moment ce totul e privat,
și există concurență,
poate că piața liberă o să rezolve problema.
N-o s-o facă.
Sunt mulți bani de câștigat din inechitate.
În plus, nu suntem agenți economici raționali.
Toți suntem părtinitori.
Toți suntem rasiști și intoleranți
într-un fel în care ne dorim să nu fi fost și de care nici nu ne dăm seama.
Dar știm asta, în ansamblu,
pentru că sociologii au demonstrat-o constant
cu experimentele pe care le-au creat,
când trimit mai multe cereri la anunțurile de angajare,
cu aceleași calificări, dar unele au nume ca de albi și altele ca de negri,
iar rezultatele sunt mereu dezamăgitoare.
Deci noi suntem cei părtinitori,
și introducem acele prejudecăți în algoritmi,
alegând ce date să fie selectate,
așa cum aleg eu să nu mă gândesc la tăiețeii ramen,
am decis că nu-i relevant.
Dar având încredere în datele care reiau practicile din trecut
și alegând definiția succesului,
cum să ne putem aștepta ca algoritmii să fie neafectați?
Nu putem. Trebuie să-i verificăm.
Trebuie să le verificăm echitatea.
Vestea bună e că le putem verifica echitatea.
Algoritmii pot fi interogați
și ne vor spune adevărul de fiecare dată.
Și putem să-i reparăm. Putem să-i îmbunătățim.
Eu numesc asta un audit algoritmic
și o să vă explic ce presupune.
Mai întâi, verificarea integrității datelor.
Pentru algoritmul riscului de recidivă de care am vorbit,
o verificare a integrității datelor ar însemna să acceptăm faptul
că în SUA, albii și cei de culoare fumează canabis în egală măsură,
dar cei de culoare au mai multe șanse să fie arestați,
de patru sau cinci ori mai des, în funcție de regiune.
Cum arată prejudecata asta în alte categorii de infracțiuni
și cum o justificăm?
În al doilea rând, ar trebui să ne gândim la definiția succesului, să audităm asta.
Vă amintiți algoritmul pentru angajare? Am vorbit de el.
Cineva care lucrează patru ani și e promovat o dată?
Ăsta e un angajat de succes,
dar și unul care e susținut de cultura lor.
Dar și asta poate fi părtinitor.
Trebuie să separăm aceste două aspecte.
Ar trebui să luăm audiția pe nevăzute drept exemplu.
Presupune că cei care sunt audiați stau după un paravan.
În cazul ăsta vreau să mă gândesc
că cei care ascultă au decis ce-i important și ce nu
și nu li se distrage atenția de la asta.
Când s-a început cu audițiile pe nevăzute,
numărul femeilor în orchestre a crescut de cinci ori.
Mai departe, trebuie să examinăm acuratețea.
În cazul ăsta, modelul valorii adăugate pentru profesori ar eșua imediat.
Niciun algoritm nu e perfect, desigur,
deci trebuie să ne gândim la erorile fiecărui algoritm.
Cât de des apar erori și pentru cine nu funcționează modelul?
Care e costul acestui eșec?
Și, în sfârșit, trebuie să analizăm
efectele pe termen lung ale algoritmilor,
buclele de feedback care se generează.
Sună abstract,
dar imaginați-vă că tehnicienii Facebook s-ar fi gândit la asta
înainte să decidă să ne arate doar ce au publicat prietenii noștri.
Mai am două mesaje, unul e pentru specialiștii în date dintre voi.
Specialiști în date, nu trebuie să fim arbitrii adevărului.
Ar trebui să fim traducătorii discuțiilor etice care au loc
în societate la scară largă.
(Aplauze)
Iar pentru voi, ceilalți,
nespecializați în date:
ăsta nu-i un test de matematică.
E o luptă politică.
Trebuie să pretindem responsabilizarea suzeranilor noștri algoritmici.
(Aplauze)
Vremea încrederii oarbe în volumele mari de date trebuie să ia sfârșit.
Mulțumesc mult.
(Aplauze)