Vremea încrederii oarbe în volumele mari de date (big data) trebuie să ia sfârșit

Algoritmii decid cine primește un împrumut, cine obține un interviu pentru un loc de muncă, cine obține asigurare și multe alte lucruri, dar asta nu înseamnă și că, automat, decizia lor e corectă. Cathy O'Neil, matematician și specialist în știința datelor, a inventat o denumire pentru algoritmii care sunt secreți, importanți și dăunători: „arme de distrugere matematică”. Aflați mai multe despre agenda secretă din spatele formulelor.

Algoritmii sunt pretutindeni.

Sortează și separă
învingătorii de învinși.

Învingătorii obțin locul de muncă

sau oferta bună pentru cardul de credit.

Învinșii n-au parte nici măcar de interviu

sau plătesc mai mult pentru asigurare.

Suntem evaluați cu formule secrete
pe care nu le înțelegem

și care, adesea, nu pot fi contestate.

Asta impune întrebarea:
și dacă algoritmii conțin erori?

E nevoie de două lucruri pentru algoritmi:
date, ce s-a întâmplat în trecut,

și o definiție a succesului,
a ceea ce cauți și speri să obții.

Algoritmul se formează
observând, descifrând.

Algoritmul deduce
ce se asociază cu succesul,

care situație conduce către succes.

De fapt, toată lumea folosește algoritmi,
dar nu formalizați în scris.

Vă dau un exemplu.

Folosesc zilnic un algoritm
ca să pregătesc masa pentru familia mea.

Datele pe care le folosesc

sunt ingredientele din bucătărie,
timpul disponibil,

ambiția pe care o am,
apoi organizez datele.

Nu consider mâncare
pachețelele de tăieței ramen.

(Râsete)

Definiția mea a succesului e:

o masă e reușită
când copiii mei mănâncă legume.

E foarte diferită de a mezinului meu
care, dacă ar fi după el,

ar zice că succesul înseamnă
să mănânce multă Nutella.

Dar eu sunt cea care alege succesul.

Eu conduc. Părerea mea contează.

Asta e prima regulă a algoritmilor.

Algoritmii sunt păreri încorporate în cod.

E foarte diferit de ce credeți voi
că majoritatea crede despre algoritmi.

Ei cred că algoritmii
sunt obiectivi, adevărați și științifici.

Ăsta e un truc de marketing.

Și tot un truc al marketingului

e să vă intimideze cu algoritmi,

să vă încredeți
și să vă temeți de algoritmi,

pentru că vă încredeți
și vă temeți de matematică.

Pot apărea multe probleme când avem
încredere oarbă în volume mari de date.

Ea e Kiri Soares, directoarea
unui liceu din Brooklyn.

În 2011 mi-a zis că profesorii ei
erau evaluați

cu un algoritm complex și secret,

numit „modelul valoare adăugată”.

I-am zis: „Află care e formula,
arată-mi-o și ți-o explic.”

Ea a zis: „Am încercat să obțin formula,
dar la Departamentul de Educație

mi s-a zis că e matematică
și n-o să înțeleg.”

Se poate și mai rău.

New York Post a solicitat, conform
Legii privind libertatea de informare,

și a obținut numele
tuturor profesorilor și punctajele lor

și le-a publicat pentru a-i blama public.

Când am încercat să obțin formula,
codul sursă, cu aceleași mijloace,

mi s-a zis că nu se poate.

Mi s-a refuzat.

Mai târziu am aflat

că nimeni din New York
n-avea acces la acea formulă.

Nimeni n-o înțelegea.

Apoi s-a implicat cineva
foarte inteligent: Gary Rubinstein.

A descoperit că 665 de profesori
din datele de la New York Post

aveau, de fapt, două punctaje.

Asta se putea întâmpla dacă predau

matematică de clasa a șaptea și a opta.

A decis să facă un grafic.

Fiecare punct reprezintă un profesor.

(Râsete)

Ce-i asta?

(Râsete)

N-ar fi trebuit să fie niciodată
folosit pentru evaluare personală.

E mai degrabă un generator
de numere aleatorii.

(Aplauze)

Dar a fost.

Ea e Sarah Wysocki.

A fost concediată,
împreună cu alți 205 profesori,

din districtul școlar al Washington DC,

deși avea recomandări excelente
de la director și părinții copiilor.

Știu ce gândesc mulți dintre voi,

mai ales experții în date
și inteligență artificială.

Vă ziceți: „N-aș face niciodată
un algoritm așa de inconsecvent.”

Dar algoritmii pot da greș,

pot avea chiar efecte profund distructive
în ciuda bunelor intenții.

Dar în timp ce un avion
care e prost conceput

se prăbușește și poate fi văzut de toți,

un algoritm prost conceput

poate să funcționeze mult timp
făcând ravagii pe ascuns.

El e Roger Ailes.

(Râsete)

A fondat Fox News în 1996.

Peste 20 de femei
s-au plâns de hărțuire sexuală.

Au zis că nu li s-a permis
să aibă succes la Fox News.

A fost demis anul trecut,
dar am văzut recent

că problemele au persistat.

Asta impune întrebarea:

ce ar trebui să facă Fox News
pentru a întoarce pagina?

Cum ar fi dacă ar înlocui
procesul de recrutare

cu algoritmi de învățare automatizată?

Sună bine, nu?

Gândiți-vă la asta.

Care ar fi datele?

O alegere rezonabilă ar fi cererile
de angajare din ultimii 21 de ani.

Rezonabilă.

Dar definiția succesului?

Alegerea rezonabilă ar fi...

păi, cine are succes la Fox News?

Presupun că cineva care, să zicem,
a lucrat acolo patru ani

și a fost promovat cel puțin o dată.

Sună rezonabil.

Apoi algoritmul ar fi instruit.

Va fi instruit să caute oameni,
ca să înțeleagă ce a condus la succes,

ce fel de cereri de angajare
au condus de-a lungul timpului la succes,

conform definiției.

Acum gândiți-vă ce s-ar întâmpla

dacă am aplica asta
unui grup actual de candidați.

Ar filtra femeile,

pentru că ele nu par genul
care să fi avut succes în trecut.

Algoritmii nu fac lucrurile echitabile,

dacă-i aplici fără griji și discernământ.

Nu fac lucrurile echitabile.

Ei repetă procedeele noastre din trecut,

tiparele noastre.

Automatizează status quo-ul.

Asta ar fi minunat
dacă am trăi într-o lume perfectă,

dar nu trăim.

Adaug că majoritatea companiilor
n-au procese de judecată jenante,

dar specialiștilor în date
din acele companii

li se spune să urmărească datele,

să se concentreze pe acuratețe.

Gândiți-vă ce înseamnă asta.

Pentru că toți avem prejudecăți,
înseamnă că ar putea codifica

discriminarea sexuală
sau orice alt fel de intoleranță.

Un experiment de gândire,

pentru că-mi plac:

o societate complet scindată,

divizată religios, toate orașele,
toate cartierele,

și în care trimitem poliția
doar în cartierele cu minorități

pentru a cerceta delicte.

Datele arestărilor
ar fi foarte părtinitoare.

Ce-ar fi dacă, în plus,
am găsi specialiștii în date

și i-am plăti ca să prezică
unde ar avea loc următoarea infracțiune?

Cartierul cu minorități.

Sau să prezică cine ar fi
următorul infractor?

Un cetățean minoritar.

Specialiștii în date s-ar lăuda
cu cât de grozav și precis

ar fi modelul lor

și ar avea dreptate.

Realitatea nu-i așa de drastică,
dar avem diviziuni profunde

în multe orașe și comune,

și avem destule dovezi

în acțiunile părtinitoare ale poliției
și datele sistemului judiciar.

Și chiar prezicem punctele critice,

locurile unde se desfășoară infracțiunile.

Și chiar prezicem, de fapt,
infracțiunile individuale,

infracțiunile indivizilor.

Organizația de știri ProPublica
a analizat recent

unul din algoritmii
„riscului de recidivă”, cum li se zice,

folosiți în Florida
în sentințele judecătorești.

Bernard, în stânga, bărbatul de culoare,
a obținut zece puncte din zece.

Dylan, în dreapta, trei din zece.

Zece din zece, risc ridicat.
Trei din zece, risc scăzut.

Au fost acuzați de posesie de droguri.

Amândoi cu antecedente,

dar Dylan comisese o crimă,

iar Bernard nu.

Asta contează,
deoarece cu cât ai scorul mai mare,

cu atât ai mai multe șanse
să primești o sentință mai lungă.

Ce se întâmplă?

Spălare de date.

E un proces prin care tehnologii
ascund adevăruri neplăcute

în algoritmi de tip cutie neagră,

pe care-i numesc obiectivi

și meritocratici.

Când sunt secreți,
importanți și distructivi,

am inventat o denumire
pentru algoritmii ăștia:

„arme de distrugere matematică”.

(Râsete)

(Aplauze)

Sunt peste tot și nu din greșeală.

Sunt companii private
care construiesc algoritmi privați

pentru scopuri private.

Chiar și cei de care am vorbit,
pentru profesori și poliție,

au fost construiți de companii private
și vânduți instituțiilor guvernamentale.

Ei numesc asta „sosul lor secret”,

de asta nu ni-l pot dezvălui.

E și o putere privată.

Profită de faptul că exercită
autoritatea impenetrabilă.

Acum o să vă gândiți
că, din moment ce totul e privat,

și există concurență,

poate că piața liberă
o să rezolve problema.

N-o s-o facă.

Sunt mulți bani de câștigat
din inechitate.

În plus, nu suntem
agenți economici raționali.

Toți suntem părtinitori.

Toți suntem rasiști și intoleranți

într-un fel în care ne dorim să nu fi fost
și de care nici nu ne dăm seama.

Dar știm asta, în ansamblu,

pentru că sociologii
au demonstrat-o constant

cu experimentele pe care le-au creat,

când trimit mai multe cereri
la anunțurile de angajare,

cu aceleași calificări, dar unele
au nume ca de albi și altele ca de negri,

iar rezultatele sunt mereu dezamăgitoare.

Deci noi suntem cei părtinitori,

și introducem acele prejudecăți
în algoritmi,

alegând ce date să fie selectate,

așa cum aleg eu să nu mă gândesc
la tăiețeii ramen,

am decis că nu-i relevant.

Dar având încredere în datele
care reiau practicile din trecut

și alegând definiția succesului,

cum să ne putem aștepta
ca algoritmii să fie neafectați?

Nu putem. Trebuie să-i verificăm.

Trebuie să le verificăm echitatea.

Vestea bună e
că le putem verifica echitatea.

Algoritmii pot fi interogați

și ne vor spune adevărul de fiecare dată.

Și putem să-i reparăm.
Putem să-i îmbunătățim.

Eu numesc asta un audit algoritmic

și o să vă explic ce presupune.

Mai întâi,
verificarea integrității datelor.

Pentru algoritmul riscului de recidivă
de care am vorbit,

o verificare a integrității datelor
ar însemna să acceptăm faptul

că în SUA, albii și cei de culoare
fumează canabis în egală măsură,

dar cei de culoare
au mai multe șanse să fie arestați,

de patru sau cinci ori mai des,
în funcție de regiune.

Cum arată prejudecata asta
în alte categorii de infracțiuni

și cum o justificăm?

În al doilea rând, ar trebui să ne gândim
la definiția succesului, să audităm asta.

Vă amintiți algoritmul pentru angajare?
Am vorbit de el.

Cineva care lucrează patru ani
și e promovat o dată?

Ăsta e un angajat de succes,

dar și unul
care e susținut de cultura lor.

Dar și asta poate fi părtinitor.

Trebuie să separăm aceste două aspecte.

Ar trebui să luăm audiția pe nevăzute
drept exemplu.

Presupune că cei care sunt audiați
stau după un paravan.

În cazul ăsta vreau să mă gândesc

că cei care ascultă au decis
ce-i important și ce nu

și nu li se distrage atenția de la asta.

Când s-a început cu audițiile pe nevăzute,

numărul femeilor în orchestre
a crescut de cinci ori.

Mai departe,
trebuie să examinăm acuratețea.

În cazul ăsta, modelul valorii adăugate
pentru profesori ar eșua imediat.

Niciun algoritm nu e perfect, desigur,

deci trebuie să ne gândim
la erorile fiecărui algoritm.

Cât de des apar erori
și pentru cine nu funcționează modelul?

Care e costul acestui eșec?

Și, în sfârșit, trebuie să analizăm

efectele pe termen lung ale algoritmilor,

buclele de feedback care se generează.

Sună abstract,

dar imaginați-vă că tehnicienii Facebook
s-ar fi gândit la asta

înainte să decidă să ne arate
doar ce au publicat prietenii noștri.

Mai am două mesaje, unul e
pentru specialiștii în date dintre voi.

Specialiști în date,
nu trebuie să fim arbitrii adevărului.

Ar trebui să fim traducătorii
discuțiilor etice care au loc

în societate la scară largă.

(Aplauze)

Iar pentru voi, ceilalți,

nespecializați în date:

ăsta nu-i un test de matematică.

E o luptă politică.

Trebuie să pretindem responsabilizarea
suzeranilor noștri algoritmici.

(Aplauze)

Vremea încrederii oarbe în volumele mari
de date trebuie să ia sfârșit.

Mulțumesc mult.

(Aplauze)