0:00:00.975,0:00:02.571
Algoritmii sunt pretutindeni.

0:00:04.111,0:00:07.236
Sortează și separă[br]învingătorii de învinși.

0:00:08.019,0:00:10.217
Învingătorii obțin locul de muncă

0:00:10.217,0:00:12.140
sau oferta bună pentru cardul de credit.

0:00:12.140,0:00:14.725
Învinșii n-au parte nici măcar de interviu

0:00:15.590,0:00:17.487
sau plătesc mai mult pentru asigurare.

0:00:18.197,0:00:21.746
Suntem evaluați cu formule secrete[br]pe care nu le înțelegem

0:00:22.675,0:00:25.892
și care, adesea, nu pot fi contestate.

0:00:27.240,0:00:31.106
Asta impune întrebarea:[br]și dacă algoritmii conțin erori?

0:00:33.100,0:00:37.164
E nevoie de două lucruri pentru algoritmi:[br]date, ce s-a întâmplat în trecut,

0:00:37.164,0:00:41.240
și o definiție a succesului,[br]a ceea ce cauți și speri să obții.

0:00:41.240,0:00:46.302
Algoritmul se formează[br]observând, descifrând.

0:00:46.302,0:00:49.745
Algoritmul deduce[br]ce se asociază cu succesul,

0:00:49.745,0:00:52.202
care situație conduce către succes.

0:00:52.881,0:00:57.403
De fapt, toată lumea folosește algoritmi,[br]dar nu formalizați în scris.

0:00:57.405,0:00:58.307
Vă dau un exemplu.

0:00:58.307,0:01:02.117
Folosesc zilnic un algoritm[br]ca să pregătesc masa pentru familia mea.

0:01:02.117,0:01:03.597
Datele pe care le folosesc

0:01:04.394,0:01:07.633
sunt ingredientele din bucătărie,[br]timpul disponibil,

0:01:07.633,0:01:10.621
ambiția pe care o am,[br]apoi organizez datele.

0:01:10.621,0:01:14.889
Nu consider mâncare[br]pachețelele de tăieței ramen.

0:01:14.889,0:01:16.792
(Râsete)

0:01:16.792,0:01:18.661
Definiția mea a succesului e:

0:01:18.661,0:01:21.314
o masă e reușită[br]când copiii mei mănâncă legume.

0:01:22.121,0:01:25.095
E foarte diferită de a mezinului meu[br]care, dacă ar fi după el,

0:01:25.095,0:01:27.847
ar zice că succesul înseamnă[br]să mănânce multă Nutella.

0:01:29.179,0:01:31.425
Dar eu sunt cea care alege succesul.

0:01:31.425,0:01:34.156
Eu conduc. Părerea mea contează.

0:01:34.156,0:01:36.855
Asta e prima regulă a algoritmilor.

0:01:36.855,0:01:40.039
Algoritmii sunt păreri încorporate în cod.

0:01:41.562,0:01:45.245
E foarte diferit de ce credeți voi[br]că majoritatea crede despre algoritmi.

0:01:45.245,0:01:49.753
Ei cred că algoritmii[br]sunt obiectivi, adevărați și științifici.

0:01:50.387,0:01:52.086
Ăsta e un truc de marketing.

0:01:53.269,0:01:55.424
Și tot un truc al marketingului

0:01:55.424,0:01:58.602
e să vă intimideze cu algoritmi,

0:01:58.602,0:02:02.277
să vă încredeți[br]și să vă temeți de algoritmi,

0:02:02.277,0:02:04.619
pentru că vă încredeți[br]și vă temeți de matematică.

0:02:05.567,0:02:10.397
Pot apărea multe probleme când avem[br]încredere oarbă în volume mari de date.

0:02:11.684,0:02:15.077
Ea e Kiri Soares, directoarea[br]unui liceu din Brooklyn.

0:02:15.077,0:02:17.687
În 2011 mi-a zis că profesorii ei[br]erau evaluați[br]

0:02:17.687,0:02:20.438
cu un algoritm complex și secret,

0:02:20.438,0:02:22.011
numit „modelul valoare adăugată”.

0:02:22.505,0:02:27.187
I-am zis: „Află care e formula,[br]arată-mi-o și ți-o explic.”

0:02:27.187,0:02:30.763
Ea a zis: „Am încercat să obțin formula,[br]dar la Departamentul de Educație

0:02:30.763,0:02:33.693
mi s-a zis că e matematică[br]și n-o să înțeleg.”

0:02:35.266,0:02:36.634
Se poate și mai rău.

0:02:36.634,0:02:40.178
New York Post a solicitat, conform[br]Legii privind libertatea de informare,

0:02:40.178,0:02:43.171
și a obținut numele[br]tuturor profesorilor și punctajele lor

0:02:43.171,0:02:45.947
și le-a publicat pentru a-i blama public.

0:02:47.084,0:02:50.974
Când am încercat să obțin formula,[br]codul sursă, cu aceleași mijloace,

0:02:50.974,0:02:53.137
mi s-a zis că nu se poate.

0:02:53.137,0:02:54.397
Mi s-a refuzat.

0:02:54.397,0:02:55.595
Mai târziu am aflat

0:02:55.595,0:02:58.485
că nimeni din New York[br]n-avea acces la acea formulă.

0:02:58.485,0:02:59.794
Nimeni n-o înțelegea.

0:03:01.929,0:03:05.183
Apoi s-a implicat cineva[br]foarte inteligent: Gary Rubinstein.

0:03:05.183,0:03:08.818
A descoperit că 665 de profesori[br]din datele de la New York Post

0:03:08.818,0:03:10.708
aveau, de fapt, două punctaje.

0:03:10.712,0:03:12.623
Asta se putea întâmpla dacă predau

0:03:12.623,0:03:15.076
matematică de clasa a șaptea și a opta.

0:03:15.076,0:03:16.668
A decis să facă un grafic.

0:03:16.668,0:03:18.635
Fiecare punct reprezintă un profesor.

0:03:19.104,0:03:21.513
(Râsete)

0:03:21.513,0:03:23.048
Ce-i asta?

0:03:23.048,0:03:24.349
(Râsete)

0:03:24.349,0:03:27.569
N-ar fi trebuit să fie niciodată[br]folosit pentru evaluare personală.

0:03:27.569,0:03:29.769
E mai degrabă un generator[br]de numere aleatorii.

0:03:29.769,0:03:32.739
(Aplauze)

0:03:32.739,0:03:33.519
Dar a fost.

0:03:33.519,0:03:34.529
Ea e Sarah Wysocki.

0:03:34.529,0:03:37.258
A fost concediată,[br]împreună cu alți 205 profesori,

0:03:37.258,0:03:40.010
din districtul școlar al Washington DC,

0:03:40.010,0:03:44.353
deși avea recomandări excelente[br]de la director și părinții copiilor.

0:03:45.390,0:03:46.966
Știu ce gândesc mulți dintre voi,

0:03:46.966,0:03:49.526
mai ales experții în date[br]și inteligență artificială.

0:03:49.526,0:03:54.183
Vă ziceți: „N-aș face niciodată[br]un algoritm așa de inconsecvent.”

0:03:54.853,0:03:56.556
Dar algoritmii pot da greș,

0:03:56.556,0:04:01.158
pot avea chiar efecte profund distructive[br]în ciuda bunelor intenții.

0:04:02.531,0:04:04.930
Dar în timp ce un avion[br]care e prost conceput

0:04:04.930,0:04:06.955
se prăbușește și poate fi văzut de toți,

0:04:06.955,0:04:08.809
un algoritm prost conceput

0:04:10.245,0:04:14.110
poate să funcționeze mult timp[br]făcând ravagii pe ascuns.

0:04:15.748,0:04:17.338
El e Roger Ailes.

0:04:17.338,0:04:19.342
(Râsete)

0:04:20.524,0:04:22.912
A fondat Fox News în 1996.

0:04:23.436,0:04:26.037
Peste 20 de femei[br]s-au plâns de hărțuire sexuală.

0:04:26.037,0:04:29.300
Au zis că nu li s-a permis[br]să aibă succes la Fox News.

0:04:29.300,0:04:31.840
A fost demis anul trecut,[br]dar am văzut recent

0:04:31.840,0:04:34.514
că problemele au persistat.

0:04:35.654,0:04:37.084
Asta impune întrebarea:

0:04:37.084,0:04:39.962
ce ar trebui să facă Fox News[br]pentru a întoarce pagina?

0:04:41.245,0:04:44.186
Cum ar fi dacă ar înlocui[br]procesul de recrutare

0:04:44.186,0:04:45.994
cu algoritmi de învățare automatizată?

0:04:45.994,0:04:47.613
Sună bine, nu?

0:04:47.613,0:04:48.927
Gândiți-vă la asta.

0:04:48.927,0:04:51.056
Care ar fi datele?

0:04:51.056,0:04:56.027
O alegere rezonabilă ar fi cererile[br]de angajare din ultimii 21 de ani.

0:04:56.027,0:04:57.563
Rezonabilă.

0:04:57.563,0:04:59.495
Dar definiția succesului?

0:04:59.921,0:05:01.265
Alegerea rezonabilă ar fi...

0:05:01.265,0:05:03.067
păi, cine are succes la Fox News?

0:05:03.067,0:05:06.681
Presupun că cineva care, să zicem,[br]a lucrat acolo patru ani

0:05:06.681,0:05:08.539
și a fost promovat cel puțin o dată.

0:05:08.816,0:05:10.397
Sună rezonabil.

0:05:10.397,0:05:12.775
Apoi algoritmul ar fi instruit.

0:05:12.775,0:05:16.656
Va fi instruit să caute oameni,[br]ca să înțeleagă ce a condus la succes,

0:05:17.219,0:05:21.557
ce fel de cereri de angajare[br]au condus de-a lungul timpului la succes,

0:05:21.557,0:05:22.855
conform definiției.

0:05:24.200,0:05:26.015
Acum gândiți-vă ce s-ar întâmpla

0:05:26.015,0:05:28.554
dacă am aplica asta[br]unui grup actual de candidați.

0:05:29.119,0:05:30.748
Ar filtra femeile,

0:05:31.663,0:05:35.593
pentru că ele nu par genul[br]care să fi avut succes în trecut.

0:05:39.752,0:05:42.309
Algoritmii nu fac lucrurile echitabile,

0:05:42.309,0:05:45.027
dacă-i aplici fără griji și discernământ.

0:05:45.027,0:05:46.543
Nu fac lucrurile echitabile.

0:05:46.543,0:05:48.685
Ei repetă procedeele noastre din trecut,

0:05:48.685,0:05:49.902
tiparele noastre.

0:05:49.902,0:05:51.835
Automatizează status quo-ul.

0:05:52.718,0:05:55.507
Asta ar fi minunat[br]dacă am trăi într-o lume perfectă,

0:05:55.905,0:05:57.237
dar nu trăim.

0:05:57.237,0:06:01.343
Adaug că majoritatea companiilor[br]n-au procese de judecată jenante,

0:06:02.446,0:06:05.064
dar specialiștilor în date[br]din acele companii

0:06:05.064,0:06:07.267
li se spune să urmărească datele,

0:06:07.267,0:06:09.414
să se concentreze pe acuratețe.

0:06:10.273,0:06:11.684
Gândiți-vă ce înseamnă asta.

0:06:11.684,0:06:14.595
Pentru că toți avem prejudecăți,[br]înseamnă că ar putea codifica

0:06:14.595,0:06:17.545
discriminarea sexuală[br]sau orice alt fel de intoleranță.

0:06:19.488,0:06:20.929
Un experiment de gândire,

0:06:20.929,0:06:22.442
pentru că-mi plac:

0:06:23.574,0:06:26.549
o societate complet scindată,

0:06:28.247,0:06:31.595
divizată religios, toate orașele,[br]toate cartierele,

0:06:31.595,0:06:34.656
și în care trimitem poliția[br]doar în cartierele cu minorități

0:06:34.656,0:06:36.083
pentru a cerceta delicte.

0:06:36.451,0:06:38.670
Datele arestărilor[br]ar fi foarte părtinitoare.

0:06:39.851,0:06:42.446
Ce-ar fi dacă, în plus,[br]am găsi specialiștii în date

0:06:42.446,0:06:46.611
și i-am plăti ca să prezică[br]unde ar avea loc următoarea infracțiune?

0:06:47.275,0:06:48.762
Cartierul cu minorități.

0:06:49.285,0:06:52.410
Sau să prezică cine ar fi[br]următorul infractor?

0:06:52.888,0:06:54.283
Un cetățean minoritar.

0:06:55.949,0:06:59.510
Specialiștii în date s-ar lăuda[br]cu cât de grozav și precis

0:06:59.510,0:07:00.841
ar fi modelul lor

0:07:00.841,0:07:02.134
și ar avea dreptate.

0:07:03.951,0:07:08.586
Realitatea nu-i așa de drastică,[br]dar avem diviziuni profunde

0:07:08.586,0:07:09.897
în multe orașe și comune,

0:07:09.897,0:07:11.774
și avem destule dovezi

0:07:11.774,0:07:15.026
în acțiunile părtinitoare ale poliției[br]și datele sistemului judiciar.

0:07:15.632,0:07:18.457
Și chiar prezicem punctele critice,

0:07:18.457,0:07:20.461
locurile unde se desfășoară infracțiunile.

0:07:20.461,0:07:24.287
Și chiar prezicem, de fapt,[br]infracțiunile individuale,

0:07:24.287,0:07:26.061
infracțiunile indivizilor.

0:07:26.972,0:07:30.755
Organizația de știri ProPublica[br]a analizat recent

0:07:30.755,0:07:33.753
unul din algoritmii[br]„riscului de recidivă”, cum li se zice,

0:07:33.753,0:07:37.388
folosiți în Florida[br]în sentințele judecătorești.

0:07:38.411,0:07:41.996
Bernard, în stânga, bărbatul de culoare,[br]a obținut zece puncte din zece.

0:07:43.179,0:07:45.206
Dylan, în dreapta, trei din zece.

0:07:45.206,0:07:47.891
Zece din zece, risc ridicat.[br]Trei din zece, risc scăzut.

0:07:48.598,0:07:51.013
Au fost acuzați de posesie de droguri.

0:07:51.013,0:07:52.241
Amândoi cu antecedente,

0:07:52.241,0:07:54.961
dar Dylan comisese o crimă,

0:07:54.961,0:07:56.191
iar Bernard nu.

0:07:57.818,0:08:00.914
Asta contează,[br]deoarece cu cât ai scorul mai mare,

0:08:00.914,0:08:04.381
cu atât ai mai multe șanse[br]să primești o sentință mai lungă.

0:08:06.294,0:08:07.588
Ce se întâmplă?

0:08:08.526,0:08:09.858
Spălare de date.

0:08:10.930,0:08:15.377
E un proces prin care tehnologii[br]ascund adevăruri neplăcute

0:08:15.377,0:08:17.232
în algoritmi de tip cutie neagră,

0:08:17.232,0:08:18.516
pe care-i numesc obiectivi

0:08:19.320,0:08:20.888
și meritocratici.

0:08:23.118,0:08:25.533
Când sunt secreți,[br]importanți și distructivi,

0:08:25.533,0:08:28.044
am inventat o denumire[br]pentru algoritmii ăștia:

0:08:28.044,0:08:30.057
„arme de distrugere matematică”.

0:08:30.057,0:08:31.645
(Râsete)

0:08:31.645,0:08:34.733
(Aplauze)

0:08:34.733,0:08:37.081
Sunt peste tot și nu din greșeală.

0:08:37.695,0:08:41.438
Sunt companii private[br]care construiesc algoritmi privați

0:08:41.438,0:08:42.834
pentru scopuri private.

0:08:43.214,0:08:46.448
Chiar și cei de care am vorbit,[br]pentru profesori și poliție,

0:08:46.448,0:08:50.601
au fost construiți de companii private[br]și vânduți instituțiilor guvernamentale.

0:08:50.601,0:08:52.503
Ei numesc asta „sosul lor secret”,

0:08:52.503,0:08:54.645
de asta nu ni-l pot dezvălui.

0:08:54.645,0:08:56.869
E și o putere privată.

0:08:57.924,0:09:02.619
Profită de faptul că exercită [br]autoritatea impenetrabilă.

0:09:05.114,0:09:08.068
Acum o să vă gândiți[br]că, din moment ce totul e privat,

0:09:08.068,0:09:09.250
și există concurență,

0:09:09.250,0:09:11.580
poate că piața liberă[br]o să rezolve problema.

0:09:11.584,0:09:12.863
N-o s-o facă.

0:09:12.863,0:09:15.977
Sunt mulți bani de câștigat[br]din inechitate.

0:09:17.127,0:09:20.496
În plus, nu suntem[br]agenți economici raționali.

0:09:21.031,0:09:22.323
Toți suntem părtinitori.

0:09:22.960,0:09:24.597
Toți suntem rasiști și intoleranți

0:09:24.597,0:09:28.380
într-un fel în care ne dorim să nu fi fost[br]și de care nici nu ne dăm seama.

0:09:29.352,0:09:32.463
Dar știm asta, în ansamblu,

0:09:32.463,0:09:35.427
pentru că sociologii[br]au demonstrat-o constant

0:09:35.427,0:09:37.316
cu experimentele pe care le-au creat,

0:09:37.316,0:09:39.988
când trimit mai multe cereri[br]la anunțurile de angajare,

0:09:39.988,0:09:44.243
cu aceleași calificări, dar unele[br]au nume ca de albi și altele ca de negri,

0:09:44.243,0:09:46.931
iar rezultatele sunt mereu dezamăgitoare.

0:09:47.510,0:09:49.351
Deci noi suntem cei părtinitori,

0:09:49.351,0:09:52.764
și introducem acele prejudecăți[br]în algoritmi,

0:09:52.764,0:09:54.590
alegând ce date să fie selectate,

0:09:54.590,0:09:57.357
așa cum aleg eu să nu mă gândesc[br]la tăiețeii ramen,

0:09:57.357,0:09:59.006
am decis că nu-i relevant.

0:09:59.006,0:10:04.724
Dar având încredere în datele[br]care reiau practicile din trecut

0:10:04.724,0:10:06.762
și alegând definiția succesului,

0:10:06.762,0:10:10.759
cum să ne putem aștepta[br]ca algoritmii să fie neafectați?

0:10:10.759,0:10:13.119
Nu putem. Trebuie să-i verificăm.

0:10:14.165,0:10:15.904
Trebuie să le verificăm echitatea.

0:10:15.904,0:10:18.629
Vestea bună e[br]că le putem verifica echitatea.

0:10:18.633,0:10:22.005
Algoritmii pot fi interogați

0:10:22.005,0:10:24.073
și ne vor spune adevărul de fiecare dată.

0:10:24.073,0:10:26.580
Și putem să-i reparăm.[br]Putem să-i îmbunătățim.

0:10:26.580,0:10:28.979
Eu numesc asta un audit algoritmic

0:10:28.979,0:10:30.692
și o să vă explic ce presupune.

0:10:30.692,0:10:32.882
Mai întâi,[br]verificarea integrității datelor.

0:10:34.132,0:10:36.819
Pentru algoritmul riscului de recidivă[br]de care am vorbit,

0:10:37.582,0:10:41.175
o verificare a integrității datelor[br]ar însemna să acceptăm faptul

0:10:41.175,0:10:44.725
că în SUA, albii și cei de culoare[br]fumează canabis în egală măsură,

0:10:44.725,0:10:47.244
dar cei de culoare[br]au mai multe șanse să fie arestați,

0:10:47.244,0:10:50.422
de patru sau cinci ori mai des,[br]în funcție de regiune.

0:10:51.317,0:10:54.173
Cum arată prejudecata asta[br]în alte categorii de infracțiuni

0:10:54.173,0:10:55.618
și cum o justificăm?

0:10:56.162,0:11:00.631
În al doilea rând, ar trebui să ne gândim[br]la definiția succesului, să audităm asta.

0:11:00.631,0:11:03.412
Vă amintiți algoritmul pentru angajare?[br]Am vorbit de el.

0:11:03.412,0:11:06.601
Cineva care lucrează patru ani[br]și e promovat o dată?

0:11:06.601,0:11:08.394
Ăsta e un angajat de succes,

0:11:08.394,0:11:11.467
dar și unul[br]care e susținut de cultura lor.

0:11:12.089,0:11:14.035
Dar și asta poate fi părtinitor.

0:11:14.035,0:11:16.134
Trebuie să separăm aceste două aspecte.

0:11:16.134,0:11:19.804
Ar trebui să luăm audiția pe nevăzute[br]drept exemplu.

0:11:19.804,0:11:22.554
Presupune că cei care sunt audiați[br]stau după un paravan.

0:11:22.946,0:11:24.897
În cazul ăsta vreau să mă gândesc

0:11:24.897,0:11:30.398
că cei care ascultă au decis[br]ce-i important și ce nu

0:11:30.398,0:11:32.454
și nu li se distrage atenția de la asta.

0:11:32.961,0:11:35.730
Când s-a început cu audițiile pe nevăzute,

0:11:35.730,0:11:39.178
numărul femeilor în orchestre[br]a crescut de cinci ori.

0:11:40.253,0:11:42.328
Mai departe,[br]trebuie să examinăm acuratețea.

0:11:43.233,0:11:46.967
În cazul ăsta, modelul valorii adăugate[br]pentru profesori ar eșua imediat.

0:11:47.578,0:11:49.740
Niciun algoritm nu e perfect, desigur,

0:11:50.620,0:11:54.225
deci trebuie să ne gândim[br]la erorile fiecărui algoritm.

0:11:54.836,0:11:59.195
Cât de des apar erori[br]și pentru cine nu funcționează modelul?

0:11:59.850,0:12:01.568
Care e costul acestui eșec?

0:12:02.434,0:12:04.641
Și, în sfârșit, trebuie să analizăm

0:12:05.973,0:12:08.159
efectele pe termen lung ale algoritmilor,

0:12:08.866,0:12:11.073
buclele de feedback care se generează.

0:12:11.586,0:12:12.852
Sună abstract,

0:12:12.852,0:12:15.800
dar imaginați-vă că tehnicienii Facebook[br]s-ar fi gândit la asta

0:12:16.270,0:12:21.125
înainte să decidă să ne arate[br]doar ce au publicat prietenii noștri.

0:12:21.761,0:12:24.995
Mai am două mesaje, unul e[br]pentru specialiștii în date dintre voi.

0:12:25.450,0:12:28.859
Specialiști în date,[br]nu trebuie să fim arbitrii adevărului.

0:12:29.520,0:12:33.333
Ar trebui să fim traducătorii[br]discuțiilor etice care au loc

0:12:33.333,0:12:34.721
în societate la scară largă.

0:12:35.579,0:12:37.742
(Aplauze)

0:12:37.742,0:12:39.292
Iar pentru voi, ceilalți,

0:12:40.011,0:12:41.277
nespecializați în date:

0:12:41.277,0:12:42.929
ăsta nu-i un test de matematică.

0:12:43.632,0:12:44.980
E o luptă politică.

0:12:46.587,0:12:50.494
Trebuie să pretindem responsabilizarea[br]suzeranilor noștri algoritmici.

0:12:52.118,0:12:53.637
(Aplauze)

0:12:53.637,0:12:57.886
Vremea încrederii oarbe în volumele mari [br]de date trebuie să ia sfârșit.

0:12:57.886,0:12:59.077
Mulțumesc mult.

0:12:59.081,0:13:04.384
(Aplauze)