1 00:00:00,975 --> 00:00:02,571 Algoritmii sunt pretutindeni. 2 00:00:04,111 --> 00:00:07,236 Sortează și separă învingătorii de învinși. 3 00:00:08,019 --> 00:00:10,217 Învingătorii obțin locul de muncă 4 00:00:10,217 --> 00:00:12,140 sau oferta bună pentru cardul de credit. 5 00:00:12,140 --> 00:00:14,725 Învinșii n-au parte nici măcar de interviu 6 00:00:15,590 --> 00:00:17,487 sau plătesc mai mult pentru asigurare. 7 00:00:18,197 --> 00:00:21,746 Suntem evaluați cu formule secrete pe care nu le înțelegem 8 00:00:22,675 --> 00:00:25,892 și care, adesea, nu pot fi contestate. 9 00:00:27,240 --> 00:00:31,106 Asta impune întrebarea: și dacă algoritmii conțin erori? 10 00:00:33,100 --> 00:00:37,164 E nevoie de două lucruri pentru algoritmi: date, ce s-a întâmplat în trecut, 11 00:00:37,164 --> 00:00:41,240 și o definiție a succesului, a ceea ce cauți și speri să obții. 12 00:00:41,240 --> 00:00:46,302 Algoritmul se formează observând, descifrând. 13 00:00:46,302 --> 00:00:49,745 Algoritmul deduce ce se asociază cu succesul, 14 00:00:49,745 --> 00:00:52,202 care situație conduce către succes. 15 00:00:52,881 --> 00:00:57,403 De fapt, toată lumea folosește algoritmi, dar nu formalizați în scris. 16 00:00:57,405 --> 00:00:58,307 Vă dau un exemplu. 17 00:00:58,307 --> 00:01:02,117 Folosesc zilnic un algoritm ca să pregătesc masa pentru familia mea. 18 00:01:02,117 --> 00:01:03,597 Datele pe care le folosesc 19 00:01:04,394 --> 00:01:07,633 sunt ingredientele din bucătărie, timpul disponibil, 20 00:01:07,633 --> 00:01:10,621 ambiția pe care o am, apoi organizez datele. 21 00:01:10,621 --> 00:01:14,889 Nu consider mâncare pachețelele de tăieței ramen. 22 00:01:14,889 --> 00:01:16,792 (Râsete) 23 00:01:16,792 --> 00:01:18,661 Definiția mea a succesului e: 24 00:01:18,661 --> 00:01:21,314 o masă e reușită când copiii mei mănâncă legume. 25 00:01:22,121 --> 00:01:25,095 E foarte diferită de a mezinului meu care, dacă ar fi după el, 26 00:01:25,095 --> 00:01:27,847 ar zice că succesul înseamnă să mănânce multă Nutella. 27 00:01:29,179 --> 00:01:31,425 Dar eu sunt cea care alege succesul. 28 00:01:31,425 --> 00:01:34,156 Eu conduc. Părerea mea contează. 29 00:01:34,156 --> 00:01:36,855 Asta e prima regulă a algoritmilor. 30 00:01:36,855 --> 00:01:40,039 Algoritmii sunt păreri încorporate în cod. 31 00:01:41,562 --> 00:01:45,245 E foarte diferit de ce credeți voi că majoritatea crede despre algoritmi. 32 00:01:45,245 --> 00:01:49,753 Ei cred că algoritmii sunt obiectivi, adevărați și științifici. 33 00:01:50,387 --> 00:01:52,086 Ăsta e un truc de marketing. 34 00:01:53,269 --> 00:01:55,424 Și tot un truc al marketingului 35 00:01:55,424 --> 00:01:58,602 e să vă intimideze cu algoritmi, 36 00:01:58,602 --> 00:02:02,277 să vă încredeți și să vă temeți de algoritmi, 37 00:02:02,277 --> 00:02:04,619 pentru că vă încredeți și vă temeți de matematică. 38 00:02:05,567 --> 00:02:10,397 Pot apărea multe probleme când avem încredere oarbă în volume mari de date. 39 00:02:11,684 --> 00:02:15,077 Ea e Kiri Soares, directoarea unui liceu din Brooklyn. 40 00:02:15,077 --> 00:02:17,687 În 2011 mi-a zis că profesorii ei erau evaluați 41 00:02:17,687 --> 00:02:20,438 cu un algoritm complex și secret, 42 00:02:20,438 --> 00:02:22,011 numit „modelul valoare adăugată”. 43 00:02:22,505 --> 00:02:27,187 I-am zis: „Află care e formula, arată-mi-o și ți-o explic.” 44 00:02:27,187 --> 00:02:30,763 Ea a zis: „Am încercat să obțin formula, dar la Departamentul de Educație 45 00:02:30,763 --> 00:02:33,693 mi s-a zis că e matematică și n-o să înțeleg.” 46 00:02:35,266 --> 00:02:36,634 Se poate și mai rău. 47 00:02:36,634 --> 00:02:40,178 New York Post a solicitat, conform Legii privind libertatea de informare, 48 00:02:40,178 --> 00:02:43,171 și a obținut numele tuturor profesorilor și punctajele lor 49 00:02:43,171 --> 00:02:45,947 și le-a publicat pentru a-i blama public. 50 00:02:47,084 --> 00:02:50,974 Când am încercat să obțin formula, codul sursă, cu aceleași mijloace, 51 00:02:50,974 --> 00:02:53,137 mi s-a zis că nu se poate. 52 00:02:53,137 --> 00:02:54,397 Mi s-a refuzat. 53 00:02:54,397 --> 00:02:55,595 Mai târziu am aflat 54 00:02:55,595 --> 00:02:58,485 că nimeni din New York n-avea acces la acea formulă. 55 00:02:58,485 --> 00:02:59,794 Nimeni n-o înțelegea. 56 00:03:01,929 --> 00:03:05,183 Apoi s-a implicat cineva foarte inteligent: Gary Rubinstein. 57 00:03:05,183 --> 00:03:08,818 A descoperit că 665 de profesori din datele de la New York Post 58 00:03:08,818 --> 00:03:10,708 aveau, de fapt, două punctaje. 59 00:03:10,712 --> 00:03:12,623 Asta se putea întâmpla dacă predau 60 00:03:12,623 --> 00:03:15,076 matematică de clasa a șaptea și a opta. 61 00:03:15,076 --> 00:03:16,668 A decis să facă un grafic. 62 00:03:16,668 --> 00:03:18,635 Fiecare punct reprezintă un profesor. 63 00:03:19,104 --> 00:03:21,513 (Râsete) 64 00:03:21,513 --> 00:03:23,048 Ce-i asta? 65 00:03:23,048 --> 00:03:24,349 (Râsete) 66 00:03:24,349 --> 00:03:27,569 N-ar fi trebuit să fie niciodată folosit pentru evaluare personală. 67 00:03:27,569 --> 00:03:29,769 E mai degrabă un generator de numere aleatorii. 68 00:03:29,769 --> 00:03:32,739 (Aplauze) 69 00:03:32,739 --> 00:03:33,519 Dar a fost. 70 00:03:33,519 --> 00:03:34,529 Ea e Sarah Wysocki. 71 00:03:34,529 --> 00:03:37,258 A fost concediată, împreună cu alți 205 profesori, 72 00:03:37,258 --> 00:03:40,010 din districtul școlar al Washington DC, 73 00:03:40,010 --> 00:03:44,353 deși avea recomandări excelente de la director și părinții copiilor. 74 00:03:45,390 --> 00:03:46,966 Știu ce gândesc mulți dintre voi, 75 00:03:46,966 --> 00:03:49,526 mai ales experții în date și inteligență artificială. 76 00:03:49,526 --> 00:03:54,183 Vă ziceți: „N-aș face niciodată un algoritm așa de inconsecvent.” 77 00:03:54,853 --> 00:03:56,556 Dar algoritmii pot da greș, 78 00:03:56,556 --> 00:04:01,158 pot avea chiar efecte profund distructive în ciuda bunelor intenții. 79 00:04:02,531 --> 00:04:04,930 Dar în timp ce un avion care e prost conceput 80 00:04:04,930 --> 00:04:06,955 se prăbușește și poate fi văzut de toți, 81 00:04:06,955 --> 00:04:08,809 un algoritm prost conceput 82 00:04:10,245 --> 00:04:14,110 poate să funcționeze mult timp făcând ravagii pe ascuns. 83 00:04:15,748 --> 00:04:17,338 El e Roger Ailes. 84 00:04:17,338 --> 00:04:19,342 (Râsete) 85 00:04:20,524 --> 00:04:22,912 A fondat Fox News în 1996. 86 00:04:23,436 --> 00:04:26,037 Peste 20 de femei s-au plâns de hărțuire sexuală. 87 00:04:26,037 --> 00:04:29,300 Au zis că nu li s-a permis să aibă succes la Fox News. 88 00:04:29,300 --> 00:04:31,840 A fost demis anul trecut, dar am văzut recent 89 00:04:31,840 --> 00:04:34,514 că problemele au persistat. 90 00:04:35,654 --> 00:04:37,084 Asta impune întrebarea: 91 00:04:37,084 --> 00:04:39,962 ce ar trebui să facă Fox News pentru a întoarce pagina? 92 00:04:41,245 --> 00:04:44,186 Cum ar fi dacă ar înlocui procesul de recrutare 93 00:04:44,186 --> 00:04:45,994 cu algoritmi de învățare automatizată? 94 00:04:45,994 --> 00:04:47,613 Sună bine, nu? 95 00:04:47,613 --> 00:04:48,927 Gândiți-vă la asta. 96 00:04:48,927 --> 00:04:51,056 Care ar fi datele? 97 00:04:51,056 --> 00:04:56,027 O alegere rezonabilă ar fi cererile de angajare din ultimii 21 de ani. 98 00:04:56,027 --> 00:04:57,563 Rezonabilă. 99 00:04:57,563 --> 00:04:59,495 Dar definiția succesului? 100 00:04:59,921 --> 00:05:01,265 Alegerea rezonabilă ar fi... 101 00:05:01,265 --> 00:05:03,067 păi, cine are succes la Fox News? 102 00:05:03,067 --> 00:05:06,681 Presupun că cineva care, să zicem, a lucrat acolo patru ani 103 00:05:06,681 --> 00:05:08,539 și a fost promovat cel puțin o dată. 104 00:05:08,816 --> 00:05:10,397 Sună rezonabil. 105 00:05:10,397 --> 00:05:12,775 Apoi algoritmul ar fi instruit. 106 00:05:12,775 --> 00:05:16,656 Va fi instruit să caute oameni, ca să înțeleagă ce a condus la succes, 107 00:05:17,219 --> 00:05:21,557 ce fel de cereri de angajare au condus de-a lungul timpului la succes, 108 00:05:21,557 --> 00:05:22,855 conform definiției. 109 00:05:24,200 --> 00:05:26,015 Acum gândiți-vă ce s-ar întâmpla 110 00:05:26,015 --> 00:05:28,554 dacă am aplica asta unui grup actual de candidați. 111 00:05:29,119 --> 00:05:30,748 Ar filtra femeile, 112 00:05:31,663 --> 00:05:35,593 pentru că ele nu par genul care să fi avut succes în trecut. 113 00:05:39,752 --> 00:05:42,309 Algoritmii nu fac lucrurile echitabile, 114 00:05:42,309 --> 00:05:45,027 dacă-i aplici fără griji și discernământ. 115 00:05:45,027 --> 00:05:46,543 Nu fac lucrurile echitabile. 116 00:05:46,543 --> 00:05:48,685 Ei repetă procedeele noastre din trecut, 117 00:05:48,685 --> 00:05:49,902 tiparele noastre. 118 00:05:49,902 --> 00:05:51,835 Automatizează status quo-ul. 119 00:05:52,718 --> 00:05:55,507 Asta ar fi minunat dacă am trăi într-o lume perfectă, 120 00:05:55,905 --> 00:05:57,237 dar nu trăim. 121 00:05:57,237 --> 00:06:01,343 Adaug că majoritatea companiilor n-au procese de judecată jenante, 122 00:06:02,446 --> 00:06:05,064 dar specialiștilor în date din acele companii 123 00:06:05,064 --> 00:06:07,267 li se spune să urmărească datele, 124 00:06:07,267 --> 00:06:09,414 să se concentreze pe acuratețe. 125 00:06:10,273 --> 00:06:11,684 Gândiți-vă ce înseamnă asta. 126 00:06:11,684 --> 00:06:14,595 Pentru că toți avem prejudecăți, înseamnă că ar putea codifica 127 00:06:14,595 --> 00:06:17,545 discriminarea sexuală sau orice alt fel de intoleranță. 128 00:06:19,488 --> 00:06:20,929 Un experiment de gândire, 129 00:06:20,929 --> 00:06:22,442 pentru că-mi plac: 130 00:06:23,574 --> 00:06:26,549 o societate complet scindată, 131 00:06:28,247 --> 00:06:31,595 divizată religios, toate orașele, toate cartierele, 132 00:06:31,595 --> 00:06:34,656 și în care trimitem poliția doar în cartierele cu minorități 133 00:06:34,656 --> 00:06:36,083 pentru a cerceta delicte. 134 00:06:36,451 --> 00:06:38,670 Datele arestărilor ar fi foarte părtinitoare. 135 00:06:39,851 --> 00:06:42,446 Ce-ar fi dacă, în plus, am găsi specialiștii în date 136 00:06:42,446 --> 00:06:46,611 și i-am plăti ca să prezică unde ar avea loc următoarea infracțiune? 137 00:06:47,275 --> 00:06:48,762 Cartierul cu minorități. 138 00:06:49,285 --> 00:06:52,410 Sau să prezică cine ar fi următorul infractor? 139 00:06:52,888 --> 00:06:54,283 Un cetățean minoritar. 140 00:06:55,949 --> 00:06:59,510 Specialiștii în date s-ar lăuda cu cât de grozav și precis 141 00:06:59,510 --> 00:07:00,841 ar fi modelul lor 142 00:07:00,841 --> 00:07:02,134 și ar avea dreptate. 143 00:07:03,951 --> 00:07:08,586 Realitatea nu-i așa de drastică, dar avem diviziuni profunde 144 00:07:08,586 --> 00:07:09,897 în multe orașe și comune, 145 00:07:09,897 --> 00:07:11,774 și avem destule dovezi 146 00:07:11,774 --> 00:07:15,026 în acțiunile părtinitoare ale poliției și datele sistemului judiciar. 147 00:07:15,632 --> 00:07:18,457 Și chiar prezicem punctele critice, 148 00:07:18,457 --> 00:07:20,461 locurile unde se desfășoară infracțiunile. 149 00:07:20,461 --> 00:07:24,287 Și chiar prezicem, de fapt, infracțiunile individuale, 150 00:07:24,287 --> 00:07:26,061 infracțiunile indivizilor. 151 00:07:26,972 --> 00:07:30,755 Organizația de știri ProPublica a analizat recent 152 00:07:30,755 --> 00:07:33,753 unul din algoritmii „riscului de recidivă”, cum li se zice, 153 00:07:33,753 --> 00:07:37,388 folosiți în Florida în sentințele judecătorești. 154 00:07:38,411 --> 00:07:41,996 Bernard, în stânga, bărbatul de culoare, a obținut zece puncte din zece. 155 00:07:43,179 --> 00:07:45,206 Dylan, în dreapta, trei din zece. 156 00:07:45,206 --> 00:07:47,891 Zece din zece, risc ridicat. Trei din zece, risc scăzut. 157 00:07:48,598 --> 00:07:51,013 Au fost acuzați de posesie de droguri. 158 00:07:51,013 --> 00:07:52,241 Amândoi cu antecedente, 159 00:07:52,241 --> 00:07:54,961 dar Dylan comisese o crimă, 160 00:07:54,961 --> 00:07:56,191 iar Bernard nu. 161 00:07:57,818 --> 00:08:00,914 Asta contează, deoarece cu cât ai scorul mai mare, 162 00:08:00,914 --> 00:08:04,381 cu atât ai mai multe șanse să primești o sentință mai lungă. 163 00:08:06,294 --> 00:08:07,588 Ce se întâmplă? 164 00:08:08,526 --> 00:08:09,858 Spălare de date. 165 00:08:10,930 --> 00:08:15,377 E un proces prin care tehnologii ascund adevăruri neplăcute 166 00:08:15,377 --> 00:08:17,232 în algoritmi de tip cutie neagră, 167 00:08:17,232 --> 00:08:18,516 pe care-i numesc obiectivi 168 00:08:19,320 --> 00:08:20,888 și meritocratici. 169 00:08:23,118 --> 00:08:25,533 Când sunt secreți, importanți și distructivi, 170 00:08:25,533 --> 00:08:28,044 am inventat o denumire pentru algoritmii ăștia: 171 00:08:28,044 --> 00:08:30,057 „arme de distrugere matematică”. 172 00:08:30,057 --> 00:08:31,645 (Râsete) 173 00:08:31,645 --> 00:08:34,733 (Aplauze) 174 00:08:34,733 --> 00:08:37,081 Sunt peste tot și nu din greșeală. 175 00:08:37,695 --> 00:08:41,438 Sunt companii private care construiesc algoritmi privați 176 00:08:41,438 --> 00:08:42,834 pentru scopuri private. 177 00:08:43,214 --> 00:08:46,448 Chiar și cei de care am vorbit, pentru profesori și poliție, 178 00:08:46,448 --> 00:08:50,601 au fost construiți de companii private și vânduți instituțiilor guvernamentale. 179 00:08:50,601 --> 00:08:52,503 Ei numesc asta „sosul lor secret”, 180 00:08:52,503 --> 00:08:54,645 de asta nu ni-l pot dezvălui. 181 00:08:54,645 --> 00:08:56,869 E și o putere privată. 182 00:08:57,924 --> 00:09:02,619 Profită de faptul că exercită autoritatea impenetrabilă. 183 00:09:05,114 --> 00:09:08,068 Acum o să vă gândiți că, din moment ce totul e privat, 184 00:09:08,068 --> 00:09:09,250 și există concurență, 185 00:09:09,250 --> 00:09:11,580 poate că piața liberă o să rezolve problema. 186 00:09:11,584 --> 00:09:12,863 N-o s-o facă. 187 00:09:12,863 --> 00:09:15,977 Sunt mulți bani de câștigat din inechitate. 188 00:09:17,127 --> 00:09:20,496 În plus, nu suntem agenți economici raționali. 189 00:09:21,031 --> 00:09:22,323 Toți suntem părtinitori. 190 00:09:22,960 --> 00:09:24,597 Toți suntem rasiști și intoleranți 191 00:09:24,597 --> 00:09:28,380 într-un fel în care ne dorim să nu fi fost și de care nici nu ne dăm seama. 192 00:09:29,352 --> 00:09:32,463 Dar știm asta, în ansamblu, 193 00:09:32,463 --> 00:09:35,427 pentru că sociologii au demonstrat-o constant 194 00:09:35,427 --> 00:09:37,316 cu experimentele pe care le-au creat, 195 00:09:37,316 --> 00:09:39,988 când trimit mai multe cereri la anunțurile de angajare, 196 00:09:39,988 --> 00:09:44,243 cu aceleași calificări, dar unele au nume ca de albi și altele ca de negri, 197 00:09:44,243 --> 00:09:46,931 iar rezultatele sunt mereu dezamăgitoare. 198 00:09:47,510 --> 00:09:49,351 Deci noi suntem cei părtinitori, 199 00:09:49,351 --> 00:09:52,764 și introducem acele prejudecăți în algoritmi, 200 00:09:52,764 --> 00:09:54,590 alegând ce date să fie selectate, 201 00:09:54,590 --> 00:09:57,357 așa cum aleg eu să nu mă gândesc la tăiețeii ramen, 202 00:09:57,357 --> 00:09:59,006 am decis că nu-i relevant. 203 00:09:59,006 --> 00:10:04,724 Dar având încredere în datele care reiau practicile din trecut 204 00:10:04,724 --> 00:10:06,762 și alegând definiția succesului, 205 00:10:06,762 --> 00:10:10,759 cum să ne putem aștepta ca algoritmii să fie neafectați? 206 00:10:10,759 --> 00:10:13,119 Nu putem. Trebuie să-i verificăm. 207 00:10:14,165 --> 00:10:15,904 Trebuie să le verificăm echitatea. 208 00:10:15,904 --> 00:10:18,629 Vestea bună e că le putem verifica echitatea. 209 00:10:18,633 --> 00:10:22,005 Algoritmii pot fi interogați 210 00:10:22,005 --> 00:10:24,073 și ne vor spune adevărul de fiecare dată. 211 00:10:24,073 --> 00:10:26,580 Și putem să-i reparăm. Putem să-i îmbunătățim. 212 00:10:26,580 --> 00:10:28,979 Eu numesc asta un audit algoritmic 213 00:10:28,979 --> 00:10:30,692 și o să vă explic ce presupune. 214 00:10:30,692 --> 00:10:32,882 Mai întâi, verificarea integrității datelor. 215 00:10:34,132 --> 00:10:36,819 Pentru algoritmul riscului de recidivă de care am vorbit, 216 00:10:37,582 --> 00:10:41,175 o verificare a integrității datelor ar însemna să acceptăm faptul 217 00:10:41,175 --> 00:10:44,725 că în SUA, albii și cei de culoare fumează canabis în egală măsură, 218 00:10:44,725 --> 00:10:47,244 dar cei de culoare au mai multe șanse să fie arestați, 219 00:10:47,244 --> 00:10:50,422 de patru sau cinci ori mai des, în funcție de regiune. 220 00:10:51,317 --> 00:10:54,173 Cum arată prejudecata asta în alte categorii de infracțiuni 221 00:10:54,173 --> 00:10:55,618 și cum o justificăm? 222 00:10:56,162 --> 00:11:00,631 În al doilea rând, ar trebui să ne gândim la definiția succesului, să audităm asta. 223 00:11:00,631 --> 00:11:03,412 Vă amintiți algoritmul pentru angajare? Am vorbit de el. 224 00:11:03,412 --> 00:11:06,601 Cineva care lucrează patru ani și e promovat o dată? 225 00:11:06,601 --> 00:11:08,394 Ăsta e un angajat de succes, 226 00:11:08,394 --> 00:11:11,467 dar și unul care e susținut de cultura lor. 227 00:11:12,089 --> 00:11:14,035 Dar și asta poate fi părtinitor. 228 00:11:14,035 --> 00:11:16,134 Trebuie să separăm aceste două aspecte. 229 00:11:16,134 --> 00:11:19,804 Ar trebui să luăm audiția pe nevăzute drept exemplu. 230 00:11:19,804 --> 00:11:22,554 Presupune că cei care sunt audiați stau după un paravan. 231 00:11:22,946 --> 00:11:24,897 În cazul ăsta vreau să mă gândesc 232 00:11:24,897 --> 00:11:30,398 că cei care ascultă au decis ce-i important și ce nu 233 00:11:30,398 --> 00:11:32,454 și nu li se distrage atenția de la asta. 234 00:11:32,961 --> 00:11:35,730 Când s-a început cu audițiile pe nevăzute, 235 00:11:35,730 --> 00:11:39,178 numărul femeilor în orchestre a crescut de cinci ori. 236 00:11:40,253 --> 00:11:42,328 Mai departe, trebuie să examinăm acuratețea. 237 00:11:43,233 --> 00:11:46,967 În cazul ăsta, modelul valorii adăugate pentru profesori ar eșua imediat. 238 00:11:47,578 --> 00:11:49,740 Niciun algoritm nu e perfect, desigur, 239 00:11:50,620 --> 00:11:54,225 deci trebuie să ne gândim la erorile fiecărui algoritm. 240 00:11:54,836 --> 00:11:59,195 Cât de des apar erori și pentru cine nu funcționează modelul? 241 00:11:59,850 --> 00:12:01,568 Care e costul acestui eșec? 242 00:12:02,434 --> 00:12:04,641 Și, în sfârșit, trebuie să analizăm 243 00:12:05,973 --> 00:12:08,159 efectele pe termen lung ale algoritmilor, 244 00:12:08,866 --> 00:12:11,073 buclele de feedback care se generează. 245 00:12:11,586 --> 00:12:12,852 Sună abstract, 246 00:12:12,852 --> 00:12:15,800 dar imaginați-vă că tehnicienii Facebook s-ar fi gândit la asta 247 00:12:16,270 --> 00:12:21,125 înainte să decidă să ne arate doar ce au publicat prietenii noștri. 248 00:12:21,761 --> 00:12:24,995 Mai am două mesaje, unul e pentru specialiștii în date dintre voi. 249 00:12:25,450 --> 00:12:28,859 Specialiști în date, nu trebuie să fim arbitrii adevărului. 250 00:12:29,520 --> 00:12:33,333 Ar trebui să fim traducătorii discuțiilor etice care au loc 251 00:12:33,333 --> 00:12:34,721 în societate la scară largă. 252 00:12:35,579 --> 00:12:37,742 (Aplauze) 253 00:12:37,742 --> 00:12:39,292 Iar pentru voi, ceilalți, 254 00:12:40,011 --> 00:12:41,277 nespecializați în date: 255 00:12:41,277 --> 00:12:42,929 ăsta nu-i un test de matematică. 256 00:12:43,632 --> 00:12:44,980 E o luptă politică. 257 00:12:46,587 --> 00:12:50,494 Trebuie să pretindem responsabilizarea suzeranilor noștri algoritmici. 258 00:12:52,118 --> 00:12:53,637 (Aplauze) 259 00:12:53,637 --> 00:12:57,886 Vremea încrederii oarbe în volumele mari de date trebuie să ia sfârșit. 260 00:12:57,886 --> 00:12:59,077 Mulțumesc mult. 261 00:12:59,081 --> 00:13:04,384 (Aplauze)