0:00:00.835,0:00:02.401
Algoritmi su svuda.

0:00:04.111,0:00:07.236
Filtriraju i odvajaju[br]pobednike od gubitnika.

0:00:07.919,0:00:10.033
Pobednici dobijaju posao

0:00:10.057,0:00:11.990
ili dobru ponudu kreditne kartice.

0:00:12.000,0:00:14.651
Za gubitnike nema ni intervjua

0:00:15.450,0:00:17.367
ili plaćaju više za osiguranje.

0:00:17.977,0:00:21.586
Ocenjuju nas tajne formule[br]koje ne razumemo,

0:00:22.405,0:00:25.622
za koje često ne postoje[br]sistemi za podnošenje žalbe.

0:00:26.960,0:00:28.346
To nas tera se zapitamo:

0:00:28.370,0:00:31.283
„Šta ako algoritmi greše?“

0:00:32.820,0:00:35.180
Da napravite algoritam[br]potrebne su vam dve stvari:

0:00:35.200,0:00:36.795
podaci, šta je bilo u prošlosti,

0:00:36.819,0:00:38.180
i definicija uspeha,

0:00:38.194,0:00:41.031
koji tražite i kojem se često nadate.

0:00:41.045,0:00:46.032
Osposobljavate algoritam[br]posmatranjem i zaključivanjem.

0:00:46.056,0:00:49.475
Algoritam pronalazi vezu sa uspehom.

0:00:49.499,0:00:51.962
Koja situacija vodi ka uspehu?

0:00:52.511,0:00:54.363
Zapravo, svi koriste algoritme,

0:00:54.397,0:00:57.145
ali ih ne formalizuju u pisani kôd.

0:00:57.169,0:00:58.057
Evo vam primera.

0:00:58.077,0:01:01.393
Svaki dan koristim algoritam[br]da napravim porodici doručak.

0:01:01.881,0:01:03.357
Podaci koje koristim su:

0:01:04.254,0:01:05.783
namirnice u kuhinji,

0:01:05.817,0:01:07.344
vreme koje imam na raspolaganju,

0:01:07.368,0:01:08.401
ambicija koju imam,

0:01:08.435,0:01:10.284
i te podatke obrađujem.

0:01:10.298,0:01:14.549
U hranu ne računam[br]ona mala pakovanja instant špageta.

0:01:14.583,0:01:16.512
(Smeh)

0:01:16.536,0:01:18.381
Moja definicija uspeha je -

0:01:18.405,0:01:21.064
obrok je uspeo ako moja deca jedu povrće.

0:01:21.891,0:01:24.325
To bi izgledalo mnogo drugačije[br]da se moj sin pita.

0:01:24.359,0:01:27.147
Njemu bi uspeh bio da se najede nutele.

0:01:28.909,0:01:31.135
Ali, ja biram uspeh.

0:01:31.149,0:01:33.856
Ja sam zadužena za to.[br]Moje mišljenje je važno.

0:01:33.870,0:01:36.545
To je prvo pravilo algoritama.

0:01:36.589,0:01:39.769
Algoritmi su mišljenja ugrađena u kôd.

0:01:41.312,0:01:45.215
To se veoma razlikuje od onoga što mislite[br]da većina ljudi misli o algoritmima.

0:01:45.249,0:01:49.403
Ljudi misle da su algoritmi[br]objektivni, istiniti i naučni.

0:01:50.147,0:01:51.846
To je marketinški trik.

0:01:53.269,0:01:55.394
Marketinški trik jeste

0:01:55.418,0:01:58.292
i kada vas plaše algoritmima,

0:01:58.306,0:02:01.967
kada vas teraju da verujete[br]i da se plašite algoritama

0:02:01.981,0:02:04.249
jer verujete matematici i plašite je se.

0:02:05.317,0:02:10.147
Mnogo grešaka može se desiti[br]kada slepo verujemo u masovne podatke.

0:02:11.424,0:02:14.797
Ovo je Kiri Soares,[br]direktor srednje škole u Bruklinu.

0:02:14.841,0:02:17.327
Godine 2011. rekla mi je[br]da njen kolektiv ocenjuju

0:02:17.351,0:02:20.078
složenim, tajnim algoritmom

0:02:20.112,0:02:22.271
koji se zove „model dodatne vrednosti“.

0:02:22.295,0:02:24.887
Rekla sam joj: „Saznaj[br]koja je formula i pokaži mi je.

0:02:24.891,0:02:26.732
Objasniću ti je.“

0:02:26.766,0:02:28.667
Rekla je: „Pokušala sam dobiti formulu,

0:02:28.691,0:02:32.003
ali osoba iz Ministarstva obrazovanja[br]mi je rekla da je to matematika

0:02:32.027,0:02:33.643
i da je neću razumeti.“

0:02:35.076,0:02:36.414
Postaje sve gore.

0:02:36.438,0:02:39.968
Njujork Post je podneo zahtev[br]na osnovu zakona o slobodi informacija,

0:02:39.992,0:02:42.951
dobio imena i ocene svih nastavnika

0:02:42.985,0:02:45.767
i onda ih objavio kao čin[br]sramoćenja nastavnika.

0:02:46.894,0:02:50.754
Kada sam probala istim putem doći[br]do formula, do izvornog kôda,

0:02:50.798,0:02:52.857
rečeno mi je da ne može.

0:02:52.867,0:02:53.973
Odbijena sam.

0:02:53.991,0:02:55.145
Posle sam saznala

0:02:55.169,0:02:58.115
da niko u Njujorku[br]nema podatke o toj formuli.

0:02:58.139,0:02:59.444
Niko je nije razumeo.

0:03:01.679,0:03:04.823
Onda se uključio neko[br]veoma bistar, Geri Rubenstajn.

0:03:04.847,0:03:08.518
Pronašao je 665 nastavnika[br]iz onog članka u Njujork Postu

0:03:08.542,0:03:10.498
koji zapravo imaju dva rezultata.

0:03:10.532,0:03:14.883
Ovo se moglo desiti jer su predavali[br]matematiku u sedmom i osmom razredu.

0:03:14.900,0:03:16.558
Odlučio je da ih ubaci u grafikon.

0:03:16.572,0:03:18.565
Svaka tačka je nastavnica ili nastavnik.

0:03:18.614,0:03:21.203
(Smeh)

0:03:21.217,0:03:22.738
Šta je to?

0:03:22.762,0:03:24.099
(Smeh)

0:03:24.123,0:03:27.289
To se nikako nije trebalo koristiti[br]za individualne procene.

0:03:27.313,0:03:29.239
Ovo je kao generator nasumičnih brojeva.

0:03:29.263,0:03:32.489
(Aplauz)

0:03:32.503,0:03:33.375
Ali, korišćeno je.

0:03:33.419,0:03:34.335
Ovo je Sara Visoki.

0:03:34.369,0:03:36.974
Otpuštena je kad i 205 drugih nastavnika

0:03:37.008,0:03:39.750
iz škola vašingtonskog okruga

0:03:39.784,0:03:42.693
iako je imala odlučne preporuke direktora

0:03:42.727,0:03:44.155
i roditelja učenika.

0:03:45.080,0:03:46.932
Znam šta mnogi od vas ovde sada misle,

0:03:46.956,0:03:50.083
posebno naučnici za podatke,[br]stručnjaci za veštačku inteligenciju.

0:03:50.103,0:03:54.063
Mislite: „Pa, nikada ne bismo napravili[br]tako nedosledan algoritam.“

0:03:54.603,0:03:56.216
Ali, algoritmi mogu pogrešiti,

0:03:56.260,0:04:00.858
čak imati i duboko destruktivno dejstvo[br]sa dobrom namerama.

0:04:02.241,0:04:04.620
Dok loše napravljen avion

0:04:04.644,0:04:06.645
padne na tlo i svi to vide,

0:04:06.669,0:04:08.519
loše osmišljen algoritam

0:04:09.885,0:04:13.790
može trajati dugo i potajno[br]i tiho praviti ogromnu štetu.

0:04:15.528,0:04:17.098
Ovo je Rodžer Ejls.

0:04:17.132,0:04:19.132
(Smeh)

0:04:20.244,0:04:22.632
Osnovao je Foks Njuz 1996. godine.

0:04:23.176,0:04:25.587
Preko 20 žena žalilo se[br]na seksualno uznemiravanje.

0:04:25.601,0:04:28.976
Rekle su da im u Foks Njuzu[br]nije dozvoljen uspeh.

0:04:29.010,0:04:30.340
Izbačen je prošle godine,

0:04:30.364,0:04:34.464
ali nedavno smo videli[br]da problemi još nisu rešeni.

0:04:35.394,0:04:36.994
To zahteva da se postavi pitanje

0:04:37.018,0:04:39.902
šta Foks Njuz treba da uradi[br]da okrene novi list.

0:04:40.965,0:04:43.746
Šta bi se desilo da proces zapošljavanja

0:04:43.770,0:04:45.564
zamene mašinskim algoritmom koji uči?

0:04:45.564,0:04:47.269
Zvuči dobro, zar ne?

0:04:47.297,0:04:48.687
Razmislite o tome.

0:04:48.731,0:04:50.786
Podaci. Šta bi bi bili podaci?

0:04:50.820,0:04:55.767
Ima smisla izabrati prijave za Foks Njuz[br]tokom poslednjih 21 godina.

0:04:55.781,0:04:56.773
Ima smisla.

0:04:57.267,0:04:59.205
A definicija uspeha?

0:04:59.501,0:05:01.095
Razuman izbor bio bi, valjda,

0:05:01.099,0:05:02.777
neko ko je uspešan u Foks Njuzu?

0:05:02.801,0:05:06.301
Recimo, osoba koja je tamo[br]bila četiri godine

0:05:06.325,0:05:07.979
i dobila unapređenje makar jednom.

0:05:08.506,0:05:09.717
Ima smisla.

0:05:10.191,0:05:12.545
Onda bismo osposobljavali algoritam.

0:05:12.569,0:05:16.446
Osposobili bismo ga da traži ljude,[br]da uči šta je vodilo ka uspehu,

0:05:16.889,0:05:21.257
kakve vrste prijava su vremenom[br]vodile ka uspehu

0:05:21.271,0:05:22.925
u skladu sa tom definicijom.

0:05:23.930,0:05:25.705
Razmislite sada šta bi se desilo

0:05:25.739,0:05:28.294
kada bismo to primenili[br]na trenutne kandidate.

0:05:28.819,0:05:30.448
Izbacilo bi žene

0:05:31.433,0:05:35.363
jer ne deluju kao osobe[br]koje su bile uspešne u prošlosti.

0:05:39.512,0:05:42.049
Algoritmi ne popravljaju stvari

0:05:42.059,0:05:44.593
ako ih samo nonšalantno[br]i slepo primenjujete.

0:05:44.611,0:05:46.183
Ne popravljaju stvari.

0:05:46.207,0:05:48.425
Ponavljaju našu praksu iz prošlosti,

0:05:48.439,0:05:49.472
naše šablone.

0:05:49.496,0:05:51.435
Automatizuju status kvo.

0:05:52.468,0:05:54.857
Da živimo u savršenom[br]svetu to bi bilo sjajno,

0:05:55.675,0:05:56.987
ali ne živimo.

0:05:57.001,0:06:00.813
Dodaću da većina firmi[br]nema sramne parnice,

0:06:02.206,0:06:04.794
ali naučnicima za podatke[br]u tim kompanijama

0:06:04.808,0:06:06.997
rečeno je idu tragom podataka,

0:06:07.031,0:06:09.174
da paze na tačnost.

0:06:10.033,0:06:11.414
Razmislite šta to znači.

0:06:11.428,0:06:15.515
Pošto smo svi pristrasni, to znači[br]da će možda kodifikovati seksizam

0:06:15.549,0:06:17.595
ili drugu netrpeljivost.

0:06:19.248,0:06:20.669
Misaoni eksperiment,

0:06:20.713,0:06:22.222
jer ih volim:

0:06:23.334,0:06:26.309
jedno društvo, skroz podeljeno -

0:06:28.007,0:06:31.329
na osnovu rase, svi gradovi, sve opštine -

0:06:31.349,0:06:34.246
a policiju šaljemo[br]samo u delove gde živi manjina

0:06:34.270,0:06:35.463
u potrazi za kriminalom.

0:06:36.201,0:06:38.420
Podaci o hapšenjima[br]bili bi veoma pristrasni.

0:06:39.711,0:06:42.426
Šta ako bismo, povrh svega,[br]pronašli naučnike za podatke

0:06:42.450,0:06:46.611
i platili tim naučnicima[br]da predvide mesto sledećeg zločina?

0:06:47.045,0:06:48.532
Opštine sa manjinama.

0:06:49.065,0:06:52.190
Ili da predvide[br]ko će sledeći biti kriminalac?

0:06:52.568,0:06:53.963
Neko iz manjine.

0:06:55.739,0:07:00.580
Naučnici bi se hvalisali[br]svojim sjajnim i tačnim modelom,

0:07:00.595,0:07:01.894
i bili bi u pravu.

0:07:03.721,0:07:08.250
Realnost nije tako drastična,[br]ali postoje ozbiljne podele

0:07:08.250,0:07:09.957
u mnogim malim i velikom gradovima,

0:07:09.957,0:07:11.564
i imamo mnoštvo dokaza

0:07:11.578,0:07:14.266
o pristrasnim podacima[br]u sistemu policije i pravosuđa.

0:07:15.422,0:07:18.237
Mi zapravo predviđamo krizna mesta,

0:07:18.261,0:07:20.071
mesta gde će se desiti nasilje.

0:07:20.101,0:07:24.077
I predviđamo, zapravo,[br]pojedinačni kriminalitet,

0:07:24.101,0:07:25.871
kriminalitet pojedinaca.

0:07:26.742,0:07:30.475
Novinska organizacija Propablika[br]nedavno je proverila

0:07:30.509,0:07:32.373
jedan „algoritam ugrožen recidivizmom“

0:07:32.397,0:07:33.560
kako ih zovu,

0:07:33.584,0:07:36.778
koje sudije koriste[br]u presudama na Floridi.

0:07:38.241,0:07:41.826
Bernard, levo, crnac,[br]dobio je 10 od 10 poena.

0:07:42.949,0:07:44.956
Dilan, desno, 3 od 10.

0:07:44.980,0:07:47.761
Deset od deset, visok rizik.[br]Tri od deset, nizak rizik.

0:07:48.378,0:07:50.763
Obojica su privedeni[br]zbog posedovanja droge.

0:07:50.797,0:07:51.951
Obojica su imali dosije,

0:07:51.975,0:07:54.781
ali Dilan je imao krivično delo,

0:07:54.805,0:07:55.981
a Bernard nije.

0:07:57.628,0:08:00.694
Ovo je bitno jer što su ti veći poeni,

0:08:00.708,0:08:04.181
veće su šanse da dobiješ dužu kaznu.

0:08:06.044,0:08:07.338
O čemu se ovde radi?

0:08:08.346,0:08:09.678
Pranje podataka.

0:08:10.730,0:08:15.157
Proces kojim tehnolozi[br]sakrivaju ružnu istinu

0:08:15.181,0:08:17.002
u crne kutije algoritama

0:08:17.036,0:08:18.326
i nazivaju ih objektivnima;

0:08:19.040,0:08:20.608
nazivaju ih meritokratskim.

0:08:22.878,0:08:25.263
Za tajne, važne i destruktivne algoritme

0:08:25.287,0:08:29.554
sam skovala frazu[br]„oružje za matematičko uništenje“.

0:08:29.581,0:08:31.145
(Smeh)

0:08:31.169,0:08:33.613
(Aplauz)

0:08:34.527,0:08:36.721
Oni su svuda i to nije greška.

0:08:37.475,0:08:41.198
To su privatne kompanije[br]koje prave privatne algoritme

0:08:41.222,0:08:42.614
za privatne ciljeve.

0:08:42.974,0:08:46.188
Čak i one već spomenute,[br]za nastavnike i policiju,

0:08:46.232,0:08:47.731
napravile su privatne kompanije

0:08:47.735,0:08:49.726
i zatim ih prodale vladinim telima.

0:08:50.450,0:08:51.973
Zovu ih „tajnim umakom“;

0:08:52.007,0:08:54.285
zato nam ništa ne mogu reći o tome.

0:08:54.319,0:08:56.539
To je i privatna moć.

0:08:57.614,0:09:02.309
Zarađuju na korišćenju autoriteta[br]koji se ne može proveriti.

0:09:04.864,0:09:07.798
Možda ste pomislili da,[br]pošto je ovo privatno,

0:09:07.822,0:09:08.830
postoji konkurencija;

0:09:08.854,0:09:11.280
možda će slobodno tržište rešiti problem.

0:09:11.304,0:09:12.553
Neće.

0:09:12.567,0:09:15.687
Mnogo se novca može napraviti nepravdom.

0:09:16.907,0:09:20.276
Uz to, mi nismo[br]ekonomski racionalni činioci.

0:09:20.811,0:09:22.103
Svi smo pristrasni.

0:09:22.780,0:09:26.157
Svi smo rasisti i netrpeljivi[br]onako kako ne želimo biti

0:09:26.191,0:09:28.210
u oblicima koje i ne poznajemo.

0:09:29.142,0:09:32.223
Ipak, znamo da je to kolektivno

0:09:32.257,0:09:35.277
jer to sociolozi dosledno dokazuju

0:09:35.311,0:09:36.976
eksperimentima koje osmišljavaju,

0:09:37.000,0:09:39.668
kada pošalju gomilu prijava za posao,

0:09:39.702,0:09:42.463
podjednako dobrih, ali neke imaju[br]imena koja zvuče belački

0:09:42.467,0:09:44.173
a neke koje zvuče kao crnački,

0:09:44.187,0:09:46.881
i uvek su razočaravajući rezultati; uvek.

0:09:47.260,0:09:49.031
Tako, mi smo pristrasni

0:09:49.045,0:09:52.474
i mi u algoritme ubacujemo pristrasnost

0:09:52.488,0:09:54.300
izborom podataka za prikupljanje,

0:09:54.344,0:09:57.087
kao kada sam odlučila[br]da ne mislim o instant-špagetama;

0:09:57.111,0:09:58.736
odlučila sam da su nebitne.

0:09:58.770,0:10:04.454
Ako verujemo podacima[br]koji otkrivaju praksu iz prošlosti

0:10:04.488,0:10:06.502
i biramo definiciju uspeha,

0:10:06.536,0:10:10.519
kako onda očekujemo[br]da algoritmi ostanu neoštećeni?

0:10:10.563,0:10:12.919
Ne možemo. Moramo ih proveriti.

0:10:13.975,0:10:15.684
Moramo proveriti da li su pravični.

0:10:15.708,0:10:18.419
Dobra vest jeste da možemo[br]proveriti jesu li pravični.

0:10:18.433,0:10:21.785
Algoritme možemo ispitati

0:10:21.809,0:10:23.843
i reći će nam istinu svaki put.

0:10:23.847,0:10:26.340
I možemo ih popraviti.[br]Možemo ih poboljšati.

0:10:26.364,0:10:28.739
To zovem revizijom algoritma

0:10:28.763,0:10:30.442
i ukratko ću vam je objasniti.

0:10:30.466,0:10:32.662
Prvo, provera integriteta podataka.

0:10:33.932,0:10:36.799
Zbog algoritma rizika od recidivizma[br]o kojem sam govorila,

0:10:37.292,0:10:40.865
provera integriteta podataka[br]značila bi prihvatanje činjenice

0:10:40.899,0:10:44.425
da u SAD crnci i belci[br]podjednako puše travu

0:10:44.469,0:10:46.954
ali crnci imaju mnogo više[br]šanse da budu uhapšeni -

0:10:46.978,0:10:50.162
četiri ili pet puta, zavisi od kraja.

0:10:51.047,0:10:53.943
Kako ta pristrasnost izgleda[br]u drugim kriminalnim oblastima,

0:10:53.967,0:10:55.418
i kako je uzimamo u obzir?

0:10:55.962,0:10:59.001
Drugo, treba da razmislimo[br]o definiciji uspeha,

0:10:59.025,0:11:00.406
da je revidiramo.

0:11:00.430,0:11:03.182
Setite se algoritma za zapošljavanje[br]koji smo spomenuli.

0:11:03.216,0:11:06.381
Osoba koja je tu četiri godine[br]i unapređena je jednom?

0:11:06.415,0:11:07.874
Pa, to je uspešan zaposleni,

0:11:07.894,0:11:10.973
ali je takođe i zaposleni[br]u skladu sa njihovom kulturom.

0:11:11.919,0:11:13.535
Tako i to može biti pristrasno.

0:11:13.549,0:11:15.774
Moramo razdvojiti te dve stvari.

0:11:15.808,0:11:19.334
Treba da uzmemo[br]slepe audicije za orkestar kao primer.

0:11:19.358,0:11:22.294
Tamo ljudi konkurišu su iza zastora.

0:11:22.716,0:11:24.647
Što je meni bitno jeste

0:11:24.681,0:11:28.278
da ljudi koji slušaju[br]odlučuju šta je bitno

0:11:28.292,0:11:29.811
i odlučuju su šta nije bitno,

0:11:29.815,0:11:31.874
tako da im to ne odvlači pažnju.

0:11:32.741,0:11:35.490
Otkad su počele[br]slepe audicije za orkestre,

0:11:35.504,0:11:38.948
broj žena u orkestrima[br]povećao se pet puta.

0:11:39.963,0:11:41.978
Zatim, moramo razmotriti tačnost.

0:11:42.953,0:11:46.687
Tada bi se model dodatne vrednosti[br]za nastavnike odmah raspao.

0:11:47.238,0:11:49.400
Nema savršenog algoritma, naravno,

0:11:50.310,0:11:53.915
pa moramo razmotriti[br]greške svakog algoritma.

0:11:54.566,0:11:59.315
Koliko su greške česte[br]i za koga ovaj model ne funkcioniše?

0:11:59.630,0:12:01.408
Koja je cena te nefunkcionalnosti?

0:12:02.234,0:12:04.441
Na kraju, moramo razmotriti

0:12:05.763,0:12:07.949
dugoročne efekte algoritama,

0:12:08.666,0:12:11.083
njihove povratne kružne sprege[br]koje se stvaraju.

0:12:11.406,0:12:12.512
Ovo zvuči apstraktno,

0:12:12.536,0:12:15.540
ali zamislite da su Fejsbukovi inženjeri[br]to uzeli u obzir

0:12:16.000,0:12:20.855
pre odluke da nam prikažu[br]samo postove naših prijatelja.

0:12:21.471,0:12:24.705
Imam još dve poruke,[br]jednu za naučnike koji se bave podacima.

0:12:25.240,0:12:28.649
Naučnici za podatke - ne treba[br]da budemo sudije istine.

0:12:29.240,0:12:32.277
Treba da budemo[br]prevodioci etičkih rasprava

0:12:32.287,0:12:34.621
koje se odvijaju u širem društvu.

0:12:35.249,0:12:37.492
(Aplauz)

0:12:37.516,0:12:39.072
A za vas ostale,

0:12:39.831,0:12:41.407
koji niste naučnici za podatke:

0:12:41.431,0:12:42.929
ovo nije test iz matematike.

0:12:43.332,0:12:44.680
Ovo je politička borba.

0:12:46.257,0:12:50.164
Od naših algoritamskih vladara[br]moramo zahtevati odgovornost.

0:12:51.768,0:12:53.267
(Aplauz)

0:12:53.301,0:12:57.516
Doba slepe vere u masovne podatke[br]mora se okončati.

0:12:57.540,0:12:58.707
Hvala vam mnogo.

0:12:58.721,0:13:01.144
(Aplauz)