0:00:00.975,0:00:02.571
Algoritmusok mindenhol vannak.

0:00:04.111,0:00:07.236
Azok rendezik és különítik el[br]a győzteseket a vesztesektől.

0:00:08.019,0:00:10.207
A győztesek kapják az állásokat

0:00:10.207,0:00:11.742
s a jó hitelkártya-ajánlatokat.

0:00:12.190,0:00:14.725
A vesztesek még az interjúig sem jutnak,

0:00:15.590,0:00:17.367
és a biztosítás is drágább nekik.

0:00:18.197,0:00:21.746
Titkos, érthetetlen képletekkel[br]pontoznak minket,

0:00:22.675,0:00:25.892
amelyek ellen gyakran nincs fellebbezés.

0:00:27.240,0:00:28.536
Fölvetődik a kérdés:

0:00:28.560,0:00:31.473
mi van, ha az algoritmusok hibásak?

0:00:33.100,0:00:35.140
Algoritmus kialakításához két dolog kell:

0:00:35.164,0:00:37.145
múltról szóló adatok

0:00:37.169,0:00:39.530
meg a keresett s gyakorta remélt

0:00:39.530,0:00:41.211
siker meghatározása.

0:00:41.235,0:00:46.272
Idomítjuk az algoritmust,[br]közben figyeljük, számolgatunk.

0:00:46.296,0:00:49.715
Az algoritmus kiszámolja,[br]mi minősül sikernek.

0:00:49.739,0:00:52.202
Milyen helyzet vezet sikerre?

0:00:52.881,0:00:54.643
Mindenki használ algoritmust,

0:00:54.667,0:00:57.385
csak nem formalizálja[br]leírt kód alakjában.

0:00:57.409,0:00:58.757
Mondok egy példát.

0:00:58.781,0:01:02.097
Naponta algoritmust használok,[br]amikor főzök a családomnak.

0:01:02.121,0:01:03.597
A fölhasznált adatok:

0:01:04.394,0:01:06.053
hozzávalók a konyhában,

0:01:06.077,0:01:07.604
a rendelkezésre álló idő,

0:01:07.628,0:01:08.861
milyen kedvem van.

0:01:08.885,0:01:10.594
Ezeket az adatokat rendszerezem.

0:01:10.618,0:01:14.869
A zacskós leveseket nem tartom ételnek.

0:01:14.893,0:01:16.112
(Nevetés)

0:01:16.786,0:01:18.631
A sikert így határozom meg:

0:01:18.655,0:01:21.314
sikeres az étel, ha srácaim[br]esznek zöldséget.

0:01:22.181,0:01:25.035
Legkisebb fiam szerint[br]más a siker mércéje.

0:01:25.059,0:01:27.601
Szerinte az, ha sok Nutellát ehetne.

0:01:29.179,0:01:31.405
De én választom meg a sikert.

0:01:31.429,0:01:34.136
Én döntök. Az én véleményem mérvadó.

0:01:34.160,0:01:36.835
Ez az algoritmusok első szabálya.

0:01:36.859,0:01:40.039
Az algoritmusok kódba ágyazott vélemények.

0:01:41.562,0:01:45.225
Eltér attól, amit önök, a legtöbben[br]az algoritmusról gondolnak.

0:01:45.249,0:01:49.753
Azt hiszik, hogy az algoritmus[br]objektív, igaz és tudományos jószág.

0:01:50.387,0:01:52.086
Ez csak marketingfogás.

0:01:53.269,0:01:55.015
Az is marketingfogás,

0:01:55.198,0:01:58.572
hogy algoritmusokkal riogatják önöket,

0:01:58.596,0:02:02.257
hogy bízzanak bennük, és féljenek tőlük,

0:02:02.281,0:02:04.369
mert önök bíznak[br]a matekban, s félnek tőle.

0:02:05.567,0:02:10.397
Sokuk hibásnak bizonyulhat,[br]ha vakon hiszünk a big datában.

0:02:11.684,0:02:15.057
Ő Kiri Soares, középiskolai[br]igazgató Brooklynban.

0:02:15.081,0:02:17.667
2011-ben elmondta nekem, hogy tanárait

0:02:17.691,0:02:19.422
komplex, titkos algoritmussal

0:02:19.422,0:02:21.931
ún. "hozzáadott érték[br]modell"-lel pontozták,

0:02:22.505,0:02:24.891
"Nézz utána a képletnek,[br]mutasd meg nekem,

0:02:24.891,0:02:26.382
majd elmagyarázom" – feleltem.

0:02:26.946,0:02:28.931
"Próbáltam megszerezni,

0:02:28.931,0:02:32.123
de az oktatási minisztériumi ember[br]azt mondta, hogy az matek,

0:02:32.147,0:02:33.693
és úgysem érteném" – válaszolta.

0:02:35.266,0:02:36.498
De ez még semmi!

0:02:36.598,0:02:40.238
Az információszabadsági törvény alapján[br]a New York Post kérvényt nyújtott be,

0:02:40.238,0:02:43.141
megszerezte a tanárok nevét és pontszámát,

0:02:43.165,0:02:45.947
és a tanárok megszégyenítéséül közzétette.

0:02:47.084,0:02:50.944
Amikor ugyanezzel a módszerrel meg akartam[br]szerezni a képletet, a forráskódot,

0:02:50.968,0:02:53.117
azt mondták, nem lehet.

0:02:53.141,0:02:54.211
Megtagadták.

0:02:54.211,0:02:55.575
Később megtudtam,

0:02:55.599,0:02:58.465
hogy senkinek sincs meg[br]a képlet New Yorkban.

0:02:58.489,0:02:59.794
Senki sem ismerte.

0:03:01.929,0:03:05.153
Aztán Gary Rubenstein, egy okos[br]ember, elkezdett vele foglalkozni.

0:03:05.177,0:03:08.798
A New York Post adataiban[br]talált 665 tanárt,

0:03:08.822,0:03:10.494
akiknek két különböző pontjuk volt.

0:03:10.712,0:03:12.593
Ez úgy lehet, ha a tanárok

0:03:12.617,0:03:15.056
hetedikes és nyolcadikas[br]matekot is tanítottak.

0:03:15.080,0:03:16.618
Úgy döntött, hogy ábrát készít.

0:03:16.642,0:03:18.635
Minden pötty egy tanárnak felel meg.

0:03:19.104,0:03:20.477
(Nevetés)

0:03:21.507,0:03:22.665
Mi ez?

0:03:23.052,0:03:24.329
(Nevetés)

0:03:24.353,0:03:27.799
Egyéni értékelés esetén[br]ilyen sohasem történt volna.

0:03:27.823,0:03:29.732
Majdhogynem egy véletlenszám-generátor.

0:03:29.732,0:03:30.916
(Taps)

0:03:32.743,0:03:33.499
Az is volt.

0:03:33.499,0:03:34.546
Ő Sarah Wysocki.

0:03:34.546,0:03:37.304
Kirúgták 205 tanártársával együtt

0:03:37.328,0:03:39.424
a washingtoni iskolakörzetből,

0:03:40.014,0:03:42.923
bár kitűnő véleménye[br]volt róla az igazgatójának,

0:03:42.947,0:03:44.375
a szülőknek és a gyerekeknek.

0:03:45.310,0:03:46.996
Tudom, a jelenlévők mire gondolnak,

0:03:46.996,0:03:49.547
különösen az adattudósok[br]és az MI-szakértők.

0:03:49.547,0:03:54.183
Erre: "Én aztán soha nem csinálnék[br]olyan következetlen algoritmust!"

0:03:54.853,0:03:56.536
De az algoritmusok hibázhatnak,

0:03:56.560,0:04:01.158
és erős romboló hatásuk is[br]lehet jó szándékból adódóan.

0:04:02.531,0:04:04.910
Egy rosszul tervezett repülő

0:04:04.934,0:04:06.935
földre zuhan mindenki szeme láttára,

0:04:06.959,0:04:08.809
de egy rosszul tervezett algoritmus

0:04:10.245,0:04:14.110
sokáig működhet, csöndes rombolást okozva.

0:04:15.748,0:04:17.090
Ő Roger Ailes.

0:04:17.342,0:04:19.342
(Nevetés)

0:04:20.524,0:04:22.912
1996-ban ő alapította a Fox Newst.

0:04:23.436,0:04:26.017
Több mint 20 nő panaszkodott[br]szexuális zaklatás miatt.

0:04:26.041,0:04:29.276
Mondták, hogy nem számíthattak[br]sikerre a Fox Newsnál.

0:04:29.300,0:04:31.820
2016-ban Ailest kirúgták, de látható,

0:04:31.844,0:04:34.514
hogy a helyzet nem változik.

0:04:35.654,0:04:37.054
Adódik a kérdés:

0:04:37.078,0:04:39.962
Mit kell a Fox Newsnak tennie,[br]hogy a helyzet javuljon?

0:04:41.245,0:04:43.850
Mi lenne, ha felvételi rendszerüket

0:04:43.850,0:04:45.784
gépi tanulási algoritmusra cserélnék le?

0:04:45.784,0:04:46.935
Jól hangzik, ugye?

0:04:47.467,0:04:48.378
De gondoljunk bele!

0:04:48.681,0:04:51.036
Milyen adatok állnak rendelkezésre?

0:04:51.060,0:04:55.787
Az észszerű választás az utóbbi 21 évben[br]a Fox Newshoz beadott jelentkezési lapok.

0:04:56.031,0:04:56.748
Észszerű.

0:04:57.557,0:04:59.495
Mi van a siker meghatározásával?

0:04:59.921,0:05:01.325
Az észszerű válasz ez lenne:

0:05:01.325,0:05:03.047
aki sikeres volt a Fox Newsnál?

0:05:03.071,0:05:06.651
Mondjuk, aki négy évet ott töltött,

0:05:06.675,0:05:08.329
és legalább egyszer előléptették.

0:05:08.816,0:05:10.059
Észszerűnek hangzik.

0:05:10.401,0:05:12.755
Aztán idomítjuk az algoritmust arra,

0:05:12.779,0:05:16.656
hogy olyanokat keressen,[br]akik sikeresnek bizonyultak,

0:05:17.129,0:05:21.537
hogy megtudjuk, idővel[br]mely jelentkezők lettek sikeresek

0:05:21.561,0:05:22.855
meghatározásunk szerint.

0:05:24.200,0:05:25.849
De gondoljunk most arra, mi lenne,

0:05:25.849,0:05:27.965
ha ezt alkalmaznánk[br]a mostani jelentkezőkre,

0:05:29.119,0:05:30.748
és kiszűrnénk a nőket,

0:05:31.663,0:05:35.593
mert a nők nem voltak sikeresek a múltban?

0:05:39.752,0:05:42.289
Az algoritmusoktól a dolgok[br]nem válnak korrektté,

0:05:42.313,0:05:44.831
ha gondatlanul, vakon alkalmazzuk őket.

0:05:44.831,0:05:46.513
Tőlük semmi sem válik korrektté.

0:05:46.537,0:05:48.665
A múlt gyakorlatát ismétlik,

0:05:48.689,0:05:49.872
a mi sémáinkat,

0:05:49.896,0:05:51.835
Automatizálják a status quót.

0:05:52.718,0:05:55.107
Tökéletes világban ez nagyszerű is lenne,

0:05:55.905,0:05:57.217
de a világ nem olyan.

0:05:57.241,0:06:01.343
Hozzáteszem, hogy a legtöbb[br]cégnek nincsenek kínos perei,

0:06:02.446,0:06:05.034
de azoknál a cégeknél[br]az adattudósoknak azt mondják,

0:06:05.058,0:06:07.247
hogy tartsák magukat az adatokhoz,

0:06:07.271,0:06:09.414
a precizitás minden előtt.

0:06:10.273,0:06:11.508
Mit jelent ez?

0:06:11.508,0:06:15.269
Mivel mindannyian elfogultak vagyunk,[br]ezért esetleg szexizmust

0:06:15.269,0:06:17.565
vagy más fanatizmust kódolhatnak be.

0:06:19.488,0:06:20.909
Gondolatkísérlet.

0:06:20.933,0:06:22.442
Szeretem a gondolatkísérletet.

0:06:23.574,0:06:26.549
Teljesen szegregált társadalom,

0:06:28.247,0:06:31.575
rasszok szerint minden város,[br]minden környék szegregált,

0:06:31.599,0:06:34.636
és csak kisebbségi környékre[br]küldjük ki a rendőrséget

0:06:34.660,0:06:35.853
bűnüldözés céljából.

0:06:36.451,0:06:38.670
A letartóztatási adatok[br]igen torzak lesznek.

0:06:39.851,0:06:42.426
Mi lenne, ha adattudósokat kérnénk,

0:06:42.450,0:06:46.611
jelezzék előre, hol lesz[br]a következő bűntett.

0:06:47.275,0:06:48.762
A kisebbségi környéken.

0:06:49.285,0:06:52.410
Vagy jósolják meg,[br]ki lesz a következő bűnöző.

0:06:52.888,0:06:54.283
Egy kisebbségi.

0:06:55.949,0:06:58.364
Az adattudósok azzal fognak kérkedni,

0:06:58.364,0:07:00.611
milyen nagyszerű és precíz a modelljük,

0:07:00.835,0:07:01.763
és igazuk lesz.

0:07:03.951,0:07:08.040
A valóság nem ily végletes,[br]de azért sok helyen

0:07:08.040,0:07:09.701
súlyos szegregációt tapasztalunk,

0:07:09.701,0:07:11.263
rengeteg a bizonyíték

0:07:11.818,0:07:14.128
elfogult intézkedésekre[br]és jogrendszeri adatokra.

0:07:15.632,0:07:17.965
De azért megjósoljuk a gócokat,

0:07:18.471,0:07:20.081
bűntettek előfordulási helyeit.

0:07:20.401,0:07:23.955
Megjósoljuk az egyéni bűnözést,

0:07:24.141,0:07:25.751
egyesek bűnelkövetését.

0:07:26.972,0:07:30.935
A ProPublica hírügynökség nemrég megnézett

0:07:30.959,0:07:32.983
egy "visszaesési kockázat" algoritmust,

0:07:33.007,0:07:34.700
ahogy ők hívják, Floridában,

0:07:34.724,0:07:37.086
bírói ítélethozatal közben.

0:07:38.411,0:07:41.938
Bernard, fekete férfi balról,[br]tízből 10 pontot kapott.

0:07:43.059,0:07:45.109
Dylan a jobb oldalon, tízből hármat.

0:07:45.210,0:07:47.821
Tízből 10 – nagy kockázat,[br]tízből három – kis kockázat.

0:07:48.598,0:07:50.983
Mindkettőt kábszer-birtoklásért kapták el.

0:07:51.007,0:07:52.161
Mindketten visszaesők,

0:07:52.185,0:07:54.991
Dylannak volt súlyos bűntette,

0:07:55.015,0:07:56.191
de Bernardnak nem.

0:07:57.818,0:08:00.884
Ez számít, mert magasabb pontszám esetén

0:08:00.908,0:08:03.841
súlyosabb ítéletet szabnak ki.

0:08:06.294,0:08:07.588
Mi történik?

0:08:08.526,0:08:09.858
Adatmosás.

0:08:10.930,0:08:15.357
Ezzel a folyamattal rejtik el[br]a technikusok a csúnya igazságot

0:08:15.381,0:08:17.202
a feketedoboz-algoritmusba,

0:08:17.226,0:08:18.516
s eztán már objektívnak

0:08:19.320,0:08:20.888
és érdemeken alapulónak hívják.

0:08:23.118,0:08:25.503
Mivel titkosak, fontosak és rombolók,

0:08:25.527,0:08:27.809
alkottam rájuk egy fogalmat:

0:08:28.038,0:08:30.037
"a matematika tömegpusztító fegyverei".

0:08:30.061,0:08:31.267
(Nevetés)

0:08:31.279,0:08:32.463
(Taps)

0:08:34.607,0:08:37.081
Mindenhol vannak, nem tévedés.

0:08:37.695,0:08:41.418
Magáncégek magánalgoritmusokat készítenek

0:08:41.442,0:08:42.530
magáncélokra.

0:08:43.214,0:08:46.428
Még az említett, tanároknak[br]és a rendőrségnek szántakat is

0:08:46.452,0:08:48.095
magáncégek készítették,

0:08:48.105,0:08:50.048
majd adták el állami intézményeknek.

0:08:50.600,0:08:52.473
"Titkos szósznak" hívják őket,

0:08:52.497,0:08:54.625
ezért nem fedik föl őket.

0:08:54.649,0:08:56.869
Ez is magánhatalom.

0:08:57.924,0:09:02.619
Profitálnak a kiismerhetetlen[br]hatalom gyakorlásából.

0:09:04.994,0:09:08.048
Fölvethetik: mivel ez mind magántermék,

0:09:08.072,0:09:09.054
verseny van,

0:09:09.054,0:09:11.464
talán a szabadpiac megoldja a nehézséget.

0:09:11.464,0:09:12.239
Nem fogja.

0:09:12.567,0:09:15.837
Tisztességtelenséggel[br]sokat lehet keresni.

0:09:17.127,0:09:20.324
Ráadásul nem vagyunk[br]gazdaságilag racionális egyedek.

0:09:21.031,0:09:22.323
Mind elfogultak vagyunk.

0:09:22.960,0:09:26.337
Mind rasszisták és bigottak vagyunk,[br]még ha nem akarjuk is,

0:09:26.361,0:09:28.380
még ha nem tudunk is róla.

0:09:29.352,0:09:32.433
De összességében mégis tudunk róla,

0:09:32.457,0:09:34.551
mert szociológiai kísérletek

0:09:34.551,0:09:36.876
ezt következetesen alátámasztják.

0:09:37.390,0:09:40.588
Beküldik egy csomó egyformán[br]alkalmas személy állásjelentkezését,

0:09:40.588,0:09:42.367
de egyeseknek "fehéres" nevük van,

0:09:42.367,0:09:43.673
másoknak feketének hangzó.

0:09:44.237,0:09:46.786
Az eredmény mindig elkeserítő.

0:09:47.510,0:09:49.195
Tehát mind elfogultak vagyunk,

0:09:49.195,0:09:52.598
és elfogultságunkat azzal[br]ojtjuk be az algoritmusokba,

0:09:52.598,0:09:54.730
hogy megválasztjuk,[br]milyen adatot gyűjtsünk,

0:09:54.730,0:09:57.337
ahogy én sem vettem[br]tudomást a zacskós levesről,

0:09:57.361,0:09:58.900
mert nem tartottam lényegesnek.

0:09:58.900,0:10:04.328
De ha múltbéli gyakorlaton[br]alapuló adatokban bízva

0:10:04.663,0:10:06.506
határozzuk meg a sikert,

0:10:06.756,0:10:10.111
hogyan remélhetjük, hogy megbízhatók[br]lesznek az algoritmusok?

0:10:10.763,0:10:13.119
Sehogy. Ellenőriznünk kell őket!

0:10:14.165,0:10:15.874
Ellenőrizni, hogy pártatlanok-e.

0:10:15.898,0:10:18.060
A jó hír, hogy lehet ezt ellenőrizni.

0:10:18.633,0:10:21.985
Az algoritmusok vizsgálhatók.

0:10:22.009,0:10:23.847
Mindig megmondják az igazat.

0:10:24.067,0:10:25.906
Javíthatunk rajtuk.

0:10:26.584,0:10:28.519
Ezt hívom algoritmus-auditálásnak,

0:10:28.983,0:10:30.617
s megmutatom lépésenként, hogyan.

0:10:30.686,0:10:32.798
Első az adatintegritás vizsgálata.

0:10:34.132,0:10:36.436
Az említett visszaesési[br]kockázat algoritmusánál

0:10:37.582,0:10:40.650
az adatintegritás azt jelenti,[br]hogy el kell fogadnunk a tényt,

0:10:41.049,0:10:44.274
hogy feketék s fehérek azonos[br]arányban szívnak füvet az USA-ban,

0:10:44.729,0:10:47.214
ám a feketéket sokkal[br]gyakrabban tartóztatják le,

0:10:47.238,0:10:50.241
a körzettől függően[br]négy-ötször gyakrabban.

0:10:51.317,0:10:54.143
Hogy néz ki az elfogultság[br]más bűnügyi területen,

0:10:54.167,0:10:55.493
és mivel magyarázható?

0:10:56.162,0:10:58.814
Másodszor, foglalkoznunk[br]kell a siker meghatározásával,

0:10:59.225,0:11:00.606
auditálnunk kell.

0:11:00.630,0:11:03.382
Emlékeznek a felvételi algoritmusra?

0:11:03.406,0:11:06.125
Sikeres, aki négy éve dolgozik,[br]és egyszer léptették elő?

0:11:06.465,0:11:08.098
Ő sikeres munkatárs,

0:11:08.098,0:11:10.975
de azért, mert belesimult[br]a cég kultúrájába.

0:11:12.089,0:11:13.565
Ez is elfogultság lehet.

0:11:13.565,0:11:15.438
A két dolgot el kell választanunk.

0:11:16.088,0:11:17.388
Példának ott van

0:11:17.388,0:11:19.318
a vak zenekari meghallgatás:

0:11:19.528,0:11:22.116
a zenészek függöny mögött játszanak.

0:11:22.946,0:11:24.877
A lényeg, hogy akik hallgatják őket,

0:11:24.901,0:11:27.603
már eldöntötték, mi fontos,

0:11:28.342,0:11:30.072
s azt is eldöntötték, mi nem,

0:11:30.072,0:11:32.054
s erről semmi nem vonja el a figyelmüket.

0:11:32.961,0:11:35.342
Amikor megindult[br]a vak zenekari meghallgatás,

0:11:35.734,0:11:38.888
a zenekarban játszó nők[br]száma ötszörösére nőtt.

0:11:40.253,0:11:42.268
Aztán minősíteni kell a precizitást.

0:11:43.233,0:11:46.673
Itt rögtön megbukik a tanároknak[br]szóló hozzáadottérték-modell.

0:11:47.578,0:11:49.499
Persze, nincs tökéletes algoritmus,

0:11:50.620,0:11:54.225
ezért mérlegelni kell minden[br]algoritmus esetleges hibáját.

0:11:54.836,0:11:59.013
Milyen gyakoriak a hibák,[br]és kinél sikertelen a modell?

0:11:59.850,0:12:01.568
Mi a sikertelenség ára?

0:12:02.434,0:12:04.641
Végezetül, meg kell fontolnunk

0:12:05.973,0:12:09.199
az algoritmusok s a keletkező[br]visszacsatolási hurkok

0:12:09.199,0:12:10.922
hosszú távú kihatásait.

0:12:11.466,0:12:12.702
Ez elvontnak hangzik,

0:12:12.726,0:12:15.580
de képzeljék el, ha a Facebook-[br]mérnökök gondoltak volna rá,

0:12:16.270,0:12:21.125
mielőtt eldöntötték, hogy csak a barátaink[br]posztolta dolgokat mutatják nekünk.

0:12:21.631,0:12:24.730
Még két megjegyzésem van,[br]egyik az itt ülő adattudósoknak szól.

0:12:25.450,0:12:28.702
Adattudósok![br]Nem lehetünk az igazság döntőbírái.

0:12:29.520,0:12:33.303
A szélesebb társadalomban[br]folyó erkölcsi eszmecserét

0:12:33.327,0:12:34.621
kell tolmácsolnunk.

0:12:35.579,0:12:36.399
(Taps)

0:12:37.736,0:12:38.872
A többieknek,

0:12:40.011,0:12:41.407
a nem adattudósoknak:

0:12:41.431,0:12:42.666
ez nem matekvizsga.

0:12:43.632,0:12:44.980
Ez politikai küzdelem.

0:12:46.587,0:12:50.334
Követelnünk kell, hogy az algoritmusok[br]nagyurai elszámoltathatók legyenek.

0:12:52.118,0:12:53.050
(Taps)

0:12:53.641,0:12:57.866
Vessünk véget a big datába[br]vetett vakhit korszakának!

0:12:57.890,0:12:59.057
Köszönöm szépen.

0:12:59.081,0:13:00.619
(Taps)