Return to Video

Vessünk véget a big datába vetett vakhit korszakának!

  • 0:01 - 0:03
    Algoritmusok mindenhol vannak.
  • 0:04 - 0:07
    Azok rendezik és különítik el
    a győzteseket a vesztesektől.
  • 0:08 - 0:10
    A győztesek kapják az állásokat
  • 0:10 - 0:12
    s a jó hitelkártya-ajánlatokat.
  • 0:12 - 0:15
    A vesztesek még az interjúig sem jutnak,
  • 0:16 - 0:17
    és a biztosítás is drágább nekik.
  • 0:18 - 0:22
    Titkos, érthetetlen képletekkel
    pontoznak minket,
  • 0:23 - 0:26
    amelyek ellen gyakran nincs fellebbezés.
  • 0:27 - 0:29
    Fölvetődik a kérdés:
  • 0:29 - 0:31
    mi van, ha az algoritmusok hibásak?
  • 0:33 - 0:35
    Algoritmus kialakításához két dolog kell:
  • 0:35 - 0:37
    múltról szóló adatok
  • 0:37 - 0:40
    meg a keresett s gyakorta remélt
  • 0:40 - 0:41
    siker meghatározása.
  • 0:41 - 0:46
    Idomítjuk az algoritmust,
    közben figyeljük, számolgatunk.
  • 0:46 - 0:50
    Az algoritmus kiszámolja,
    mi minősül sikernek.
  • 0:50 - 0:52
    Milyen helyzet vezet sikerre?
  • 0:53 - 0:55
    Mindenki használ algoritmust,
  • 0:55 - 0:57
    csak nem formalizálja
    leírt kód alakjában.
  • 0:57 - 0:59
    Mondok egy példát.
  • 0:59 - 1:02
    Naponta algoritmust használok,
    amikor főzök a családomnak.
  • 1:02 - 1:04
    A fölhasznált adatok:
  • 1:04 - 1:06
    hozzávalók a konyhában,
  • 1:06 - 1:08
    a rendelkezésre álló idő,
  • 1:08 - 1:09
    milyen kedvem van.
  • 1:09 - 1:11
    Ezeket az adatokat rendszerezem.
  • 1:11 - 1:15
    A zacskós leveseket nem tartom ételnek.
  • 1:15 - 1:16
    (Nevetés)
  • 1:17 - 1:19
    A sikert így határozom meg:
  • 1:19 - 1:21
    sikeres az étel, ha srácaim
    esznek zöldséget.
  • 1:22 - 1:25
    Legkisebb fiam szerint
    más a siker mércéje.
  • 1:25 - 1:28
    Szerinte az, ha sok Nutellát ehetne.
  • 1:29 - 1:31
    De én választom meg a sikert.
  • 1:31 - 1:34
    Én döntök. Az én véleményem mérvadó.
  • 1:34 - 1:37
    Ez az algoritmusok első szabálya.
  • 1:37 - 1:40
    Az algoritmusok kódba ágyazott vélemények.
  • 1:42 - 1:45
    Eltér attól, amit önök, a legtöbben
    az algoritmusról gondolnak.
  • 1:45 - 1:50
    Azt hiszik, hogy az algoritmus
    objektív, igaz és tudományos jószág.
  • 1:50 - 1:52
    Ez csak marketingfogás.
  • 1:53 - 1:55
    Az is marketingfogás,
  • 1:55 - 1:59
    hogy algoritmusokkal riogatják önöket,
  • 1:59 - 2:02
    hogy bízzanak bennük, és féljenek tőlük,
  • 2:02 - 2:04
    mert önök bíznak
    a matekban, s félnek tőle.
  • 2:06 - 2:10
    Sokuk hibásnak bizonyulhat,
    ha vakon hiszünk a big datában.
  • 2:12 - 2:15
    Ő Kiri Soares, középiskolai
    igazgató Brooklynban.
  • 2:15 - 2:18
    2011-ben elmondta nekem, hogy tanárait
  • 2:18 - 2:19
    komplex, titkos algoritmussal
  • 2:19 - 2:22
    ún. "hozzáadott érték
    modell"-lel pontozták,
  • 2:23 - 2:25
    "Nézz utána a képletnek,
    mutasd meg nekem,
  • 2:25 - 2:26
    majd elmagyarázom" – feleltem.
  • 2:27 - 2:29
    "Próbáltam megszerezni,
  • 2:29 - 2:32
    de az oktatási minisztériumi ember
    azt mondta, hogy az matek,
  • 2:32 - 2:34
    és úgysem érteném" – válaszolta.
  • 2:35 - 2:36
    De ez még semmi!
  • 2:37 - 2:40
    Az információszabadsági törvény alapján
    a New York Post kérvényt nyújtott be,
  • 2:40 - 2:43
    megszerezte a tanárok nevét és pontszámát,
  • 2:43 - 2:46
    és a tanárok megszégyenítéséül közzétette.
  • 2:47 - 2:51
    Amikor ugyanezzel a módszerrel meg akartam
    szerezni a képletet, a forráskódot,
  • 2:51 - 2:53
    azt mondták, nem lehet.
  • 2:53 - 2:54
    Megtagadták.
  • 2:54 - 2:56
    Később megtudtam,
  • 2:56 - 2:58
    hogy senkinek sincs meg
    a képlet New Yorkban.
  • 2:58 - 3:00
    Senki sem ismerte.
  • 3:02 - 3:05
    Aztán Gary Rubenstein, egy okos
    ember, elkezdett vele foglalkozni.
  • 3:05 - 3:09
    A New York Post adataiban
    talált 665 tanárt,
  • 3:09 - 3:10
    akiknek két különböző pontjuk volt.
  • 3:11 - 3:13
    Ez úgy lehet, ha a tanárok
  • 3:13 - 3:15
    hetedikes és nyolcadikas
    matekot is tanítottak.
  • 3:15 - 3:17
    Úgy döntött, hogy ábrát készít.
  • 3:17 - 3:19
    Minden pötty egy tanárnak felel meg.
  • 3:19 - 3:20
    (Nevetés)
  • 3:22 - 3:23
    Mi ez?
  • 3:23 - 3:24
    (Nevetés)
  • 3:24 - 3:28
    Egyéni értékelés esetén
    ilyen sohasem történt volna.
  • 3:28 - 3:30
    Majdhogynem egy véletlenszám-generátor.
  • 3:30 - 3:31
    (Taps)
  • 3:33 - 3:33
    Az is volt.
  • 3:33 - 3:35
    Ő Sarah Wysocki.
  • 3:35 - 3:37
    Kirúgták 205 tanártársával együtt
  • 3:37 - 3:39
    a washingtoni iskolakörzetből,
  • 3:40 - 3:43
    bár kitűnő véleménye
    volt róla az igazgatójának,
  • 3:43 - 3:44
    a szülőknek és a gyerekeknek.
  • 3:45 - 3:47
    Tudom, a jelenlévők mire gondolnak,
  • 3:47 - 3:50
    különösen az adattudósok
    és az MI-szakértők.
  • 3:50 - 3:54
    Erre: "Én aztán soha nem csinálnék
    olyan következetlen algoritmust!"
  • 3:55 - 3:57
    De az algoritmusok hibázhatnak,
  • 3:57 - 4:01
    és erős romboló hatásuk is
    lehet jó szándékból adódóan.
  • 4:03 - 4:05
    Egy rosszul tervezett repülő
  • 4:05 - 4:07
    földre zuhan mindenki szeme láttára,
  • 4:07 - 4:09
    de egy rosszul tervezett algoritmus
  • 4:10 - 4:14
    sokáig működhet, csöndes rombolást okozva.
  • 4:16 - 4:17
    Ő Roger Ailes.
  • 4:17 - 4:19
    (Nevetés)
  • 4:21 - 4:23
    1996-ban ő alapította a Fox Newst.
  • 4:23 - 4:26
    Több mint 20 nő panaszkodott
    szexuális zaklatás miatt.
  • 4:26 - 4:29
    Mondták, hogy nem számíthattak
    sikerre a Fox Newsnál.
  • 4:29 - 4:32
    2016-ban Ailest kirúgták, de látható,
  • 4:32 - 4:35
    hogy a helyzet nem változik.
  • 4:36 - 4:37
    Adódik a kérdés:
  • 4:37 - 4:40
    Mit kell a Fox Newsnak tennie,
    hogy a helyzet javuljon?
  • 4:41 - 4:44
    Mi lenne, ha felvételi rendszerüket
  • 4:44 - 4:46
    gépi tanulási algoritmusra cserélnék le?
  • 4:46 - 4:47
    Jól hangzik, ugye?
  • 4:47 - 4:48
    De gondoljunk bele!
  • 4:49 - 4:51
    Milyen adatok állnak rendelkezésre?
  • 4:51 - 4:56
    Az észszerű választás az utóbbi 21 évben
    a Fox Newshoz beadott jelentkezési lapok.
  • 4:56 - 4:57
    Észszerű.
  • 4:58 - 4:59
    Mi van a siker meghatározásával?
  • 5:00 - 5:01
    Az észszerű válasz ez lenne:
  • 5:01 - 5:03
    aki sikeres volt a Fox Newsnál?
  • 5:03 - 5:07
    Mondjuk, aki négy évet ott töltött,
  • 5:07 - 5:08
    és legalább egyszer előléptették.
  • 5:09 - 5:10
    Észszerűnek hangzik.
  • 5:10 - 5:13
    Aztán idomítjuk az algoritmust arra,
  • 5:13 - 5:17
    hogy olyanokat keressen,
    akik sikeresnek bizonyultak,
  • 5:17 - 5:22
    hogy megtudjuk, idővel
    mely jelentkezők lettek sikeresek
  • 5:22 - 5:23
    meghatározásunk szerint.
  • 5:24 - 5:26
    De gondoljunk most arra, mi lenne,
  • 5:26 - 5:28
    ha ezt alkalmaznánk
    a mostani jelentkezőkre,
  • 5:29 - 5:31
    és kiszűrnénk a nőket,
  • 5:32 - 5:36
    mert a nők nem voltak sikeresek a múltban?
  • 5:40 - 5:42
    Az algoritmusoktól a dolgok
    nem válnak korrektté,
  • 5:42 - 5:45
    ha gondatlanul, vakon alkalmazzuk őket.
  • 5:45 - 5:47
    Tőlük semmi sem válik korrektté.
  • 5:47 - 5:49
    A múlt gyakorlatát ismétlik,
  • 5:49 - 5:50
    a mi sémáinkat,
  • 5:50 - 5:52
    Automatizálják a status quót.
  • 5:53 - 5:55
    Tökéletes világban ez nagyszerű is lenne,
  • 5:56 - 5:57
    de a világ nem olyan.
  • 5:57 - 6:01
    Hozzáteszem, hogy a legtöbb
    cégnek nincsenek kínos perei,
  • 6:02 - 6:05
    de azoknál a cégeknél
    az adattudósoknak azt mondják,
  • 6:05 - 6:07
    hogy tartsák magukat az adatokhoz,
  • 6:07 - 6:09
    a precizitás minden előtt.
  • 6:10 - 6:12
    Mit jelent ez?
  • 6:12 - 6:15
    Mivel mindannyian elfogultak vagyunk,
    ezért esetleg szexizmust
  • 6:15 - 6:18
    vagy más fanatizmust kódolhatnak be.
  • 6:19 - 6:21
    Gondolatkísérlet.
  • 6:21 - 6:22
    Szeretem a gondolatkísérletet.
  • 6:24 - 6:27
    Teljesen szegregált társadalom,
  • 6:28 - 6:32
    rasszok szerint minden város,
    minden környék szegregált,
  • 6:32 - 6:35
    és csak kisebbségi környékre
    küldjük ki a rendőrséget
  • 6:35 - 6:36
    bűnüldözés céljából.
  • 6:36 - 6:39
    A letartóztatási adatok
    igen torzak lesznek.
  • 6:40 - 6:42
    Mi lenne, ha adattudósokat kérnénk,
  • 6:42 - 6:47
    jelezzék előre, hol lesz
    a következő bűntett.
  • 6:47 - 6:49
    A kisebbségi környéken.
  • 6:49 - 6:52
    Vagy jósolják meg,
    ki lesz a következő bűnöző.
  • 6:53 - 6:54
    Egy kisebbségi.
  • 6:56 - 6:58
    Az adattudósok azzal fognak kérkedni,
  • 6:58 - 7:01
    milyen nagyszerű és precíz a modelljük,
  • 7:01 - 7:02
    és igazuk lesz.
  • 7:04 - 7:08
    A valóság nem ily végletes,
    de azért sok helyen
  • 7:08 - 7:10
    súlyos szegregációt tapasztalunk,
  • 7:10 - 7:11
    rengeteg a bizonyíték
  • 7:12 - 7:14
    elfogult intézkedésekre
    és jogrendszeri adatokra.
  • 7:16 - 7:18
    De azért megjósoljuk a gócokat,
  • 7:18 - 7:20
    bűntettek előfordulási helyeit.
  • 7:20 - 7:24
    Megjósoljuk az egyéni bűnözést,
  • 7:24 - 7:26
    egyesek bűnelkövetését.
  • 7:27 - 7:31
    A ProPublica hírügynökség nemrég megnézett
  • 7:31 - 7:33
    egy "visszaesési kockázat" algoritmust,
  • 7:33 - 7:35
    ahogy ők hívják, Floridában,
  • 7:35 - 7:37
    bírói ítélethozatal közben.
  • 7:38 - 7:42
    Bernard, fekete férfi balról,
    tízből 10 pontot kapott.
  • 7:43 - 7:45
    Dylan a jobb oldalon, tízből hármat.
  • 7:45 - 7:48
    Tízből 10 – nagy kockázat,
    tízből három – kis kockázat.
  • 7:49 - 7:51
    Mindkettőt kábszer-birtoklásért kapták el.
  • 7:51 - 7:52
    Mindketten visszaesők,
  • 7:52 - 7:55
    Dylannak volt súlyos bűntette,
  • 7:55 - 7:56
    de Bernardnak nem.
  • 7:58 - 8:01
    Ez számít, mert magasabb pontszám esetén
  • 8:01 - 8:04
    súlyosabb ítéletet szabnak ki.
  • 8:06 - 8:08
    Mi történik?
  • 8:09 - 8:10
    Adatmosás.
  • 8:11 - 8:15
    Ezzel a folyamattal rejtik el
    a technikusok a csúnya igazságot
  • 8:15 - 8:17
    a feketedoboz-algoritmusba,
  • 8:17 - 8:19
    s eztán már objektívnak
  • 8:19 - 8:21
    és érdemeken alapulónak hívják.
  • 8:23 - 8:26
    Mivel titkosak, fontosak és rombolók,
  • 8:26 - 8:28
    alkottam rájuk egy fogalmat:
  • 8:28 - 8:30
    "a matematika tömegpusztító fegyverei".
  • 8:30 - 8:31
    (Nevetés)
  • 8:31 - 8:32
    (Taps)
  • 8:35 - 8:37
    Mindenhol vannak, nem tévedés.
  • 8:38 - 8:41
    Magáncégek magánalgoritmusokat készítenek
  • 8:41 - 8:43
    magáncélokra.
  • 8:43 - 8:46
    Még az említett, tanároknak
    és a rendőrségnek szántakat is
  • 8:46 - 8:48
    magáncégek készítették,
  • 8:48 - 8:50
    majd adták el állami intézményeknek.
  • 8:51 - 8:52
    "Titkos szósznak" hívják őket,
  • 8:52 - 8:55
    ezért nem fedik föl őket.
  • 8:55 - 8:57
    Ez is magánhatalom.
  • 8:58 - 9:03
    Profitálnak a kiismerhetetlen
    hatalom gyakorlásából.
  • 9:05 - 9:08
    Fölvethetik: mivel ez mind magántermék,
  • 9:08 - 9:09
    verseny van,
  • 9:09 - 9:11
    talán a szabadpiac megoldja a nehézséget.
  • 9:11 - 9:12
    Nem fogja.
  • 9:13 - 9:16
    Tisztességtelenséggel
    sokat lehet keresni.
  • 9:17 - 9:20
    Ráadásul nem vagyunk
    gazdaságilag racionális egyedek.
  • 9:21 - 9:22
    Mind elfogultak vagyunk.
  • 9:23 - 9:26
    Mind rasszisták és bigottak vagyunk,
    még ha nem akarjuk is,
  • 9:26 - 9:28
    még ha nem tudunk is róla.
  • 9:29 - 9:32
    De összességében mégis tudunk róla,
  • 9:32 - 9:35
    mert szociológiai kísérletek
  • 9:35 - 9:37
    ezt következetesen alátámasztják.
  • 9:37 - 9:41
    Beküldik egy csomó egyformán
    alkalmas személy állásjelentkezését,
  • 9:41 - 9:42
    de egyeseknek "fehéres" nevük van,
  • 9:42 - 9:44
    másoknak feketének hangzó.
  • 9:44 - 9:47
    Az eredmény mindig elkeserítő.
  • 9:48 - 9:49
    Tehát mind elfogultak vagyunk,
  • 9:49 - 9:53
    és elfogultságunkat azzal
    ojtjuk be az algoritmusokba,
  • 9:53 - 9:55
    hogy megválasztjuk,
    milyen adatot gyűjtsünk,
  • 9:55 - 9:57
    ahogy én sem vettem
    tudomást a zacskós levesről,
  • 9:57 - 9:59
    mert nem tartottam lényegesnek.
  • 9:59 - 10:04
    De ha múltbéli gyakorlaton
    alapuló adatokban bízva
  • 10:05 - 10:07
    határozzuk meg a sikert,
  • 10:07 - 10:10
    hogyan remélhetjük, hogy megbízhatók
    lesznek az algoritmusok?
  • 10:11 - 10:13
    Sehogy. Ellenőriznünk kell őket!
  • 10:14 - 10:16
    Ellenőrizni, hogy pártatlanok-e.
  • 10:16 - 10:18
    A jó hír, hogy lehet ezt ellenőrizni.
  • 10:19 - 10:22
    Az algoritmusok vizsgálhatók.
  • 10:22 - 10:24
    Mindig megmondják az igazat.
  • 10:24 - 10:26
    Javíthatunk rajtuk.
  • 10:27 - 10:29
    Ezt hívom algoritmus-auditálásnak,
  • 10:29 - 10:31
    s megmutatom lépésenként, hogyan.
  • 10:31 - 10:33
    Első az adatintegritás vizsgálata.
  • 10:34 - 10:36
    Az említett visszaesési
    kockázat algoritmusánál
  • 10:38 - 10:41
    az adatintegritás azt jelenti,
    hogy el kell fogadnunk a tényt,
  • 10:41 - 10:44
    hogy feketék s fehérek azonos
    arányban szívnak füvet az USA-ban,
  • 10:45 - 10:47
    ám a feketéket sokkal
    gyakrabban tartóztatják le,
  • 10:47 - 10:50
    a körzettől függően
    négy-ötször gyakrabban.
  • 10:51 - 10:54
    Hogy néz ki az elfogultság
    más bűnügyi területen,
  • 10:54 - 10:55
    és mivel magyarázható?
  • 10:56 - 10:59
    Másodszor, foglalkoznunk
    kell a siker meghatározásával,
  • 10:59 - 11:01
    auditálnunk kell.
  • 11:01 - 11:03
    Emlékeznek a felvételi algoritmusra?
  • 11:03 - 11:06
    Sikeres, aki négy éve dolgozik,
    és egyszer léptették elő?
  • 11:06 - 11:08
    Ő sikeres munkatárs,
  • 11:08 - 11:11
    de azért, mert belesimult
    a cég kultúrájába.
  • 11:12 - 11:14
    Ez is elfogultság lehet.
  • 11:14 - 11:15
    A két dolgot el kell választanunk.
  • 11:16 - 11:17
    Példának ott van
  • 11:17 - 11:19
    a vak zenekari meghallgatás:
  • 11:20 - 11:22
    a zenészek függöny mögött játszanak.
  • 11:23 - 11:25
    A lényeg, hogy akik hallgatják őket,
  • 11:25 - 11:28
    már eldöntötték, mi fontos,
  • 11:28 - 11:30
    s azt is eldöntötték, mi nem,
  • 11:30 - 11:32
    s erről semmi nem vonja el a figyelmüket.
  • 11:33 - 11:35
    Amikor megindult
    a vak zenekari meghallgatás,
  • 11:36 - 11:39
    a zenekarban játszó nők
    száma ötszörösére nőtt.
  • 11:40 - 11:42
    Aztán minősíteni kell a precizitást.
  • 11:43 - 11:47
    Itt rögtön megbukik a tanároknak
    szóló hozzáadottérték-modell.
  • 11:48 - 11:49
    Persze, nincs tökéletes algoritmus,
  • 11:51 - 11:54
    ezért mérlegelni kell minden
    algoritmus esetleges hibáját.
  • 11:55 - 11:59
    Milyen gyakoriak a hibák,
    és kinél sikertelen a modell?
  • 12:00 - 12:02
    Mi a sikertelenség ára?
  • 12:02 - 12:05
    Végezetül, meg kell fontolnunk
  • 12:06 - 12:09
    az algoritmusok s a keletkező
    visszacsatolási hurkok
  • 12:09 - 12:11
    hosszú távú kihatásait.
  • 12:11 - 12:13
    Ez elvontnak hangzik,
  • 12:13 - 12:16
    de képzeljék el, ha a Facebook-
    mérnökök gondoltak volna rá,
  • 12:16 - 12:21
    mielőtt eldöntötték, hogy csak a barátaink
    posztolta dolgokat mutatják nekünk.
  • 12:22 - 12:25
    Még két megjegyzésem van,
    egyik az itt ülő adattudósoknak szól.
  • 12:25 - 12:29
    Adattudósok!
    Nem lehetünk az igazság döntőbírái.
  • 12:30 - 12:33
    A szélesebb társadalomban
    folyó erkölcsi eszmecserét
  • 12:33 - 12:35
    kell tolmácsolnunk.
  • 12:36 - 12:36
    (Taps)
  • 12:38 - 12:39
    A többieknek,
  • 12:40 - 12:41
    a nem adattudósoknak:
  • 12:41 - 12:43
    ez nem matekvizsga.
  • 12:44 - 12:45
    Ez politikai küzdelem.
  • 12:47 - 12:50
    Követelnünk kell, hogy az algoritmusok
    nagyurai elszámoltathatók legyenek.
  • 12:52 - 12:53
    (Taps)
  • 12:54 - 12:58
    Vessünk véget a big datába
    vetett vakhit korszakának!
  • 12:58 - 12:59
    Köszönöm szépen.
  • 12:59 - 13:01
    (Taps)
Title:
Vessünk véget a big datába vetett vakhit korszakának!
Speaker:
Cathy O'Neil
Description:

Algoritmusok döntik el, ki kap hitelt, ki jut el a fölvételi interjúig, ki kap biztosítást és még sok mást is, de ettől a dolgok nem válnak automatikusan tisztességessé. Cathy O'Neil matematikus és adattudós fogalmat alkotott a titkos, fontos és kártékony algoritmusokra: "a matematikai tömegpusztítás fegyverei". Tudjunk meg többet róla, milyen szándékok rejlenek a képletek mögött!
more » « less
Video Language:
English
Team:
closed TED
Project:
TEDTalks
Duration:
13:18

Hungarian subtitles

Revisions

Our website uses cookies for analysis purposes.