Algoritmusok mindenhol vannak.
Azok rendezik és különítik el a győzteseket a vesztesektől.
A győztesek kapják az állásokat
s a jó hitelkártya-ajánlatokat.
A vesztesek még az interjúig sem jutnak,
és a biztosítás is drágább nekik.
Titkos, érthetetlen képletekkel pontoznak minket,
amelyek ellen gyakran nincs fellebbezés.
Fölvetődik a kérdés:
mi van, ha az algoritmusok hibásak?
Algoritmus kialakításához két dolog kell:
múltról szóló adatok
meg a keresett s gyakorta remélt
siker meghatározása.
Idomítjuk az algoritmust, közben figyeljük, számolgatunk.
Az algoritmus kiszámolja, mi minősül sikernek.
Milyen helyzet vezet sikerre?
Mindenki használ algoritmust,
csak nem formalizálja leírt kód alakjában.
Mondok egy példát.
Naponta algoritmust használok, amikor főzök a családomnak.
A fölhasznált adatok:
hozzávalók a konyhában,
a rendelkezésre álló idő,
milyen kedvem van.
Ezeket az adatokat rendszerezem.
A zacskós leveseket nem tartom ételnek.
(Nevetés)
A sikert így határozom meg:
sikeres az étel, ha srácaim esznek zöldséget.
Legkisebb fiam szerint más a siker mércéje.
Szerinte az, ha sok Nutellát ehetne.
De én választom meg a sikert.
Én döntök. Az én véleményem mérvadó.
Ez az algoritmusok első szabálya.
Az algoritmusok kódba ágyazott vélemények.
Eltér attól, amit önök, a legtöbben az algoritmusról gondolnak.
Azt hiszik, hogy az algoritmus objektív, igaz és tudományos jószág.
Ez csak marketingfogás.
Az is marketingfogás,
hogy algoritmusokkal riogatják önöket,
hogy bízzanak bennük, és féljenek tőlük,
mert önök bíznak a matekban, s félnek tőle.
Sokuk hibásnak bizonyulhat, ha vakon hiszünk a big datában.
Ő Kiri Soares, középiskolai igazgató Brooklynban.
2011-ben elmondta nekem, hogy tanárait
komplex, titkos algoritmussal
ún. "hozzáadott érték modell"-lel pontozták,
"Nézz utána a képletnek, mutasd meg nekem,
majd elmagyarázom" – feleltem.
"Próbáltam megszerezni,
de az oktatási minisztériumi ember azt mondta, hogy az matek,
és úgysem érteném" – válaszolta.
De ez még semmi!
Az információszabadsági törvény alapján a New York Post kérvényt nyújtott be,
megszerezte a tanárok nevét és pontszámát,
és a tanárok megszégyenítéséül közzétette.
Amikor ugyanezzel a módszerrel meg akartam szerezni a képletet, a forráskódot,
azt mondták, nem lehet.
Megtagadták.
Később megtudtam,
hogy senkinek sincs meg a képlet New Yorkban.
Senki sem ismerte.
Aztán Gary Rubenstein, egy okos ember, elkezdett vele foglalkozni.
A New York Post adataiban talált 665 tanárt,
akiknek két különböző pontjuk volt.
Ez úgy lehet, ha a tanárok
hetedikes és nyolcadikas matekot is tanítottak.
Úgy döntött, hogy ábrát készít.
Minden pötty egy tanárnak felel meg.
(Nevetés)
Mi ez?
(Nevetés)
Egyéni értékelés esetén ilyen sohasem történt volna.
Majdhogynem egy véletlenszám-generátor.
(Taps)
Az is volt.
Ő Sarah Wysocki.
Kirúgták 205 tanártársával együtt
a washingtoni iskolakörzetből,
bár kitűnő véleménye volt róla az igazgatójának,
a szülőknek és a gyerekeknek.
Tudom, a jelenlévők mire gondolnak,
különösen az adattudósok és az MI-szakértők.
Erre: "Én aztán soha nem csinálnék olyan következetlen algoritmust!"
De az algoritmusok hibázhatnak,
és erős romboló hatásuk is lehet jó szándékból adódóan.
Egy rosszul tervezett repülő
földre zuhan mindenki szeme láttára,
de egy rosszul tervezett algoritmus
sokáig működhet, csöndes rombolást okozva.
Ő Roger Ailes.
(Nevetés)
1996-ban ő alapította a Fox Newst.
Több mint 20 nő panaszkodott szexuális zaklatás miatt.
Mondták, hogy nem számíthattak sikerre a Fox Newsnál.
2016-ban Ailest kirúgták, de látható,
hogy a helyzet nem változik.
Adódik a kérdés:
Mit kell a Fox Newsnak tennie, hogy a helyzet javuljon?
Mi lenne, ha felvételi rendszerüket
gépi tanulási algoritmusra cserélnék le?
Jól hangzik, ugye?
De gondoljunk bele!
Milyen adatok állnak rendelkezésre?
Az észszerű választás az utóbbi 21 évben a Fox Newshoz beadott jelentkezési lapok.
Észszerű.
Mi van a siker meghatározásával?
Az észszerű válasz ez lenne:
aki sikeres volt a Fox Newsnál?
Mondjuk, aki négy évet ott töltött,
és legalább egyszer előléptették.
Észszerűnek hangzik.
Aztán idomítjuk az algoritmust arra,
hogy olyanokat keressen, akik sikeresnek bizonyultak,
hogy megtudjuk, idővel mely jelentkezők lettek sikeresek
meghatározásunk szerint.
De gondoljunk most arra, mi lenne,
ha ezt alkalmaznánk a mostani jelentkezőkre,
és kiszűrnénk a nőket,
mert a nők nem voltak sikeresek a múltban?
Az algoritmusoktól a dolgok nem válnak korrektté,
ha gondatlanul, vakon alkalmazzuk őket.
Tőlük semmi sem válik korrektté.
A múlt gyakorlatát ismétlik,
a mi sémáinkat,
Automatizálják a status quót.
Tökéletes világban ez nagyszerű is lenne,
de a világ nem olyan.
Hozzáteszem, hogy a legtöbb cégnek nincsenek kínos perei,
de azoknál a cégeknél az adattudósoknak azt mondják,
hogy tartsák magukat az adatokhoz,
a precizitás minden előtt.
Mit jelent ez?
Mivel mindannyian elfogultak vagyunk, ezért esetleg szexizmust
vagy más fanatizmust kódolhatnak be.
Gondolatkísérlet.
Szeretem a gondolatkísérletet.
Teljesen szegregált társadalom,
rasszok szerint minden város, minden környék szegregált,
és csak kisebbségi környékre küldjük ki a rendőrséget
bűnüldözés céljából.
A letartóztatási adatok igen torzak lesznek.
Mi lenne, ha adattudósokat kérnénk,
jelezzék előre, hol lesz a következő bűntett.
A kisebbségi környéken.
Vagy jósolják meg, ki lesz a következő bűnöző.
Egy kisebbségi.
Az adattudósok azzal fognak kérkedni,
milyen nagyszerű és precíz a modelljük,
és igazuk lesz.
A valóság nem ily végletes, de azért sok helyen
súlyos szegregációt tapasztalunk,
rengeteg a bizonyíték
elfogult intézkedésekre és jogrendszeri adatokra.
De azért megjósoljuk a gócokat,
bűntettek előfordulási helyeit.
Megjósoljuk az egyéni bűnözést,
egyesek bűnelkövetését.
A ProPublica hírügynökség nemrég megnézett
egy "visszaesési kockázat" algoritmust,
ahogy ők hívják, Floridában,
bírói ítélethozatal közben.
Bernard, fekete férfi balról, tízből 10 pontot kapott.
Dylan a jobb oldalon, tízből hármat.
Tízből 10 – nagy kockázat, tízből három – kis kockázat.
Mindkettőt kábszer-birtoklásért kapták el.
Mindketten visszaesők,
Dylannak volt súlyos bűntette,
de Bernardnak nem.
Ez számít, mert magasabb pontszám esetén
súlyosabb ítéletet szabnak ki.
Mi történik?
Adatmosás.
Ezzel a folyamattal rejtik el a technikusok a csúnya igazságot
a feketedoboz-algoritmusba,
s eztán már objektívnak
és érdemeken alapulónak hívják.
Mivel titkosak, fontosak és rombolók,
alkottam rájuk egy fogalmat:
"a matematika tömegpusztító fegyverei".
(Nevetés)
(Taps)
Mindenhol vannak, nem tévedés.
Magáncégek magánalgoritmusokat készítenek
magáncélokra.
Még az említett, tanároknak és a rendőrségnek szántakat is
magáncégek készítették,
majd adták el állami intézményeknek.
"Titkos szósznak" hívják őket,
ezért nem fedik föl őket.
Ez is magánhatalom.
Profitálnak a kiismerhetetlen hatalom gyakorlásából.
Fölvethetik: mivel ez mind magántermék,
verseny van,
talán a szabadpiac megoldja a nehézséget.
Nem fogja.
Tisztességtelenséggel sokat lehet keresni.
Ráadásul nem vagyunk gazdaságilag racionális egyedek.
Mind elfogultak vagyunk.
Mind rasszisták és bigottak vagyunk, még ha nem akarjuk is,
még ha nem tudunk is róla.
De összességében mégis tudunk róla,
mert szociológiai kísérletek
ezt következetesen alátámasztják.
Beküldik egy csomó egyformán alkalmas személy állásjelentkezését,
de egyeseknek "fehéres" nevük van,
másoknak feketének hangzó.
Az eredmény mindig elkeserítő.
Tehát mind elfogultak vagyunk,
és elfogultságunkat azzal ojtjuk be az algoritmusokba,
hogy megválasztjuk, milyen adatot gyűjtsünk,
ahogy én sem vettem tudomást a zacskós levesről,
mert nem tartottam lényegesnek.
De ha múltbéli gyakorlaton alapuló adatokban bízva
határozzuk meg a sikert,
hogyan remélhetjük, hogy megbízhatók lesznek az algoritmusok?
Sehogy. Ellenőriznünk kell őket!
Ellenőrizni, hogy pártatlanok-e.
A jó hír, hogy lehet ezt ellenőrizni.
Az algoritmusok vizsgálhatók.
Mindig megmondják az igazat.
Javíthatunk rajtuk.
Ezt hívom algoritmus-auditálásnak,
s megmutatom lépésenként, hogyan.
Első az adatintegritás vizsgálata.
Az említett visszaesési kockázat algoritmusánál
az adatintegritás azt jelenti, hogy el kell fogadnunk a tényt,
hogy feketék s fehérek azonos arányban szívnak füvet az USA-ban,
ám a feketéket sokkal gyakrabban tartóztatják le,
a körzettől függően négy-ötször gyakrabban.
Hogy néz ki az elfogultság más bűnügyi területen,
és mivel magyarázható?
Másodszor, foglalkoznunk kell a siker meghatározásával,
auditálnunk kell.
Emlékeznek a felvételi algoritmusra?
Sikeres, aki négy éve dolgozik, és egyszer léptették elő?
Ő sikeres munkatárs,
de azért, mert belesimult a cég kultúrájába.
Ez is elfogultság lehet.
A két dolgot el kell választanunk.
Példának ott van
a vak zenekari meghallgatás:
a zenészek függöny mögött játszanak.
A lényeg, hogy akik hallgatják őket,
már eldöntötték, mi fontos,
s azt is eldöntötték, mi nem,
s erről semmi nem vonja el a figyelmüket.
Amikor megindult a vak zenekari meghallgatás,
a zenekarban játszó nők száma ötszörösére nőtt.
Aztán minősíteni kell a precizitást.
Itt rögtön megbukik a tanároknak szóló hozzáadottérték-modell.
Persze, nincs tökéletes algoritmus,
ezért mérlegelni kell minden algoritmus esetleges hibáját.
Milyen gyakoriak a hibák, és kinél sikertelen a modell?
Mi a sikertelenség ára?
Végezetül, meg kell fontolnunk
az algoritmusok s a keletkező visszacsatolási hurkok
hosszú távú kihatásait.
Ez elvontnak hangzik,
de képzeljék el, ha a Facebook- mérnökök gondoltak volna rá,
mielőtt eldöntötték, hogy csak a barátaink posztolta dolgokat mutatják nekünk.
Még két megjegyzésem van, egyik az itt ülő adattudósoknak szól.
Adattudósok! Nem lehetünk az igazság döntőbírái.
A szélesebb társadalomban folyó erkölcsi eszmecserét
kell tolmácsolnunk.
(Taps)
A többieknek,
a nem adattudósoknak:
ez nem matekvizsga.
Ez politikai küzdelem.
Követelnünk kell, hogy az algoritmusok nagyurai elszámoltathatók legyenek.
(Taps)
Vessünk véget a big datába vetett vakhit korszakának!
Köszönöm szépen.
(Taps)