Az első munkám számítógép-programozás volt a főiskola legelső évében, amit még tizenévesként kezdtem. Kezdésem után nem sokkal szoftvereket írtam egy cégnek, amikor a cég egyik főnök odajött hozzám, és suttogva megkérdezte: "Ő tudja-e, ha hazudok?" Senki más nem volt a szobában. "Kicsoda tudja-e, ha hazudsz? És miért suttogunk?" A főnök a szobában lévő számítógépre mutatott. "Ő tudja-e, ha hazudok?" Hát, ennek a főnöknek viszonya volt a recepcióssal. (Nevetés) És én még csak tizenéves voltam. Hangosan visszasuttogtam: "Igen, a számítógép tudja, mikor hazudsz." (Nevetés) Kinevettem, de igazából engem kellene kinevetni. Manapság olyan számítógépes rendszerek vannak, amelyek kiszimatolják az érzelmi állapotot, sőt a hazugságot is az emberi arc tanulmányozásából. A reklámozók és a hatóságok is erősen érdeklődnek irántuk. Azért lettem számítógép-programozó, mert gyerekként megőrültem a matekért és a tudományért. De valamikor később tudomást szereztem a nukleáris fegyverekről, és komolyan aggódni kezdtem a tudomány etikájáért. Zavarban voltam. Ám családi körülményeim miatt minél hamarabb munkába kellett állnom. Úgyhogy azt gondoltam magamban: választok egy műszaki területet, ahol könnyen találok munkát, és ahol nem kell foglalkoznom semmilyen zavaró etikai kérdéssel. A számítógépeket választottam. (Nevetés) Hát, ha-ha-ha! Ki lehet engem nevetni. Manapság az informatikusok olyan felületeket építenek, amelyek azt irányítják, amit egymilliárd ember naponta lát. Autókat fejlesztenek, amelyek eldönthetik, kit ütnek el. Sőt, gépeket és fegyvereket gyártanak, amelyek háborúban embereket ölhetnek meg. Etika végestelen végig. A gépi intelligencia megérkezett. Ma a számítástechnikát mindenféle döntésre használjuk, újfajta döntésekre is. Olyan kérdéseket teszünk fel a gépeknek, amelyekre nincs egyetlen helyes válasz, szubjektív, nyitott és fontos kérdéseket. Ilyen kérdéseket teszünk fel: „Kit alkalmazzon a cég?”, „Melyik ismerős melyik frissítését mutassuk meg neked?”, „Melyik elítéltről valószínűbb, hogy újból bűnözik?”, „Melyik hírt vagy mozifilmet ajánljuk az embereknek?” Már használjuk egy ideje a számítógépeket, de ez most más. Ez történelmi fordulat, mert a számítástechnikát nem tudjuk úgy kötni e szubjektív döntésekhez, ahogy összekapcsoljuk a légi közlekedéssel, a hídépítéssel, a holdra szállással. Biztonságosabbak a repülőgépek? Kilengett és összedőlt a híd? Ott vannak egyeztetett, elég világos viszonyítási alapjaink, és a természet törvényei irányítanak. A zűrös emberi viszonyokra vonatkozó döntésekhez nincsenek ilyen kapcsolódási és viszonyítási pontjaink. Hogy bonyolítsa a dolgokat, szoftverünk egyre erősebb, ugyanakkor kevésbé átlátható és egyre bonyolultabb lesz. Nemrég, az elmúlt évtizedben, a komplex algoritmusok nagyot léptek előre. Emberi arcokat ismernek fel. Kézírást silabizálnak ki. Hitelkártyacsalásokat ismernek fel, spamet szűrnek ki, és egyik nyelvről a másikra fordítanak. Az orvosi képalkotásban daganatokat ismernek fel. Megverik az embert sakkban és góban. A haladás zöme az ún. „gépi tanulás” módszerének köszönhető. A gépi tanulás különbözik a hagyományos programozástól, ahol a számítógépnek részletes, pontos, precíz utasításokat adunk. Inkább olyan, hogy egy rendszerbe beletöltünk egy csomó adatot, strukturálatlan adatokat is, amilyeneket digitális életünk hoz létre. A rendszer az adatok átfésüléséből tanul. Még egy alapvető dolog: e rendszerek nem az egyetlen válasz logikáját követik. Nem egy egyszerű választ szűrnek le, inkább valószínűséget: „Ez inkább hasonlít arra, amit keresel.” A jó dolog ebben az, hogy a módszer valóban hatásos. A Google MI-rendszer vezetője így nevezte: „az adatok észszerűtlen hatékonysága”. A hátránya, hogy nemigen értjük, mit tanult a rendszer. Valójában ez az erőssége. Ez nem olyan, mint amikor utasításokat adunk egy számítógépnek, inkább olyan, mintha kiképeznénk egy gép-kutyus-szerű lényt, akit nemigen értünk, és nem tudunk irányítani. Ez a gondunk. Gond, ha ez az MI-rendszer valamit elszúr. Az is, ha nem szúrja el, mert nem is tudjuk, mi micsoda. ha szubjektív kérdésről van szó. Nem tudjuk, mit gondol ez a dolog. Vegyünk egy felvételi algoritmust, azaz felvételre való rendszert, amely gépi tanulási rendszert használ. A rendszert az eddigi alkalmazottak adatain tanították be, és arra utasították, hogy a cég jelenlegi jól teljesítő embereihez hasonlókat találjon és alkalmazzon. Jól hangzik. Részt vettem egyszer egy konferencián, ahol humánerőforrás-ügyintézők és -vezetők gyűltek össze, magas rangú emberek, ők ilyeneket használtak felvételhez. Rendkívül izgatottak voltak. Azt gondolták, hogy ez objektívabbá, pártatlanabbá teszi a felvételt, és jobb esélyt ad nőknek és a kisebbségeknek a részrehajló ügyintézőkkel szemben. De az emberek felvétele részrehajló. Én tudom. Az egyik korai munkahelyemen programozóként dolgoztam, és a kisfőnököm néha odajött hozzám nagyon korán reggel vagy nagyon késő délután, és azt mondta: „Zeynep, menjünk ebédelni!” Meglepett a fura időzítés. Délután négykor ebédeljünk? Le voltam égve, ingyenes az ebéd... Mindig vele mentem. Később rájöttem, mi történt. Kisfőnökeim nem vallották be feletteseiknek, hogy a komoly munkára felvett programozó egy tinilány, aki farmerben és surranóban jár munkába. Jól dolgoztam, de nem néztem ki elég jól, nem felelt meg a korom és a nemem. Ezért egy nemtől és rassztól független felvétel jól hangzik nekem. De elmondom, hogy e rendszerekkel a helyzet ennél miért bonyolultabb, Ma már a számítógép-rendszerek mindenfélét ki tudnak következtetni rólunk a digitális morzsáinkból, még akkor is, ha nem hoztuk nyilvánosságra őket. Ki tudják következtetni nemi orientációnkat, személyiségjegyeinket, politikai szimpátiáinkat. Előrejelző erejük nagy fokú pontossággal párosul. Figyelem: olyan dolgokról, amelyeket nem is közöltünk. Ez a kikövetkeztetés. Egyik barátnőm olyan számítógépes rendszereket fejlesztett, amelyek előrejelzik a szülés utáni vagy a súlyos depresszió valószínűségét a közösségi média adataiból. Az eredmények lenyűgözőek. Rendszere előrejelzi a depresszió valószínűségét hónapokkal a tünetek megjelenése előtt. Hónapokkal előtte! Nincs még tünet, de előrejelzés már van. Barátnőm reméli, hogy felhasználják majd a korai beavatkozáshoz. Nagyszerű! De nézzük ezt a felvételi szempontjából! Az említett humánerőforrás-konferencián odamentem az egyik óriási cég magas rangú vezetőjéhez, és megkérdeztem tőle: „M van, ha az ön tudta nélkül rendszerük kiszűri azokat, akiknél a depresszió jövőbeni valószínűsége nagy? Mi van, ha kiszűri azokat, akik egy-két éven belül valószínűleg teherbe esnek, de most nem terhesek? Mi van, ha agresszív embereket vesz fel, mert a munkahelyi kultúrába beleillenek?" Ez nem derül ki a nemek szerinti bontásból. Az lehet, hogy rendben van. Mivel ez gépi tanulás, nem hagyományos kódolás, nincs „magas depressziókockázat”, „magas terhességi kockázat”, „agresszív pasi skála” nevű változó. Nemcsak azt nem tudjuk, mi alapján választ a rendszer, hanem azt sem, hol kezd el keresni. Ez egy fekete doboz. Előrejelző ereje van, de nem értjük. „Mi a biztosíték rá – kérdeztem, hogy a fekete doboz nem csinál valami kétes dolgot?” Úgy nézett rám, mintha megöltem volna a tanácselnököt. (Nevetés) Bámult rám, majd azt mondta: „Nem akarok erről hallani többet egy szót sem”. Sarkon fordult, és elment. Megjegyezném: nem volt durva. Világos volt: amiről nem tudok, az nem az én problémám, lelépek, bután nézek. (Nevetés) Egy ilyen rendszer, lehet, hogy kevésbé részrehajló, mint bizonyos esetekben az ügyintézők. Pénzügyileg megérheti. De ahhoz vezethet, hogy folyamatosan és alattomosan kizárja a munkaerőpiacról a magas depressziókockázatúakat. Ilyenfajta társadalmat akarunk építeni, még ha tudtunkon kívül is, csak mert olyan gépeknek adtuk át a döntéshozatalt, amelyeket nem is értünk? Egy másik nehézség: a rendszerek tanítása gyakran tetteinkből létrehozott adatokkal, emberi lenyomatokkal történik. Lehet, hogy ezek tükrözik részrehajlásunkat, és a rendszerek eltanulják őket, felerősítik, és visszatükrözik nekünk, miközben azt mondjuk magunknak „Mi csak objektív, semleges számítástechnikát gyakorlunk.” Kutatók kimutatták, hogy a Google nőknek kisebb valószínűséggel mutat jól fizetett állásokról szóló hirdetéseket, mint férfiaknak. Ha afroamerikai nevekre keresünk, gyakrabban hoz fel büntetett előéletet sejtető reklámokat, akkor is, ha nincs ilyenről szó. Az ilyen rejtett részrehajlásokat és „fekete doboz” algoritmusokat olykor felfedik a kutatók, de néha nem tudunk róluk, pedig következményeik megváltoztathatják az életet. Wisconsinban egy vádlottat hat év börtönre ítéltek, mert kijátszotta a rendőröket. Tán nem tudják: szabadlábra helyezési és büntetési döntésekhez egyre gyakrabban használnak algoritmust. Ez az ember meg akarta tudni, hogyan számítják a pontszámot. Ez egy kereskedelmi fekete doboz. A cég visszautasította, hogy nyilvános bíróság elé vigyék az algoritmusát. De a ProPublica nonprofit nyomozó szervezet auditálta az algoritmust a hozzáférhető nyilvános adatokkal, és az eredményeket részrehajlónak találta, az előrejelző képességét pedig pocséknak, alig jobbnak a véletlennél, kétszer olyan gyakran jelölte hibásan leendő bűnözőnek a fekete, mint a fehér elítélteket. Vegyünk egy másik esetet: egy nőnek el kellett hoznia keresztlányát az iskolából a floridai Broward megyében. Késésben volt, rohant az utcán a barátnőjével. Egy tornácon lezáratlan gyerekbiciklit és rollert láttak meg, meggondolatlanul felugrottak rá. Ahogy elhajtottak, kijött egy nő, s azt kiáltotta: „Hé! Az a gyerek biciklije!” Eldobták, továbbmentek, de letartóztatták őket. Rosszat tett, őrültség volt, de csak 18 éves volt. Volt néhány fiatalkori kihágása. Ugyanakkor letartóztattak egy férfit 85 dollár értékű áruházi lopásért, ez egy hasonló kisebb vétség. Volt viszont két korábbi ítélete fegyveres rablásért. Az algoritmus mégis a nőt értékelte magas kockázatúnak, nem a férfit. Két évvel később a ProPublica azt találta, hogy a nő nem követett el új vétséget. Csak nehéz volt munkát találnia a priusza miatt. A férfi viszont visszaeső volt, és most nyolcéves büntetését tölti egy későbbi bűncselekmény miatt. Világos, hogy auditálnunk kell a fekete dobozainkat, s nem engedhetjük, hogy ilyen korlátlan hatalmuk legyen. (Taps) Az auditok nagyszerűek és fontosak, de nem oldják meg minden gondunkat. Vegyük a Facebook hatásos hírválogató algoritmusát, azt, amelyik mindent sorba rak, és eldönti, mit mutasson meg nekünk az összes követett ismerős és oldal közül. Mutasson még egy kisbabás képet? (Nevetés) Egy ismerős morcos megjegyzését? Egy fontos, de fajsúlyos hírt? Nincs helyes válasz. A Facebook az oldalon zajló tevékenységre optimalizál: lájk, megosztás, komment. 2014 augusztusában tüntetések törtek ki a Missouribeli Fergusonban, miután egy fehér rendőr lelőtt egy afroamerikai tinédzsert, gyanús körülmények között. Tele volt a tüntetések híreivel az algoritmussal nem szűrt Twitter-fiókom, de a Facebookon nem volt semmi. A Facebook-ismerőseim az oka? Kikapcsoltam a Facebook algoritmusát, ami nehéz, mert a Facebook azt akarja, hogy az algoritmus irányítson minket. Láttam, hogy az ismerőseim beszélgetnek róla. Csakhogy az algoritmus azt nem mutatta meg nekem. Kutattam utána, és azt találtam, hogy ez egy elterjedt probléma. A fergusoni sztori nem volt szimpatikus az algoritmusnak. Nem lájkolható. Ki fog a lájkra kattintani? Még kommentelni sem könnyű. Lájkok és kommentek nélkül az algoritmus egyre kisebb valószínűséggel mutatta egyre kevesebbeknek, így nem láthattuk meg. Ehelyett azon a héten a Facebook algoritmusa előtérbe helyezte az ALS jeges vödör kihívást. Nemes cél: önts magadra jeges vizet, és adakozz; rendben. Ez szimpatikus volt az algoritmusnak. A gép ezt helyettünk döntötte el. Egy igen fontos, de nehéz beszélgetést fojtott volna el, ha a Facebook lett volna az egyetlen csatorna. S végül, e rendszerek úgy is hibázhatnak, ami nem hasonlít az emberi rendszerekre. Emlékeznek a Watsonra, az IBM gépi intelligencia rendszerére, amelyik felmosta a padlót a "Mindent vagy semmit" kvíz versenyzőivel? Nagyszerű játékos volt. De az utolsó fordulóban a következő kérdést tették fel a Watsonnak: „Legnagyobb repterét egy II. világháborús hősről nevezték el, a másodikat egy II. világháborús csatáról.” (Dúdolja a kvíz zenéjét) Chicago. A két ember eltalálta. A Watson válasza viszont Toronto volt – az USA-város kategóriában! A lenyűgöző rendszer olyan hibát ejtett, amilyet ember sosem tenne, egy másodikos gyerek sem. A gépi intelligenciánk olyan módon hibázhat, ami nem hasonlít az emberi hibamintákra, olyan módon, amire nem számítunk, nem vagyunk rá felkészülve. Ronda dolog lenne lemaradni egy munkáról, amire megvan a képesítésünk, de háromszoros szívás lenne, ha ezt egy szubrutinban túlcsordult verem okozná. (Nevetés) 2010 májusában a Wall Street villámkrachja, amit a tőzsdei „eladási” algoritmus visszacsatolási hurka okozott, egybillió dollárnyi értéket tett semmivé 36 perc alatt. Bele sem akarok gondolni, mit jelent a „hiba” az autonóm halálos fegyverekkel összefüggésben. Igen, az emberek mindig részrehajlók voltak. Döntéshozók és kapuőrök a bíróságokon, hírekben, háborúban... hibáznak; de éppen erről beszélek. Nem szabadulhatunk meg e fogós kérdésektől. Nem szervezhetjük ki felelősségünket gépekbe. (Taps) A mesterséges intelligencia nem ment föl az etikus gondolkodás alól. Fred Benenson adatkutató „math-washing”-nak nevezi ezt. Az ellenkezője szükséges. Gyanakodnunk kell az algoritmusokra, és vizsgálnunk kell őket. Gondoskodnunk kell róla, hogy az algoritmusok számon kérhetők, auditálhatók és észszerűen átláthatók legyenek. El kell fogadnunk, hogy a matek és az informatika bevonása a zavaros, értékeket hordozó emberi viszonyokba nem eredményez objektivitást; ehelyett az emberi viszonyok komplexitása átitatja az algoritmust. Igen, lehet és kell használnunk az informatikát, hogy segítsen jobb döntéseket hozni. De ítéleteinkért az erkölcsi felelősséget nekünk kell viselnünk, és az algoritmusokat azon keretek között kell használnunk, nem pedig arra, hogy lemondjunk az egymás iránti felelősségünkről, és azt kiszervezzük. A gépi intelligencia megérkezett. Ez azt jelenti, hogy még szigorúbban kell ragaszkodnunk az emberi értékekhez és etikához. Köszönöm. (Taps) (Üdvrivalgás)