A gépi intelligenciától fontosabbá válnak az emberi erkölcsök

A gépi intelligencia megérkezett, és már használjuk is szubjektív döntések meghozatalára. De mivel a mesterséges intelligencia növekedése és javulása bonyolult, nehéz megérteni, és még nehezebb irányítani. Ebben az óvatosságra intő beszédben Zeynep Tufecki műszaki szociológus elmagyarázza, hogy az intelligens gépek olyan módon hibázhatnak, amelyek nem hasonlítanak az emberi hibamintákra; olymódon, amire nem számítunk, és amire nem vagyunk felkészülve. "Nem szervezhetjük ki a felelősségünket a gépekbe" – mutat rá. "Még szigorúbban kell ragaszkodnunk az emberi értékekhez és az emberi etikához."

Az első munkám számítógép-programozás volt

a főiskola legelső évében,

amit még tizenévesként kezdtem.

Kezdésem után nem sokkal

szoftvereket írtam egy cégnek,

amikor a cég egyik főnök odajött hozzám,

és suttogva megkérdezte:

"Ő tudja-e, ha hazudok?"

Senki más nem volt a szobában.

"Kicsoda tudja-e, ha hazudsz?
És miért suttogunk?"

A főnök a szobában lévő
számítógépre mutatott.

"Ő tudja-e, ha hazudok?"

Hát, ennek a főnöknek
viszonya volt a recepcióssal.

(Nevetés)

És én még csak tizenéves voltam.

Hangosan visszasuttogtam:

"Igen, a számítógép tudja, mikor hazudsz."

(Nevetés)

Kinevettem, de igazából
engem kellene kinevetni.

Manapság olyan számítógépes
rendszerek vannak,

amelyek kiszimatolják az érzelmi
állapotot, sőt a hazugságot is

az emberi arc tanulmányozásából.

A reklámozók és a hatóságok is
erősen érdeklődnek irántuk.

Azért lettem számítógép-programozó,

mert gyerekként megőrültem
a matekért és a tudományért.

De valamikor később tudomást
szereztem a nukleáris fegyverekről,

és komolyan aggódni kezdtem
a tudomány etikájáért.

Zavarban voltam.

Ám családi körülményeim miatt

minél hamarabb munkába kellett állnom.

Úgyhogy azt gondoltam magamban:
választok egy műszaki területet,

ahol könnyen találok munkát,

és ahol nem kell foglalkoznom
semmilyen zavaró etikai kérdéssel.

A számítógépeket választottam.

(Nevetés)

Hát, ha-ha-ha! Ki lehet engem nevetni.

Manapság az informatikusok
olyan felületeket építenek,

amelyek azt irányítják,
amit egymilliárd ember naponta lát.

Autókat fejlesztenek,
amelyek eldönthetik, kit ütnek el.

Sőt, gépeket és fegyvereket gyártanak,

amelyek háborúban
embereket ölhetnek meg.

Etika végestelen végig.

A gépi intelligencia megérkezett.

Ma a számítástechnikát
mindenféle döntésre használjuk,

újfajta döntésekre is.

Olyan kérdéseket teszünk fel a gépeknek,
amelyekre nincs egyetlen helyes válasz,

szubjektív,

nyitott és fontos kérdéseket.

Ilyen kérdéseket teszünk fel:

„Kit alkalmazzon a cég?”,

„Melyik ismerős melyik frissítését
mutassuk meg neked?”,

„Melyik elítéltről valószínűbb,
hogy újból bűnözik?”,

„Melyik hírt vagy mozifilmet
ajánljuk az embereknek?”

Már használjuk egy ideje a számítógépeket,

de ez most más.

Ez történelmi fordulat,

mert a számítástechnikát nem tudjuk
úgy kötni e szubjektív döntésekhez,

ahogy összekapcsoljuk a légi
közlekedéssel, a hídépítéssel,

a holdra szállással.

Biztonságosabbak a repülőgépek?
Kilengett és összedőlt a híd?

Ott vannak egyeztetett,
elég világos viszonyítási alapjaink,

és a természet törvényei irányítanak.

A zűrös emberi viszonyokra
vonatkozó döntésekhez

nincsenek ilyen kapcsolódási
és viszonyítási pontjaink.

Hogy bonyolítsa a dolgokat,
szoftverünk egyre erősebb,

ugyanakkor kevésbé átlátható
és egyre bonyolultabb lesz.

Nemrég, az elmúlt évtizedben,

a komplex algoritmusok
nagyot léptek előre.

Emberi arcokat ismernek fel.

Kézírást silabizálnak ki.

Hitelkártyacsalásokat ismernek fel,

spamet szűrnek ki,

és egyik nyelvről a másikra fordítanak.

Az orvosi képalkotásban
daganatokat ismernek fel.

Megverik az embert sakkban és góban.

A haladás zöme az ún. „gépi tanulás”
módszerének köszönhető.

A gépi tanulás különbözik
a hagyományos programozástól,

ahol a számítógépnek részletes,
pontos, precíz utasításokat adunk.

Inkább olyan, hogy egy rendszerbe
beletöltünk egy csomó adatot,

strukturálatlan adatokat is,

amilyeneket digitális életünk hoz létre.

A rendszer az adatok átfésüléséből tanul.

Még egy alapvető dolog:

e rendszerek nem az egyetlen
válasz logikáját követik.

Nem egy egyszerű választ
szűrnek le, inkább valószínűséget:

„Ez inkább hasonlít arra, amit keresel.”

A jó dolog ebben az,
hogy a módszer valóban hatásos.

A Google MI-rendszer vezetője így nevezte:

„az adatok észszerűtlen hatékonysága”.

A hátránya,

hogy nemigen értjük,
mit tanult a rendszer.

Valójában ez az erőssége.

Ez nem olyan, mint amikor utasításokat
adunk egy számítógépnek,

inkább olyan, mintha kiképeznénk
egy gép-kutyus-szerű lényt,

akit nemigen értünk,
és nem tudunk irányítani.

Ez a gondunk.

Gond, ha ez az MI-rendszer valamit elszúr.

Az is, ha nem szúrja el,

mert nem is tudjuk, mi micsoda.
ha szubjektív kérdésről van szó.

Nem tudjuk, mit gondol ez a dolog.

Vegyünk egy felvételi algoritmust,

azaz felvételre való rendszert,
amely gépi tanulási rendszert használ.

A rendszert az eddigi alkalmazottak
adatain tanították be,

és arra utasították, hogy a cég jelenlegi

jól teljesítő embereihez hasonlókat
találjon és alkalmazzon.

Jól hangzik.

Részt vettem egyszer egy konferencián,

ahol humánerőforrás-ügyintézők
és -vezetők gyűltek össze,

magas rangú emberek,

ők ilyeneket használtak felvételhez.

Rendkívül izgatottak voltak.

Azt gondolták, hogy ez objektívabbá,
pártatlanabbá teszi a felvételt,

és jobb esélyt ad nőknek
és a kisebbségeknek

a részrehajló ügyintézőkkel szemben.

De az emberek felvétele részrehajló.

Én tudom.

Az egyik korai munkahelyemen
programozóként dolgoztam,

és a kisfőnököm néha odajött hozzám

nagyon korán reggel
vagy nagyon késő délután,

és azt mondta: „Zeynep, menjünk ebédelni!”

Meglepett a fura időzítés.

Délután négykor ebédeljünk?

Le voltam égve, ingyenes az ebéd...
Mindig vele mentem.

Később rájöttem, mi történt.

Kisfőnökeim nem vallották
be feletteseiknek,

hogy a komoly munkára
felvett programozó egy tinilány,

aki farmerben és surranóban jár munkába.

Jól dolgoztam, de nem néztem ki elég jól,

nem felelt meg a korom és a nemem.

Ezért egy nemtől és rassztól
független felvétel

jól hangzik nekem.

De elmondom, hogy e rendszerekkel
a helyzet ennél miért bonyolultabb,

Ma már a számítógép-rendszerek mindenfélét
ki tudnak következtetni rólunk

a digitális morzsáinkból,

még akkor is, ha nem
hoztuk nyilvánosságra őket.

Ki tudják következtetni
nemi orientációnkat,

személyiségjegyeinket,

politikai szimpátiáinkat.

Előrejelző erejük nagy fokú
pontossággal párosul.

Figyelem: olyan dolgokról,
amelyeket nem is közöltünk.

Ez a kikövetkeztetés.

Egyik barátnőm olyan számítógépes
rendszereket fejlesztett,

amelyek előrejelzik a szülés utáni
vagy a súlyos depresszió valószínűségét

a közösségi média adataiból.

Az eredmények lenyűgözőek.

Rendszere előrejelzi
a depresszió valószínűségét

hónapokkal a tünetek megjelenése előtt.

Hónapokkal előtte!

Nincs még tünet, de előrejelzés már van.

Barátnőm reméli, hogy felhasználják
majd a korai beavatkozáshoz. Nagyszerű!

De nézzük ezt a felvételi szempontjából!

Az említett humánerőforrás-konferencián

odamentem az egyik óriási cég
magas rangú vezetőjéhez,

és megkérdeztem tőle:
„M van, ha az ön tudta nélkül

rendszerük kiszűri azokat,

akiknél a depresszió jövőbeni
valószínűsége nagy?

Mi van, ha kiszűri azokat,
akik egy-két éven belül

valószínűleg teherbe esnek,
de most nem terhesek?

Mi van, ha agresszív embereket vesz fel,
mert a munkahelyi kultúrába beleillenek?"

Ez nem derül ki a nemek
szerinti bontásból.

Az lehet, hogy rendben van.

Mivel ez gépi tanulás,
nem hagyományos kódolás,

nincs „magas depressziókockázat”,

„magas terhességi kockázat”,

„agresszív pasi skála” nevű változó.

Nemcsak azt nem tudjuk,
mi alapján választ a rendszer,

hanem azt sem, hol kezd el keresni.

Ez egy fekete doboz.

Előrejelző ereje van, de nem értjük.

„Mi a biztosíték rá – kérdeztem,

hogy a fekete doboz nem
csinál valami kétes dolgot?”

Úgy nézett rám, mintha megöltem
volna a tanácselnököt.

(Nevetés)

Bámult rám, majd azt mondta:

„Nem akarok erről hallani
többet egy szót sem”.

Sarkon fordult, és elment.

Megjegyezném: nem volt durva.

Világos volt: amiről nem tudok, az nem
az én problémám, lelépek, bután nézek.

(Nevetés)

Egy ilyen rendszer, lehet,
hogy kevésbé részrehajló,

mint bizonyos esetekben az ügyintézők.

Pénzügyileg megérheti.

De ahhoz vezethet,

hogy folyamatosan és alattomosan
kizárja a munkaerőpiacról

a magas depressziókockázatúakat.

Ilyenfajta társadalmat akarunk építeni,

még ha tudtunkon kívül is,

csak mert olyan gépeknek adtuk át
a döntéshozatalt, amelyeket nem is értünk?

Egy másik nehézség:

a rendszerek tanítása gyakran
tetteinkből létrehozott adatokkal,

emberi lenyomatokkal történik.

Lehet, hogy ezek
tükrözik részrehajlásunkat,

és a rendszerek eltanulják őket,

felerősítik,

és visszatükrözik nekünk,

miközben azt mondjuk magunknak

„Mi csak objektív, semleges
számítástechnikát gyakorlunk.”

Kutatók kimutatták, hogy a Google
nőknek kisebb valószínűséggel mutat

jól fizetett állásokról szóló
hirdetéseket, mint férfiaknak.

Ha afroamerikai nevekre keresünk,

gyakrabban hoz fel büntetett
előéletet sejtető reklámokat,

akkor is, ha nincs ilyenről szó.

Az ilyen rejtett részrehajlásokat
és „fekete doboz” algoritmusokat

olykor felfedik a kutatók,
de néha nem tudunk róluk,

pedig következményeik
megváltoztathatják az életet.

Wisconsinban egy vádlottat
hat év börtönre ítéltek,

mert kijátszotta a rendőröket.

Tán nem tudják: szabadlábra helyezési

és büntetési döntésekhez egyre
gyakrabban használnak algoritmust.

Ez az ember meg akarta tudni,
hogyan számítják a pontszámot.

Ez egy kereskedelmi fekete doboz.

A cég visszautasította, hogy nyilvános
bíróság elé vigyék az algoritmusát.

De a ProPublica nonprofit
nyomozó szervezet auditálta az algoritmust

a hozzáférhető nyilvános adatokkal,

és az eredményeket részrehajlónak találta,

az előrejelző képességét pedig
pocséknak, alig jobbnak a véletlennél,

kétszer olyan gyakran jelölte hibásan
leendő bűnözőnek a fekete,

mint a fehér elítélteket.

Vegyünk egy másik esetet:

egy nőnek el kellett hoznia keresztlányát

az iskolából a floridai Broward megyében.

Késésben volt, rohant
az utcán a barátnőjével.

Egy tornácon lezáratlan
gyerekbiciklit és rollert láttak meg,

meggondolatlanul felugrottak rá.

Ahogy elhajtottak,
kijött egy nő, s azt kiáltotta:

„Hé! Az a gyerek biciklije!”

Eldobták, továbbmentek,
de letartóztatták őket.

Rosszat tett, őrültség volt,
de csak 18 éves volt.

Volt néhány fiatalkori kihágása.

Ugyanakkor letartóztattak egy férfit
85 dollár értékű áruházi lopásért,

ez egy hasonló kisebb vétség.

Volt viszont két korábbi
ítélete fegyveres rablásért.

Az algoritmus mégis a nőt értékelte
magas kockázatúnak, nem a férfit.

Két évvel később a ProPublica azt találta,
hogy a nő nem követett el új vétséget.

Csak nehéz volt munkát találnia
a priusza miatt.

A férfi viszont visszaeső volt,

és most nyolcéves büntetését tölti
egy későbbi bűncselekmény miatt.

Világos, hogy auditálnunk kell
a fekete dobozainkat,

s nem engedhetjük, hogy ilyen
korlátlan hatalmuk legyen.

(Taps)

Az auditok nagyszerűek és fontosak,
de nem oldják meg minden gondunkat.

Vegyük a Facebook hatásos
hírválogató algoritmusát,

azt, amelyik mindent sorba rak,
és eldönti, mit mutasson meg nekünk

az összes követett ismerős és oldal közül.

Mutasson még egy kisbabás képet?

(Nevetés)

Egy ismerős morcos megjegyzését?

Egy fontos, de fajsúlyos hírt?

Nincs helyes válasz.

A Facebook az oldalon zajló
tevékenységre optimalizál:

lájk, megosztás, komment.

2014 augusztusában

tüntetések törtek ki a Missouribeli
Fergusonban,

miután egy fehér rendőr lelőtt
egy afroamerikai tinédzsert,

gyanús körülmények között.

Tele volt a tüntetések híreivel

az algoritmussal nem szűrt Twitter-fiókom,

de a Facebookon nem volt semmi.

A Facebook-ismerőseim az oka?

Kikapcsoltam a Facebook algoritmusát,

ami nehéz, mert a Facebook
azt akarja,

hogy az algoritmus irányítson minket.

Láttam, hogy az ismerőseim
beszélgetnek róla.

Csakhogy az algoritmus azt
nem mutatta meg nekem.

Kutattam utána, és azt találtam,
hogy ez egy elterjedt probléma.

A fergusoni sztori nem volt
szimpatikus az algoritmusnak.

Nem lájkolható.

Ki fog a lájkra kattintani?

Még kommentelni sem könnyű.

Lájkok és kommentek nélkül

az algoritmus egyre kisebb valószínűséggel
mutatta egyre kevesebbeknek,

így nem láthattuk meg.

Ehelyett azon a héten

a Facebook algoritmusa előtérbe helyezte

az ALS jeges vödör kihívást.

Nemes cél: önts magadra jeges vizet,
és adakozz; rendben.

Ez szimpatikus volt az algoritmusnak.

A gép ezt helyettünk döntötte el.

Egy igen fontos, de nehéz beszélgetést

fojtott volna el,

ha a Facebook lett volna
az egyetlen csatorna.

S végül, e rendszerek úgy is hibázhatnak,

ami nem hasonlít az emberi rendszerekre.

Emlékeznek a Watsonra,
az IBM gépi intelligencia rendszerére,

amelyik felmosta a padlót a "Mindent
vagy semmit" kvíz versenyzőivel?

Nagyszerű játékos volt.

De az utolsó fordulóban a következő
kérdést tették fel a Watsonnak:

„Legnagyobb repterét egy
II. világháborús hősről nevezték el,

a másodikat egy II.
világháborús csatáról.”

(Dúdolja a kvíz zenéjét)

Chicago.

A két ember eltalálta.

A Watson válasza viszont Toronto volt –

az USA-város kategóriában!

A lenyűgöző rendszer olyan hibát ejtett,

amilyet ember sosem tenne,
egy másodikos gyerek sem.

A gépi intelligenciánk

olyan módon hibázhat, ami nem
hasonlít az emberi hibamintákra,

olyan módon, amire nem számítunk,
nem vagyunk rá felkészülve.

Ronda dolog lenne lemaradni egy munkáról,
amire megvan a képesítésünk,

de háromszoros szívás lenne,

ha ezt egy szubrutinban
túlcsordult verem okozná.

(Nevetés)

2010 májusában

a Wall Street villámkrachja,
amit a tőzsdei „eladási” algoritmus

visszacsatolási hurka okozott,

egybillió dollárnyi értéket
tett semmivé 36 perc alatt.

Bele sem akarok gondolni,
mit jelent a „hiba”

az autonóm halálos fegyverekkel
összefüggésben.

Igen, az emberek mindig
részrehajlók voltak.

Döntéshozók és kapuőrök

a bíróságokon, hírekben, háborúban...

hibáznak; de éppen erről beszélek.

Nem szabadulhatunk meg
e fogós kérdésektől.

Nem szervezhetjük ki
felelősségünket gépekbe.

(Taps)

A mesterséges intelligencia nem
ment föl az etikus gondolkodás alól.

Fred Benenson adatkutató
„math-washing”-nak nevezi ezt.

Az ellenkezője szükséges.

Gyanakodnunk kell az algoritmusokra,
és vizsgálnunk kell őket.

Gondoskodnunk kell róla,
hogy az algoritmusok számon kérhetők,

auditálhatók és észszerűen
átláthatók legyenek.

El kell fogadnunk, hogy a matek
és az informatika bevonása

a zavaros, értékeket hordozó emberi
viszonyokba

nem eredményez objektivitást;

ehelyett az emberi viszonyok
komplexitása átitatja az algoritmust.

Igen, lehet és kell használnunk
az informatikát,

hogy segítsen jobb döntéseket hozni.

De ítéleteinkért az erkölcsi felelősséget
nekünk kell viselnünk,

és az algoritmusokat azon
keretek között kell használnunk,

nem pedig arra, hogy lemondjunk
az egymás iránti felelősségünkről,

és azt kiszervezzük.

A gépi intelligencia megérkezett.

Ez azt jelenti, hogy még szigorúbban
kell ragaszkodnunk

az emberi értékekhez és etikához.

Köszönöm.

(Taps) (Üdvrivalgás)