WEBVTT

00:00:00.739 --> 00:00:04.861
Az első munkám számítógép-programozás volt

00:00:04.885 --> 00:00:06.841
a főiskola legelső évében,

00:00:06.865 --> 00:00:08.372
amit még tizenévesként kezdtem.

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
Kezdésem után nem sokkal

00:00:10.645 --> 00:00:12.255
szoftvereket írtam egy cégnek,

00:00:12.799 --> 00:00:16.434
amikor a cég egyik főnök odajött hozzám,

00:00:16.458 --> 00:00:17.726
és suttogva megkérdezte:

00:00:18.229 --> 00:00:21.090
"Ő tudja-e, ha hazudok?"

00:00:21.806 --> 00:00:23.883
Senki más nem volt a szobában.

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
"Kicsoda tudja-e, ha hazudsz?
És miért suttogunk?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
A főnök a szobában lévő 
számítógépre mutatott.

00:00:33.397 --> 00:00:36.493
"Ő tudja-e, ha hazudok?"

00:00:37.613 --> 00:00:41.975
Hát, ennek a főnöknek
viszonya volt a recepcióssal.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Nevetés)

NOTE Paragraph

00:00:43.135 --> 00:00:44.901
És én még csak tizenéves voltam.

00:00:45.447 --> 00:00:47.466
Hangosan visszasuttogtam:

00:00:47.490 --> 00:00:51.114
"Igen, a számítógép tudja, mikor hazudsz."

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Nevetés)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
Kinevettem, de igazából
engem kellene kinevetni.

00:00:55.915 --> 00:00:59.183
Manapság olyan számítógépes
rendszerek vannak,

00:00:59.207 --> 00:01:02.755
amelyek kiszimatolják az érzelmi 
állapotot, sőt a hazugságot is

00:01:02.779 --> 00:01:04.823
az emberi arc tanulmányozásából.

00:01:05.248 --> 00:01:09.401
A reklámozók és a hatóságok is
erősen érdeklődnek irántuk.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Azért lettem számítógép-programozó,

00:01:12.205 --> 00:01:15.318
mert gyerekként megőrültem
a matekért és a tudományért.

00:01:15.942 --> 00:01:19.050
De valamikor később tudomást
szereztem a nukleáris fegyverekről,

00:01:19.074 --> 00:01:22.026
és komolyan aggódni kezdtem
a tudomány etikájáért.

00:01:22.050 --> 00:01:23.254
Zavarban voltam.

00:01:23.278 --> 00:01:25.919
Ám családi körülményeim miatt

00:01:25.943 --> 00:01:29.241
minél hamarabb munkába kellett állnom.

00:01:29.265 --> 00:01:32.564
Úgyhogy azt gondoltam magamban:
választok egy műszaki területet,

00:01:32.588 --> 00:01:34.384
ahol könnyen találok munkát,

00:01:34.408 --> 00:01:38.426
és ahol nem kell foglalkoznom
semmilyen zavaró etikai kérdéssel.

00:01:39.022 --> 00:01:40.551
A számítógépeket választottam.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Nevetés)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Hát, ha-ha-ha! Ki lehet engem nevetni.

00:01:45.137 --> 00:01:47.891
Manapság az informatikusok
olyan felületeket építenek,

00:01:47.915 --> 00:01:52.124
amelyek azt irányítják,
amit egymilliárd ember naponta lát.

00:01:53.052 --> 00:01:56.874
Autókat fejlesztenek,
amelyek eldönthetik, kit ütnek el.

00:01:57.707 --> 00:02:00.920
Sőt, gépeket és fegyvereket gyártanak,

00:02:00.944 --> 00:02:03.229
amelyek háborúban 
embereket ölhetnek meg.

00:02:03.253 --> 00:02:06.024
Etika végestelen végig.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
A gépi intelligencia megérkezett.

00:02:09.823 --> 00:02:13.297
Ma a számítástechnikát
mindenféle döntésre használjuk,

00:02:13.321 --> 00:02:15.207
újfajta döntésekre is.

00:02:15.231 --> 00:02:20.403
Olyan kérdéseket teszünk fel a gépeknek,
amelyekre nincs egyetlen helyes válasz,

00:02:20.427 --> 00:02:21.629
szubjektív,

00:02:21.653 --> 00:02:23.978
nyitott és fontos kérdéseket.

NOTE Paragraph

00:02:24.002 --> 00:02:25.760
Ilyen kérdéseket teszünk fel:

00:02:25.784 --> 00:02:27.434
„Kit alkalmazzon a cég?”,

00:02:28.096 --> 00:02:30.855
„Melyik ismerős melyik frissítését
mutassuk meg neked?”,

00:02:30.879 --> 00:02:33.405
„Melyik elítéltről valószínűbb,
hogy újból bűnözik?”,

00:02:33.514 --> 00:02:36.568
„Melyik hírt vagy mozifilmet
ajánljuk az embereknek?”

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Már használjuk egy ideje a számítógépeket,

00:02:39.988 --> 00:02:41.505
de ez most más.

00:02:41.529 --> 00:02:43.280
Ez történelmi fordulat,

00:02:43.520 --> 00:02:48.957
mert a számítástechnikát nem tudjuk
úgy kötni e szubjektív döntésekhez,

00:02:48.981 --> 00:02:54.401
ahogy összekapcsoljuk a légi
közlekedéssel, a hídépítéssel,

00:02:54.425 --> 00:02:55.684
a holdra szállással.

00:02:56.449 --> 00:02:59.708
Biztonságosabbak a repülőgépek?
Kilengett és összedőlt a híd?

00:02:59.732 --> 00:03:04.230
Ott vannak egyeztetett,
elég világos viszonyítási alapjaink,

00:03:04.254 --> 00:03:06.493
és a természet törvényei irányítanak.

00:03:06.517 --> 00:03:09.911
A zűrös emberi viszonyokra
vonatkozó döntésekhez

00:03:09.935 --> 00:03:13.898
nincsenek ilyen kapcsolódási
és viszonyítási pontjaink.

NOTE Paragraph

00:03:14.452 --> 00:03:18.159
Hogy bonyolítsa a dolgokat,
szoftverünk egyre erősebb,

00:03:18.183 --> 00:03:21.956
ugyanakkor kevésbé átlátható
és egyre bonyolultabb lesz.

00:03:22.542 --> 00:03:24.582
Nemrég, az elmúlt évtizedben,

00:03:24.606 --> 00:03:27.335
a komplex algoritmusok
nagyot léptek előre.

00:03:27.359 --> 00:03:29.349
Emberi arcokat ismernek fel.

00:03:29.985 --> 00:03:32.040
Kézírást silabizálnak ki.

00:03:32.436 --> 00:03:34.502
Hitelkártyacsalásokat ismernek fel,

00:03:34.526 --> 00:03:35.715
spamet szűrnek ki,

00:03:35.739 --> 00:03:37.776
és egyik nyelvről a másikra fordítanak.

00:03:37.800 --> 00:03:40.374
Az orvosi képalkotásban
daganatokat ismernek fel.

00:03:40.398 --> 00:03:42.603
Megverik az embert sakkban és <i>gó</i>ban.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
A haladás zöme az ún. „gépi tanulás”
módszerének köszönhető.

00:03:48.175 --> 00:03:51.362
A gépi tanulás különbözik
a hagyományos programozástól,

00:03:51.386 --> 00:03:54.971
ahol a számítógépnek részletes,
pontos, precíz utasításokat adunk.

00:03:55.378 --> 00:03:59.560
Inkább olyan, hogy egy rendszerbe
beletöltünk egy csomó adatot,

00:03:59.584 --> 00:04:01.240
strukturálatlan adatokat is,

00:04:01.264 --> 00:04:03.542
amilyeneket digitális életünk hoz létre.

00:04:03.566 --> 00:04:06.296
A rendszer az adatok átfésüléséből tanul.

00:04:06.669 --> 00:04:08.195
Még egy alapvető dolog:

00:04:08.219 --> 00:04:12.599
e rendszerek nem az egyetlen 
válasz logikáját követik.

00:04:12.623 --> 00:04:15.582
Nem egy egyszerű választ
szűrnek le, inkább valószínűséget:

00:04:15.606 --> 00:04:19.089
„Ez inkább hasonlít arra, amit keresel.”

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
A jó dolog ebben az,
hogy a módszer valóban hatásos.

00:04:23.117 --> 00:04:25.193
A Google MI-rendszer vezetője így nevezte:

00:04:25.217 --> 00:04:27.414
„az adatok észszerűtlen hatékonysága”.

00:04:27.791 --> 00:04:29.144
A hátránya,

00:04:29.738 --> 00:04:32.809
hogy nemigen értjük,
mit tanult a rendszer.

00:04:32.833 --> 00:04:34.420
Valójában ez az erőssége.

00:04:34.946 --> 00:04:38.744
Ez nem olyan, mint amikor utasításokat 
adunk egy számítógépnek,

00:04:39.200 --> 00:04:43.264
inkább olyan, mintha kiképeznénk
egy gép-kutyus-szerű lényt,

00:04:43.288 --> 00:04:45.659
akit nemigen értünk,
és nem tudunk irányítani.

00:04:46.362 --> 00:04:47.913
Ez a gondunk.

00:04:48.427 --> 00:04:52.689
Gond, ha ez az MI-rendszer valamit elszúr.

00:04:52.713 --> 00:04:56.253
Az is, ha nem szúrja el,

00:04:56.277 --> 00:04:59.905
mert nem is tudjuk, mi micsoda.
ha szubjektív kérdésről van szó.

00:04:59.929 --> 00:05:02.268
Nem tudjuk, mit gondol ez a dolog.

NOTE Paragraph

00:05:03.493 --> 00:05:07.176
Vegyünk egy felvételi algoritmust,

00:05:08.123 --> 00:05:12.434
azaz felvételre való rendszert,
amely gépi tanulási rendszert használ.

00:05:13.052 --> 00:05:16.631
A rendszert az eddigi alkalmazottak
adatain tanították be,

00:05:16.655 --> 00:05:19.246
és arra utasították, hogy a cég jelenlegi

00:05:19.270 --> 00:05:22.308
jól teljesítő embereihez hasonlókat
találjon és alkalmazzon.

00:05:22.814 --> 00:05:23.967
Jól hangzik.

00:05:23.991 --> 00:05:25.990
Részt vettem egyszer egy konferencián,

00:05:26.014 --> 00:05:29.139
ahol humánerőforrás-ügyintézők
és -vezetők gyűltek össze,

00:05:29.163 --> 00:05:30.313
magas rangú emberek,

00:05:30.313 --> 00:05:32.032
ők ilyeneket használtak felvételhez.

00:05:32.032 --> 00:05:33.622
Rendkívül izgatottak voltak.

00:05:33.646 --> 00:05:38.299
Azt gondolták, hogy ez objektívabbá,
pártatlanabbá teszi a felvételt,

00:05:38.323 --> 00:05:41.323
és jobb esélyt ad nőknek
és a kisebbségeknek

00:05:41.347 --> 00:05:43.535
a részrehajló ügyintézőkkel szemben.

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
De az emberek felvétele részrehajló.

00:05:47.099 --> 00:05:48.284
Én tudom.

00:05:48.308 --> 00:05:51.313
Az egyik korai munkahelyemen
programozóként dolgoztam,

00:05:51.337 --> 00:05:55.205
és a kisfőnököm néha odajött hozzám

00:05:55.229 --> 00:05:58.982
nagyon korán reggel
vagy nagyon késő délután,

00:05:59.006 --> 00:06:02.068
és azt mondta: „Zeynep, menjünk ebédelni!”

00:06:02.724 --> 00:06:04.891
Meglepett a fura időzítés.

00:06:04.915 --> 00:06:07.044
Délután négykor ebédeljünk?

00:06:07.068 --> 00:06:10.162
Le voltam égve, ingyenes az ebéd...
Mindig vele mentem.

00:06:10.618 --> 00:06:12.685
Később rájöttem, mi történt.

00:06:12.709 --> 00:06:17.255
Kisfőnökeim nem vallották
be feletteseiknek,

00:06:17.279 --> 00:06:20.392
hogy a komoly munkára
felvett programozó egy tinilány,

00:06:20.416 --> 00:06:24.346
aki farmerben és surranóban jár munkába.

00:06:25.174 --> 00:06:27.376
Jól dolgoztam, de nem néztem ki elég jól,

00:06:27.400 --> 00:06:29.099
nem felelt meg a korom és a nemem.

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
Ezért egy nemtől és rassztól
független felvétel

00:06:32.493 --> 00:06:34.358
jól hangzik nekem.

00:06:35.031 --> 00:06:38.372
De elmondom, hogy e rendszerekkel
a helyzet ennél miért bonyolultabb,

00:06:38.968 --> 00:06:44.759
Ma már a számítógép-rendszerek mindenfélét
ki tudnak következtetni rólunk

00:06:44.783 --> 00:06:46.655
a digitális morzsáinkból,

00:06:46.679 --> 00:06:49.012
még akkor is, ha nem
hoztuk nyilvánosságra őket.

00:06:49.506 --> 00:06:52.433
Ki tudják következtetni
nemi orientációnkat,

00:06:52.994 --> 00:06:54.300
személyiségjegyeinket,

00:06:54.859 --> 00:06:56.232
politikai szimpátiáinkat.

00:06:56.830 --> 00:07:00.515
Előrejelző erejük nagy fokú
pontossággal párosul.

00:07:01.362 --> 00:07:03.940
Figyelem: olyan dolgokról,
amelyeket nem is közöltünk.

00:07:03.964 --> 00:07:05.555
Ez a kikövetkeztetés.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
Egyik barátnőm olyan számítógépes
rendszereket fejlesztett,

00:07:08.864 --> 00:07:12.505
amelyek előrejelzik a szülés utáni
vagy a súlyos depresszió valószínűségét

00:07:12.529 --> 00:07:13.945
a közösségi média adataiból.

00:07:14.676 --> 00:07:16.103
Az eredmények lenyűgözőek.

00:07:16.492 --> 00:07:19.849
Rendszere előrejelzi
a depresszió valószínűségét

00:07:19.873 --> 00:07:23.776
hónapokkal a tünetek megjelenése előtt.

00:07:23.800 --> 00:07:25.173
Hónapokkal előtte!

00:07:25.197 --> 00:07:27.443
Nincs még tünet, de előrejelzés már van.

00:07:27.467 --> 00:07:32.279
Barátnőm reméli, hogy felhasználják 
majd a korai beavatkozáshoz. Nagyszerű!

00:07:32.911 --> 00:07:34.951
De nézzük ezt a felvételi szempontjából!

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
Az említett humánerőforrás-konferencián

00:07:39.097 --> 00:07:43.806
odamentem az egyik óriási cég
magas rangú vezetőjéhez,

00:07:43.830 --> 00:07:48.408
és megkérdeztem tőle:
„M van, ha az ön tudta nélkül

00:07:48.432 --> 00:07:52.761
rendszerük kiszűri azokat,

00:07:52.761 --> 00:07:59.171
akiknél a depresszió jövőbeni
valószínűsége nagy?

00:07:59.653 --> 00:08:02.139
Mi van, ha kiszűri azokat,
akik egy-két éven belül

00:08:02.139 --> 00:08:05.939
valószínűleg teherbe esnek,
de most nem terhesek?

00:08:06.844 --> 00:08:12.480
Mi van, ha agresszív embereket vesz fel,
mert a munkahelyi kultúrába beleillenek?"

00:08:13.173 --> 00:08:15.954
Ez nem derül ki a nemek 
szerinti bontásból.

00:08:15.954 --> 00:08:17.280
Az lehet, hogy rendben van.

00:08:17.414 --> 00:08:20.971
Mivel ez gépi tanulás,
nem hagyományos kódolás,

00:08:20.995 --> 00:08:25.902
nincs „magas depressziókockázat”,

00:08:25.926 --> 00:08:27.759
„magas terhességi kockázat”,

00:08:27.783 --> 00:08:29.537
„agresszív pasi skála” nevű változó.

00:08:29.995 --> 00:08:33.674
Nemcsak azt nem tudjuk,
mi alapján választ a rendszer,

00:08:33.698 --> 00:08:36.021
hanem azt sem, hol kezd el keresni.

00:08:36.045 --> 00:08:37.291
Ez egy fekete doboz.

00:08:37.315 --> 00:08:40.122
Előrejelző ereje van, de nem értjük.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
„Mi a biztosíték rá – kérdeztem,

00:08:42.879 --> 00:08:46.552
hogy a fekete doboz nem 
csinál valami kétes dolgot?”

00:08:48.863 --> 00:08:52.741
Úgy nézett rám, mintha megöltem
volna a tanácselnököt.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Nevetés)

NOTE Paragraph

00:08:54.037 --> 00:08:56.078
Bámult rám, majd azt mondta:

00:08:56.556 --> 00:09:00.889
„Nem akarok erről hallani
többet egy szót sem”.

00:09:01.458 --> 00:09:03.492
Sarkon fordult, és elment.

00:09:04.064 --> 00:09:05.550
Megjegyezném: nem volt durva.

00:09:05.574 --> 00:09:11.882
Világos volt: amiről nem tudok, az nem
az én problémám, lelépek, bután nézek.

NOTE Paragraph

00:09:11.906 --> 00:09:13.152
(Nevetés)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
Egy ilyen rendszer, lehet,
hogy kevésbé részrehajló,

00:09:17.725 --> 00:09:19.828
mint bizonyos esetekben az ügyintézők.

00:09:19.852 --> 00:09:21.998
Pénzügyileg megérheti.

00:09:22.573 --> 00:09:24.223
De ahhoz vezethet,

00:09:24.247 --> 00:09:28.995
hogy folyamatosan és alattomosan
kizárja a munkaerőpiacról

00:09:29.019 --> 00:09:31.312
a magas depressziókockázatúakat.

00:09:31.753 --> 00:09:34.349
Ilyenfajta társadalmat akarunk építeni,

00:09:34.373 --> 00:09:36.658
még ha tudtunkon kívül is,

00:09:36.682 --> 00:09:40.646
csak mert olyan gépeknek adtuk át
a döntéshozatalt, amelyeket nem is értünk?

NOTE Paragraph

00:09:41.265 --> 00:09:42.723
Egy másik nehézség:

00:09:43.314 --> 00:09:47.766
a rendszerek tanítása gyakran 
tetteinkből létrehozott adatokkal,

00:09:47.790 --> 00:09:49.606
emberi lenyomatokkal történik.

00:09:50.188 --> 00:09:53.996
Lehet, hogy ezek
tükrözik részrehajlásunkat,

00:09:54.020 --> 00:09:57.613
és a rendszerek eltanulják őket,

00:09:57.637 --> 00:09:58.950
felerősítik,

00:09:58.974 --> 00:10:00.392
és visszatükrözik nekünk,

00:10:00.416 --> 00:10:01.878
miközben azt mondjuk magunknak

00:10:01.902 --> 00:10:04.699
„Mi csak objektív, semleges
számítástechnikát gyakorlunk.”

NOTE Paragraph

00:10:06.314 --> 00:10:09.611
Kutatók kimutatták, hogy a Google
nőknek kisebb valószínűséggel mutat

00:10:10.134 --> 00:10:15.383
jól fizetett állásokról szóló
hirdetéseket, mint férfiaknak.

00:10:16.463 --> 00:10:18.993
Ha afroamerikai nevekre keresünk,

00:10:19.017 --> 00:10:23.723
gyakrabban hoz fel büntetett
előéletet sejtető reklámokat,

00:10:23.747 --> 00:10:25.314
akkor is, ha nincs ilyenről szó.

00:10:26.693 --> 00:10:30.242
Az ilyen rejtett részrehajlásokat
és „fekete doboz” algoritmusokat

00:10:30.266 --> 00:10:34.239
olykor felfedik a kutatók,
de néha nem tudunk róluk,

00:10:34.263 --> 00:10:36.924
pedig következményeik
megváltoztathatják az életet.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
Wisconsinban egy vádlottat
hat év börtönre ítéltek,

00:10:42.141 --> 00:10:43.646
mert kijátszotta a rendőröket.

00:10:44.824 --> 00:10:46.670
Tán nem tudják: szabadlábra helyezési

00:10:46.680 --> 00:10:50.032
és büntetési döntésekhez egyre
gyakrabban használnak algoritmust.

00:10:50.056 --> 00:10:53.011
Ez az ember meg akarta tudni,
hogyan számítják a pontszámot.

00:10:53.795 --> 00:10:55.460
Ez egy kereskedelmi fekete doboz.

00:10:55.484 --> 00:10:59.689
A cég visszautasította, hogy nyilvános
bíróság elé vigyék az algoritmusát.

00:11:00.396 --> 00:11:05.928
De a ProPublica nonprofit
nyomozó szervezet auditálta az algoritmust

00:11:05.952 --> 00:11:07.968
a hozzáférhető nyilvános adatokkal,

00:11:07.992 --> 00:11:10.308
és az eredményeket részrehajlónak találta,

00:11:10.332 --> 00:11:13.961
az előrejelző képességét pedig
pocséknak, alig jobbnak a véletlennél,

00:11:13.985 --> 00:11:18.401
kétszer olyan gyakran jelölte hibásan
leendő bűnözőnek a fekete,

00:11:18.425 --> 00:11:22.320
mint a fehér elítélteket.

NOTE Paragraph

00:11:23.891 --> 00:11:25.455
Vegyünk egy másik esetet:

00:11:26.103 --> 00:11:29.955
egy nőnek el kellett hoznia keresztlányát

00:11:29.979 --> 00:11:32.054
az iskolából a floridai Broward megyében.

00:11:32.757 --> 00:11:35.113
Késésben volt, rohant
az utcán a barátnőjével.

00:11:35.137 --> 00:11:39.236
Egy tornácon lezáratlan
gyerekbiciklit és rollert láttak meg,

00:11:39.260 --> 00:11:40.892
meggondolatlanul felugrottak rá.

00:11:40.916 --> 00:11:43.515
Ahogy elhajtottak,
kijött egy nő, s azt kiáltotta:

00:11:43.539 --> 00:11:45.744
„Hé! Az a gyerek biciklije!”

00:11:45.768 --> 00:11:49.062
Eldobták, továbbmentek,
de letartóztatták őket.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Rosszat tett, őrültség volt,
de csak 18 éves volt.

00:11:52.747 --> 00:11:55.291
Volt néhány fiatalkori kihágása.

00:11:55.808 --> 00:12:00.993
Ugyanakkor letartóztattak egy férfit
85 dollár értékű áruházi lopásért,

00:12:01.017 --> 00:12:03.941
ez egy hasonló kisebb vétség.

00:12:04.766 --> 00:12:09.325
Volt viszont két korábbi
ítélete fegyveres rablásért.

00:12:09.955 --> 00:12:13.437
Az algoritmus mégis a nőt értékelte
magas kockázatúnak, nem a férfit.

00:12:14.746 --> 00:12:18.620
Két évvel később a ProPublica azt találta,
hogy a nő nem követett el új vétséget.

00:12:18.644 --> 00:12:21.194
Csak nehéz volt munkát találnia
a priusza miatt.

00:12:21.218 --> 00:12:23.294
A férfi viszont visszaeső volt,

00:12:23.318 --> 00:12:27.154
és most nyolcéves büntetését tölti
egy későbbi bűncselekmény miatt.

00:12:28.088 --> 00:12:31.457
Világos, hogy auditálnunk kell
a fekete dobozainkat,

00:12:31.481 --> 00:12:34.096
s nem engedhetjük, hogy ilyen
korlátlan hatalmuk legyen.

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
(Taps)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Az auditok nagyszerűek és fontosak,
de nem oldják meg minden gondunkat.

00:12:42.353 --> 00:12:45.101
Vegyük a Facebook hatásos
hírválogató algoritmusát,

00:12:45.125 --> 00:12:49.968
azt, amelyik mindent sorba rak,
és eldönti, mit mutasson meg nekünk

00:12:49.992 --> 00:12:52.276
az összes követett ismerős és oldal közül.

00:12:52.898 --> 00:12:55.173
Mutasson még egy kisbabás képet?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Nevetés)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
Egy ismerős morcos megjegyzését?

00:12:59.449 --> 00:13:01.305
Egy fontos, de fajsúlyos hírt?

00:13:01.329 --> 00:13:02.811
Nincs helyes válasz.

00:13:02.835 --> 00:13:05.494
A Facebook az oldalon zajló
tevékenységre optimalizál:

00:13:05.518 --> 00:13:06.933
lájk, megosztás, komment.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
2014 augusztusában

00:13:10.888 --> 00:13:13.550
tüntetések törtek ki a Missouribeli
Fergusonban,

00:13:13.574 --> 00:13:17.991
miután egy fehér rendőr lelőtt 
egy afroamerikai tinédzsert,

00:13:18.015 --> 00:13:19.585
gyanús körülmények között.

00:13:19.974 --> 00:13:21.981
Tele volt a tüntetések híreivel

00:13:22.005 --> 00:13:24.690
az algoritmussal nem szűrt Twitter-fiókom,

00:13:24.714 --> 00:13:26.664
de a Facebookon nem volt semmi.

00:13:27.182 --> 00:13:28.916
A Facebook-ismerőseim az oka?

00:13:28.940 --> 00:13:30.972
Kikapcsoltam a Facebook algoritmusát,

00:13:31.472 --> 00:13:34.320
ami nehéz, mert a Facebook
azt akarja,

NOTE Paragraph

00:13:34.344 --> 00:13:36.380
hogy az algoritmus irányítson minket.

00:13:36.404 --> 00:13:38.642
Láttam, hogy az ismerőseim
beszélgetnek róla.

00:13:38.666 --> 00:13:41.175
Csakhogy az algoritmus azt
nem mutatta meg nekem.

00:13:41.199 --> 00:13:44.241
Kutattam utána, és azt találtam,
hogy ez egy elterjedt probléma.

NOTE Paragraph

00:13:44.265 --> 00:13:48.078
A fergusoni sztori nem volt
szimpatikus az algoritmusnak.

00:13:48.102 --> 00:13:49.273
Nem lájkolható.

00:13:49.297 --> 00:13:50.849
Ki fog a lájkra kattintani?

00:13:51.500 --> 00:13:53.706
Még kommentelni sem könnyű.

00:13:53.730 --> 00:13:55.101
Lájkok és kommentek nélkül

00:13:55.125 --> 00:13:58.617
az algoritmus egyre kisebb valószínűséggel
mutatta egyre kevesebbeknek,

00:13:58.637 --> 00:13:59.983
így nem láthattuk meg.

00:14:00.946 --> 00:14:02.174
Ehelyett azon a héten

00:14:02.198 --> 00:14:04.496
a Facebook algoritmusa előtérbe helyezte

00:14:04.520 --> 00:14:06.746
az ALS jeges vödör kihívást.

00:14:06.770 --> 00:14:10.512
Nemes cél: önts magadra jeges vizet,
és adakozz; rendben.

00:14:10.536 --> 00:14:12.440
Ez szimpatikus volt az algoritmusnak.

00:14:13.219 --> 00:14:15.832
A gép ezt helyettünk döntötte el.

00:14:15.856 --> 00:14:19.353
Egy igen fontos, de nehéz beszélgetést

00:14:19.377 --> 00:14:20.932
fojtott volna el,

00:14:20.956 --> 00:14:23.652
ha a Facebook lett volna
az egyetlen csatorna.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
S végül, e rendszerek úgy is hibázhatnak,

00:14:27.938 --> 00:14:30.674
ami nem hasonlít az emberi rendszerekre.

00:14:30.698 --> 00:14:33.584
Emlékeznek a Watsonra,
az IBM gépi intelligencia rendszerére,

00:14:33.584 --> 00:14:36.872
amelyik felmosta a padlót a "Mindent
vagy semmit" kvíz versenyzőivel?

00:14:37.131 --> 00:14:38.559
Nagyszerű játékos volt.

00:14:38.583 --> 00:14:42.152
De az utolsó fordulóban a következő
kérdést tették fel a Watsonnak:

00:14:42.659 --> 00:14:45.591
„Legnagyobb repterét egy
II. világháborús hősről nevezték el,

00:14:45.615 --> 00:14:47.867
a másodikat egy II. 
világháborús csatáról.”

NOTE Paragraph

00:14:47.891 --> 00:14:49.269
(Dúdolja a kvíz zenéjét)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
Chicago.

00:14:50.788 --> 00:14:52.158
A két ember eltalálta.

00:14:52.697 --> 00:14:57.045
A Watson válasza viszont Toronto volt –

00:14:57.069 --> 00:14:58.887
az USA-város kategóriában!

00:14:59.596 --> 00:15:02.497
A lenyűgöző rendszer olyan hibát ejtett,

00:15:02.521 --> 00:15:06.172
amilyet ember sosem tenne,
egy másodikos gyerek sem.

NOTE Paragraph

00:15:06.823 --> 00:15:09.932
A gépi intelligenciánk

00:15:09.956 --> 00:15:13.056
olyan módon hibázhat, ami nem 
hasonlít az emberi hibamintákra,

00:15:13.080 --> 00:15:16.030
olyan módon, amire nem számítunk,
nem vagyunk rá felkészülve.

00:15:16.054 --> 00:15:19.692
Ronda dolog lenne lemaradni egy munkáról,
amire megvan a képesítésünk,

00:15:19.716 --> 00:15:22.447
de háromszoros szívás lenne,

00:15:22.477 --> 00:15:24.899
ha ezt egy szubrutinban
túlcsordult verem okozná.

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
(Nevetés)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
2010 májusában

00:15:29.336 --> 00:15:33.380
a Wall Street villámkrachja,
amit a tőzsdei „eladási” algoritmus

00:15:33.404 --> 00:15:36.432
visszacsatolási hurka okozott,

00:15:36.456 --> 00:15:40.640
egybillió dollárnyi értéket
tett semmivé 36 perc alatt.

00:15:41.722 --> 00:15:43.909
Bele sem akarok gondolni,
mit jelent a „hiba”

00:15:43.933 --> 00:15:47.522
az autonóm halálos fegyverekkel
összefüggésben.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
Igen, az emberek mindig
részrehajlók voltak.

00:15:53.708 --> 00:15:55.884
Döntéshozók és kapuőrök

00:15:55.908 --> 00:15:59.401
a bíróságokon, hírekben, háborúban...

00:15:59.425 --> 00:16:02.463
hibáznak; de éppen erről beszélek.

00:16:02.487 --> 00:16:06.008
Nem szabadulhatunk meg
e fogós kérdésektől.

00:16:06.596 --> 00:16:10.112
Nem szervezhetjük ki
felelősségünket gépekbe.

NOTE Paragraph

00:16:10.676 --> 00:16:14.884
(Taps)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
A mesterséges intelligencia nem
ment föl az etikus gondolkodás alól.

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
Fred Benenson adatkutató
„math-washing”-nak nevezi ezt.

00:16:26.147 --> 00:16:27.536
Az ellenkezője szükséges.

00:16:27.560 --> 00:16:32.948
Gyanakodnunk kell az algoritmusokra,
és vizsgálnunk kell őket.

00:16:33.380 --> 00:16:36.578
Gondoskodnunk kell róla, 
hogy az algoritmusok számon kérhetők,

00:16:36.602 --> 00:16:39.047
auditálhatók és észszerűen
átláthatók legyenek.

00:16:39.380 --> 00:16:42.614
El kell fogadnunk, hogy a matek 
és az informatika bevonása

00:16:42.638 --> 00:16:45.608
a zavaros, értékeket hordozó emberi
viszonyokba

00:16:45.632 --> 00:16:48.016
nem eredményez objektivitást;

00:16:48.040 --> 00:16:51.673
ehelyett az emberi viszonyok
komplexitása átitatja az algoritmust.

00:16:52.148 --> 00:16:55.635
Igen, lehet és kell használnunk
az informatikát,

00:16:55.659 --> 00:16:57.673
hogy segítsen jobb döntéseket hozni.

00:16:57.697 --> 00:17:03.029
De ítéleteinkért az erkölcsi felelősséget
nekünk kell viselnünk,

00:17:03.053 --> 00:17:05.871
és az algoritmusokat azon
keretek között kell használnunk,

00:17:05.895 --> 00:17:10.830
nem pedig arra, hogy lemondjunk
az egymás iránti felelősségünkről,

00:17:10.854 --> 00:17:13.308
és azt kiszervezzük.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
A gépi intelligencia megérkezett.

00:17:16.440 --> 00:17:19.861
Ez azt jelenti, hogy még szigorúbban
kell ragaszkodnunk

00:17:19.885 --> 00:17:22.032
az emberi értékekhez és etikához.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Köszönöm.

NOTE Paragraph

00:17:23.234 --> 00:17:28.254
(Taps) (Üdvrivalgás)