1
00:00:00,739 --> 00:00:04,861
Az első munkám számítógép-programozás volt

2
00:00:04,885 --> 00:00:06,841
a főiskola legelső évében,

3
00:00:06,865 --> 00:00:08,372
amit még tizenévesként kezdtem.

4
00:00:08,889 --> 00:00:10,621
Kezdésem után nem sokkal

5
00:00:10,645 --> 00:00:12,255
szoftvereket írtam egy cégnek,

6
00:00:12,799 --> 00:00:16,434
amikor a cég egyik főnök odajött hozzám,

7
00:00:16,458 --> 00:00:17,726
és suttogva megkérdezte:

8
00:00:18,229 --> 00:00:21,090
"Ő tudja-e, ha hazudok?"

9
00:00:21,806 --> 00:00:23,883
Senki más nem volt a szobában.

10
00:00:25,032 --> 00:00:29,421
"Kicsoda tudja-e, ha hazudsz?
És miért suttogunk?"

11
00:00:30,266 --> 00:00:33,373
A főnök a szobában lévő 
számítógépre mutatott.

12
00:00:33,397 --> 00:00:36,493
"Ő tudja-e, ha hazudok?"

13
00:00:37,613 --> 00:00:41,975
Hát, ennek a főnöknek
viszonya volt a recepcióssal.

14
00:00:41,999 --> 00:00:43,111
(Nevetés)

15
00:00:43,135 --> 00:00:44,901
És én még csak tizenéves voltam.

16
00:00:45,447 --> 00:00:47,466
Hangosan visszasuttogtam:

17
00:00:47,490 --> 00:00:51,114
"Igen, a számítógép tudja, mikor hazudsz."

18
00:00:51,138 --> 00:00:52,944
(Nevetés)

19
00:00:52,968 --> 00:00:55,891
Kinevettem, de igazából
engem kellene kinevetni.

20
00:00:55,915 --> 00:00:59,183
Manapság olyan számítógépes
rendszerek vannak,

21
00:00:59,207 --> 00:01:02,755
amelyek kiszimatolják az érzelmi 
állapotot, sőt a hazugságot is

22
00:01:02,779 --> 00:01:04,823
az emberi arc tanulmányozásából.

23
00:01:05,248 --> 00:01:09,401
A reklámozók és a hatóságok is
erősen érdeklődnek irántuk.

24
00:01:10,319 --> 00:01:12,181
Azért lettem számítógép-programozó,

25
00:01:12,205 --> 00:01:15,318
mert gyerekként megőrültem
a matekért és a tudományért.

26
00:01:15,942 --> 00:01:19,050
De valamikor később tudomást
szereztem a nukleáris fegyverekről,

27
00:01:19,074 --> 00:01:22,026
és komolyan aggódni kezdtem
a tudomány etikájáért.

28
00:01:22,050 --> 00:01:23,254
Zavarban voltam.

29
00:01:23,278 --> 00:01:25,919
Ám családi körülményeim miatt

30
00:01:25,943 --> 00:01:29,241
minél hamarabb munkába kellett állnom.

31
00:01:29,265 --> 00:01:32,564
Úgyhogy azt gondoltam magamban:
választok egy műszaki területet,

32
00:01:32,588 --> 00:01:34,384
ahol könnyen találok munkát,

33
00:01:34,408 --> 00:01:38,426
és ahol nem kell foglalkoznom
semmilyen zavaró etikai kérdéssel.

34
00:01:39,022 --> 00:01:40,551
A számítógépeket választottam.

35
00:01:40,575 --> 00:01:41,679
(Nevetés)

36
00:01:41,703 --> 00:01:45,113
Hát, ha-ha-ha! Ki lehet engem nevetni.

37
00:01:45,137 --> 00:01:47,891
Manapság az informatikusok
olyan felületeket építenek,

38
00:01:47,915 --> 00:01:52,124
amelyek azt irányítják,
amit egymilliárd ember naponta lát.

39
00:01:53,052 --> 00:01:56,874
Autókat fejlesztenek,
amelyek eldönthetik, kit ütnek el.

40
00:01:57,707 --> 00:02:00,920
Sőt, gépeket és fegyvereket gyártanak,

41
00:02:00,944 --> 00:02:03,229
amelyek háborúban 
embereket ölhetnek meg.

42
00:02:03,253 --> 00:02:06,024
Etika végestelen végig.

43
00:02:07,183 --> 00:02:09,241
A gépi intelligencia megérkezett.

44
00:02:09,823 --> 00:02:13,297
Ma a számítástechnikát
mindenféle döntésre használjuk,

45
00:02:13,321 --> 00:02:15,207
újfajta döntésekre is.

46
00:02:15,231 --> 00:02:20,403
Olyan kérdéseket teszünk fel a gépeknek,
amelyekre nincs egyetlen helyes válasz,

47
00:02:20,427 --> 00:02:21,629
szubjektív,

48
00:02:21,653 --> 00:02:23,978
nyitott és fontos kérdéseket.

49
00:02:24,002 --> 00:02:25,760
Ilyen kérdéseket teszünk fel:

50
00:02:25,784 --> 00:02:27,434
„Kit alkalmazzon a cég?”,

51
00:02:28,096 --> 00:02:30,855
„Melyik ismerős melyik frissítését
mutassuk meg neked?”,

52
00:02:30,879 --> 00:02:33,405
„Melyik elítéltről valószínűbb,
hogy újból bűnözik?”,

53
00:02:33,514 --> 00:02:36,568
„Melyik hírt vagy mozifilmet
ajánljuk az embereknek?”

54
00:02:36,592 --> 00:02:39,964
Már használjuk egy ideje a számítógépeket,

55
00:02:39,988 --> 00:02:41,505
de ez most más.

56
00:02:41,529 --> 00:02:43,280
Ez történelmi fordulat,

57
00:02:43,520 --> 00:02:48,957
mert a számítástechnikát nem tudjuk
úgy kötni e szubjektív döntésekhez,

58
00:02:48,981 --> 00:02:54,401
ahogy összekapcsoljuk a légi
közlekedéssel, a hídépítéssel,

59
00:02:54,425 --> 00:02:55,684
a holdra szállással.

60
00:02:56,449 --> 00:02:59,708
Biztonságosabbak a repülőgépek?
Kilengett és összedőlt a híd?

61
00:02:59,732 --> 00:03:04,230
Ott vannak egyeztetett,
elég világos viszonyítási alapjaink,

62
00:03:04,254 --> 00:03:06,493
és a természet törvényei irányítanak.

63
00:03:06,517 --> 00:03:09,911
A zűrös emberi viszonyokra
vonatkozó döntésekhez

64
00:03:09,935 --> 00:03:13,898
nincsenek ilyen kapcsolódási
és viszonyítási pontjaink.

65
00:03:14,452 --> 00:03:18,159
Hogy bonyolítsa a dolgokat,
szoftverünk egyre erősebb,

66
00:03:18,183 --> 00:03:21,956
ugyanakkor kevésbé átlátható
és egyre bonyolultabb lesz.

67
00:03:22,542 --> 00:03:24,582
Nemrég, az elmúlt évtizedben,

68
00:03:24,606 --> 00:03:27,335
a komplex algoritmusok
nagyot léptek előre.

69
00:03:27,359 --> 00:03:29,349
Emberi arcokat ismernek fel.

70
00:03:29,985 --> 00:03:32,040
Kézírást silabizálnak ki.

71
00:03:32,436 --> 00:03:34,502
Hitelkártyacsalásokat ismernek fel,

72
00:03:34,526 --> 00:03:35,715
spamet szűrnek ki,

73
00:03:35,739 --> 00:03:37,776
és egyik nyelvről a másikra fordítanak.

74
00:03:37,800 --> 00:03:40,374
Az orvosi képalkotásban
daganatokat ismernek fel.

75
00:03:40,398 --> 00:03:42,603
Megverik az embert sakkban és <i>gó</i>ban.

76
00:03:43,264 --> 00:03:47,768
A haladás zöme az ún. „gépi tanulás”
módszerének köszönhető.

77
00:03:48,175 --> 00:03:51,362
A gépi tanulás különbözik
a hagyományos programozástól,

78
00:03:51,386 --> 00:03:54,971
ahol a számítógépnek részletes,
pontos, precíz utasításokat adunk.

79
00:03:55,378 --> 00:03:59,560
Inkább olyan, hogy egy rendszerbe
beletöltünk egy csomó adatot,

80
00:03:59,584 --> 00:04:01,240
strukturálatlan adatokat is,

81
00:04:01,264 --> 00:04:03,542
amilyeneket digitális életünk hoz létre.

82
00:04:03,566 --> 00:04:06,296
A rendszer az adatok átfésüléséből tanul.

83
00:04:06,669 --> 00:04:08,195
Még egy alapvető dolog:

84
00:04:08,219 --> 00:04:12,599
e rendszerek nem az egyetlen 
válasz logikáját követik.

85
00:04:12,623 --> 00:04:15,582
Nem egy egyszerű választ
szűrnek le, inkább valószínűséget:

86
00:04:15,606 --> 00:04:19,089
„Ez inkább hasonlít arra, amit keresel.”

87
00:04:20,023 --> 00:04:23,093
A jó dolog ebben az,
hogy a módszer valóban hatásos.

88
00:04:23,117 --> 00:04:25,193
A Google MI-rendszer vezetője így nevezte:

89
00:04:25,217 --> 00:04:27,414
„az adatok észszerűtlen hatékonysága”.

90
00:04:27,791 --> 00:04:29,144
A hátránya,

91
00:04:29,738 --> 00:04:32,809
hogy nemigen értjük,
mit tanult a rendszer.

92
00:04:32,833 --> 00:04:34,420
Valójában ez az erőssége.

93
00:04:34,946 --> 00:04:38,744
Ez nem olyan, mint amikor utasításokat 
adunk egy számítógépnek,

94
00:04:39,200 --> 00:04:43,264
inkább olyan, mintha kiképeznénk
egy gép-kutyus-szerű lényt,

95
00:04:43,288 --> 00:04:45,659
akit nemigen értünk,
és nem tudunk irányítani.

96
00:04:46,362 --> 00:04:47,913
Ez a gondunk.

97
00:04:48,427 --> 00:04:52,689
Gond, ha ez az MI-rendszer valamit elszúr.

98
00:04:52,713 --> 00:04:56,253
Az is, ha nem szúrja el,

99
00:04:56,277 --> 00:04:59,905
mert nem is tudjuk, mi micsoda.
ha szubjektív kérdésről van szó.

100
00:04:59,929 --> 00:05:02,268
Nem tudjuk, mit gondol ez a dolog.

101
00:05:03,493 --> 00:05:07,176
Vegyünk egy felvételi algoritmust,

102
00:05:08,123 --> 00:05:12,434
azaz felvételre való rendszert,
amely gépi tanulási rendszert használ.

103
00:05:13,052 --> 00:05:16,631
A rendszert az eddigi alkalmazottak
adatain tanították be,

104
00:05:16,655 --> 00:05:19,246
és arra utasították, hogy a cég jelenlegi

105
00:05:19,270 --> 00:05:22,308
jól teljesítő embereihez hasonlókat
találjon és alkalmazzon.

106
00:05:22,814 --> 00:05:23,967
Jól hangzik.

107
00:05:23,991 --> 00:05:25,990
Részt vettem egyszer egy konferencián,

108
00:05:26,014 --> 00:05:29,139
ahol humánerőforrás-ügyintézők
és -vezetők gyűltek össze,

109
00:05:29,163 --> 00:05:30,313
magas rangú emberek,

110
00:05:30,313 --> 00:05:32,032
ők ilyeneket használtak felvételhez.

111
00:05:32,032 --> 00:05:33,622
Rendkívül izgatottak voltak.

112
00:05:33,646 --> 00:05:38,299
Azt gondolták, hogy ez objektívabbá,
pártatlanabbá teszi a felvételt,

113
00:05:38,323 --> 00:05:41,323
és jobb esélyt ad nőknek
és a kisebbségeknek

114
00:05:41,347 --> 00:05:43,535
a részrehajló ügyintézőkkel szemben.

115
00:05:43,559 --> 00:05:46,402
De az emberek felvétele részrehajló.

116
00:05:47,099 --> 00:05:48,284
Én tudom.

117
00:05:48,308 --> 00:05:51,313
Az egyik korai munkahelyemen
programozóként dolgoztam,

118
00:05:51,337 --> 00:05:55,205
és a kisfőnököm néha odajött hozzám

119
00:05:55,229 --> 00:05:58,982
nagyon korán reggel
vagy nagyon késő délután,

120
00:05:59,006 --> 00:06:02,068
és azt mondta: „Zeynep, menjünk ebédelni!”

121
00:06:02,724 --> 00:06:04,891
Meglepett a fura időzítés.

122
00:06:04,915 --> 00:06:07,044
Délután négykor ebédeljünk?

123
00:06:07,068 --> 00:06:10,162
Le voltam égve, ingyenes az ebéd...
Mindig vele mentem.

124
00:06:10,618 --> 00:06:12,685
Később rájöttem, mi történt.

125
00:06:12,709 --> 00:06:17,255
Kisfőnökeim nem vallották
be feletteseiknek,

126
00:06:17,279 --> 00:06:20,392
hogy a komoly munkára
felvett programozó egy tinilány,

127
00:06:20,416 --> 00:06:24,346
aki farmerben és surranóban jár munkába.

128
00:06:25,174 --> 00:06:27,376
Jól dolgoztam, de nem néztem ki elég jól,

129
00:06:27,400 --> 00:06:29,099
nem felelt meg a korom és a nemem.

130
00:06:29,123 --> 00:06:32,469
Ezért egy nemtől és rassztól
független felvétel

131
00:06:32,493 --> 00:06:34,358
jól hangzik nekem.

132
00:06:35,031 --> 00:06:38,372
De elmondom, hogy e rendszerekkel
a helyzet ennél miért bonyolultabb,

133
00:06:38,968 --> 00:06:44,759
Ma már a számítógép-rendszerek mindenfélét
ki tudnak következtetni rólunk

134
00:06:44,783 --> 00:06:46,655
a digitális morzsáinkból,

135
00:06:46,679 --> 00:06:49,012
még akkor is, ha nem
hoztuk nyilvánosságra őket.

136
00:06:49,506 --> 00:06:52,433
Ki tudják következtetni
nemi orientációnkat,

137
00:06:52,994 --> 00:06:54,300
személyiségjegyeinket,

138
00:06:54,859 --> 00:06:56,232
politikai szimpátiáinkat.

139
00:06:56,830 --> 00:07:00,515
Előrejelző erejük nagy fokú
pontossággal párosul.

140
00:07:01,362 --> 00:07:03,940
Figyelem: olyan dolgokról,
amelyeket nem is közöltünk.

141
00:07:03,964 --> 00:07:05,555
Ez a kikövetkeztetés.

142
00:07:05,579 --> 00:07:08,840
Egyik barátnőm olyan számítógépes
rendszereket fejlesztett,

143
00:07:08,864 --> 00:07:12,505
amelyek előrejelzik a szülés utáni
vagy a súlyos depresszió valószínűségét

144
00:07:12,529 --> 00:07:13,945
a közösségi média adataiból.

145
00:07:14,676 --> 00:07:16,103
Az eredmények lenyűgözőek.

146
00:07:16,492 --> 00:07:19,849
Rendszere előrejelzi
a depresszió valószínűségét

147
00:07:19,873 --> 00:07:23,776
hónapokkal a tünetek megjelenése előtt.

148
00:07:23,800 --> 00:07:25,173
Hónapokkal előtte!

149
00:07:25,197 --> 00:07:27,443
Nincs még tünet, de előrejelzés már van.

150
00:07:27,467 --> 00:07:32,279
Barátnőm reméli, hogy felhasználják 
majd a korai beavatkozáshoz. Nagyszerű!

151
00:07:32,911 --> 00:07:34,951
De nézzük ezt a felvételi szempontjából!

152
00:07:36,027 --> 00:07:39,073
Az említett humánerőforrás-konferencián

153
00:07:39,097 --> 00:07:43,806
odamentem az egyik óriási cég
magas rangú vezetőjéhez,

154
00:07:43,830 --> 00:07:48,408
és megkérdeztem tőle:
„M van, ha az ön tudta nélkül

155
00:07:48,432 --> 00:07:52,761
rendszerük kiszűri azokat,

156
00:07:52,761 --> 00:07:59,171
akiknél a depresszió jövőbeni
valószínűsége nagy?

157
00:07:59,653 --> 00:08:02,139
Mi van, ha kiszűri azokat,
akik egy-két éven belül

158
00:08:02,139 --> 00:08:05,939
valószínűleg teherbe esnek,
de most nem terhesek?

159
00:08:06,844 --> 00:08:12,480
Mi van, ha agresszív embereket vesz fel,
mert a munkahelyi kultúrába beleillenek?"

160
00:08:13,173 --> 00:08:15,954
Ez nem derül ki a nemek 
szerinti bontásból.

161
00:08:15,954 --> 00:08:17,280
Az lehet, hogy rendben van.

162
00:08:17,414 --> 00:08:20,971
Mivel ez gépi tanulás,
nem hagyományos kódolás,

163
00:08:20,995 --> 00:08:25,902
nincs „magas depressziókockázat”,

164
00:08:25,926 --> 00:08:27,759
„magas terhességi kockázat”,

165
00:08:27,783 --> 00:08:29,537
„agresszív pasi skála” nevű változó.

166
00:08:29,995 --> 00:08:33,674
Nemcsak azt nem tudjuk,
mi alapján választ a rendszer,

167
00:08:33,698 --> 00:08:36,021
hanem azt sem, hol kezd el keresni.

168
00:08:36,045 --> 00:08:37,291
Ez egy fekete doboz.

169
00:08:37,315 --> 00:08:40,122
Előrejelző ereje van, de nem értjük.

170
00:08:40,486 --> 00:08:42,855
„Mi a biztosíték rá – kérdeztem,

171
00:08:42,879 --> 00:08:46,552
hogy a fekete doboz nem 
csinál valami kétes dolgot?”

172
00:08:48,863 --> 00:08:52,741
Úgy nézett rám, mintha megöltem
volna a tanácselnököt.

173
00:08:52,765 --> 00:08:54,013
(Nevetés)

174
00:08:54,037 --> 00:08:56,078
Bámult rám, majd azt mondta:

175
00:08:56,556 --> 00:09:00,889
„Nem akarok erről hallani
többet egy szót sem”.

176
00:09:01,458 --> 00:09:03,492
Sarkon fordult, és elment.

177
00:09:04,064 --> 00:09:05,550
Megjegyezném: nem volt durva.

178
00:09:05,574 --> 00:09:11,882
Világos volt: amiről nem tudok, az nem
az én problémám, lelépek, bután nézek.

179
00:09:11,906 --> 00:09:13,152
(Nevetés)

180
00:09:13,862 --> 00:09:17,701
Egy ilyen rendszer, lehet,
hogy kevésbé részrehajló,

181
00:09:17,725 --> 00:09:19,828
mint bizonyos esetekben az ügyintézők.

182
00:09:19,852 --> 00:09:21,998
Pénzügyileg megérheti.

183
00:09:22,573 --> 00:09:24,223
De ahhoz vezethet,

184
00:09:24,247 --> 00:09:28,995
hogy folyamatosan és alattomosan
kizárja a munkaerőpiacról

185
00:09:29,019 --> 00:09:31,312
a magas depressziókockázatúakat.

186
00:09:31,753 --> 00:09:34,349
Ilyenfajta társadalmat akarunk építeni,

187
00:09:34,373 --> 00:09:36,658
még ha tudtunkon kívül is,

188
00:09:36,682 --> 00:09:40,646
csak mert olyan gépeknek adtuk át
a döntéshozatalt, amelyeket nem is értünk?

189
00:09:41,265 --> 00:09:42,723
Egy másik nehézség:

190
00:09:43,314 --> 00:09:47,766
a rendszerek tanítása gyakran 
tetteinkből létrehozott adatokkal,

191
00:09:47,790 --> 00:09:49,606
emberi lenyomatokkal történik.

192
00:09:50,188 --> 00:09:53,996
Lehet, hogy ezek
tükrözik részrehajlásunkat,

193
00:09:54,020 --> 00:09:57,613
és a rendszerek eltanulják őket,

194
00:09:57,637 --> 00:09:58,950
felerősítik,

195
00:09:58,974 --> 00:10:00,392
és visszatükrözik nekünk,

196
00:10:00,416 --> 00:10:01,878
miközben azt mondjuk magunknak

197
00:10:01,902 --> 00:10:04,699
„Mi csak objektív, semleges
számítástechnikát gyakorlunk.”

198
00:10:06,314 --> 00:10:09,611
Kutatók kimutatták, hogy a Google
nőknek kisebb valószínűséggel mutat

199
00:10:10,134 --> 00:10:15,383
jól fizetett állásokról szóló
hirdetéseket, mint férfiaknak.

200
00:10:16,463 --> 00:10:18,993
Ha afroamerikai nevekre keresünk,

201
00:10:19,017 --> 00:10:23,723
gyakrabban hoz fel büntetett
előéletet sejtető reklámokat,

202
00:10:23,747 --> 00:10:25,314
akkor is, ha nincs ilyenről szó.

203
00:10:26,693 --> 00:10:30,242
Az ilyen rejtett részrehajlásokat
és „fekete doboz” algoritmusokat

204
00:10:30,266 --> 00:10:34,239
olykor felfedik a kutatók,
de néha nem tudunk róluk,

205
00:10:34,263 --> 00:10:36,924
pedig következményeik
megváltoztathatják az életet.

206
00:10:37,958 --> 00:10:42,117
Wisconsinban egy vádlottat
hat év börtönre ítéltek,

207
00:10:42,141 --> 00:10:43,646
mert kijátszotta a rendőröket.

208
00:10:44,824 --> 00:10:46,670
Tán nem tudják: szabadlábra helyezési

209
00:10:46,680 --> 00:10:50,032
és büntetési döntésekhez egyre
gyakrabban használnak algoritmust.

210
00:10:50,056 --> 00:10:53,011
Ez az ember meg akarta tudni,
hogyan számítják a pontszámot.

211
00:10:53,795 --> 00:10:55,460
Ez egy kereskedelmi fekete doboz.

212
00:10:55,484 --> 00:10:59,689
A cég visszautasította, hogy nyilvános
bíróság elé vigyék az algoritmusát.

213
00:11:00,396 --> 00:11:05,928
De a ProPublica nonprofit
nyomozó szervezet auditálta az algoritmust

214
00:11:05,952 --> 00:11:07,968
a hozzáférhető nyilvános adatokkal,

215
00:11:07,992 --> 00:11:10,308
és az eredményeket részrehajlónak találta,

216
00:11:10,332 --> 00:11:13,961
az előrejelző képességét pedig
pocséknak, alig jobbnak a véletlennél,

217
00:11:13,985 --> 00:11:18,401
kétszer olyan gyakran jelölte hibásan
leendő bűnözőnek a fekete,

218
00:11:18,425 --> 00:11:22,320
mint a fehér elítélteket.

219
00:11:23,891 --> 00:11:25,455
Vegyünk egy másik esetet:

220
00:11:26,103 --> 00:11:29,955
egy nőnek el kellett hoznia keresztlányát

221
00:11:29,979 --> 00:11:32,054
az iskolából a floridai Broward megyében.

222
00:11:32,757 --> 00:11:35,113
Késésben volt, rohant
az utcán a barátnőjével.

223
00:11:35,137 --> 00:11:39,236
Egy tornácon lezáratlan
gyerekbiciklit és rollert láttak meg,

224
00:11:39,260 --> 00:11:40,892
meggondolatlanul felugrottak rá.

225
00:11:40,916 --> 00:11:43,515
Ahogy elhajtottak,
kijött egy nő, s azt kiáltotta:

226
00:11:43,539 --> 00:11:45,744
„Hé! Az a gyerek biciklije!”

227
00:11:45,768 --> 00:11:49,062
Eldobták, továbbmentek,
de letartóztatták őket.

228
00:11:49,086 --> 00:11:52,723
Rosszat tett, őrültség volt,
de csak 18 éves volt.

229
00:11:52,747 --> 00:11:55,291
Volt néhány fiatalkori kihágása.

230
00:11:55,808 --> 00:12:00,993
Ugyanakkor letartóztattak egy férfit
85 dollár értékű áruházi lopásért,

231
00:12:01,017 --> 00:12:03,941
ez egy hasonló kisebb vétség.

232
00:12:04,766 --> 00:12:09,325
Volt viszont két korábbi
ítélete fegyveres rablásért.

233
00:12:09,955 --> 00:12:13,437
Az algoritmus mégis a nőt értékelte
magas kockázatúnak, nem a férfit.

234
00:12:14,746 --> 00:12:18,620
Két évvel később a ProPublica azt találta,
hogy a nő nem követett el új vétséget.

235
00:12:18,644 --> 00:12:21,194
Csak nehéz volt munkát találnia
a priusza miatt.

236
00:12:21,218 --> 00:12:23,294
A férfi viszont visszaeső volt,

237
00:12:23,318 --> 00:12:27,154
és most nyolcéves büntetését tölti
egy későbbi bűncselekmény miatt.

238
00:12:28,088 --> 00:12:31,457
Világos, hogy auditálnunk kell
a fekete dobozainkat,

239
00:12:31,481 --> 00:12:34,096
s nem engedhetjük, hogy ilyen
korlátlan hatalmuk legyen.

240
00:12:34,120 --> 00:12:36,999
(Taps)

241
00:12:38,087 --> 00:12:42,329
Az auditok nagyszerűek és fontosak,
de nem oldják meg minden gondunkat.

242
00:12:42,353 --> 00:12:45,101
Vegyük a Facebook hatásos
hírválogató algoritmusát,

243
00:12:45,125 --> 00:12:49,968
azt, amelyik mindent sorba rak,
és eldönti, mit mutasson meg nekünk

244
00:12:49,992 --> 00:12:52,276
az összes követett ismerős és oldal közül.

245
00:12:52,898 --> 00:12:55,173
Mutasson még egy kisbabás képet?

246
00:12:55,197 --> 00:12:56,393
(Nevetés)

247
00:12:56,417 --> 00:12:59,013
Egy ismerős morcos megjegyzését?

248
00:12:59,449 --> 00:13:01,305
Egy fontos, de fajsúlyos hírt?

249
00:13:01,329 --> 00:13:02,811
Nincs helyes válasz.

250
00:13:02,835 --> 00:13:05,494
A Facebook az oldalon zajló
tevékenységre optimalizál:

251
00:13:05,518 --> 00:13:06,933
lájk, megosztás, komment.

252
00:13:08,168 --> 00:13:10,864
2014 augusztusában

253
00:13:10,888 --> 00:13:13,550
tüntetések törtek ki a Missouribeli
Fergusonban,

254
00:13:13,574 --> 00:13:17,991
miután egy fehér rendőr lelőtt 
egy afroamerikai tinédzsert,

255
00:13:18,015 --> 00:13:19,585
gyanús körülmények között.

256
00:13:19,974 --> 00:13:21,981
Tele volt a tüntetések híreivel

257
00:13:22,005 --> 00:13:24,690
az algoritmussal nem szűrt Twitter-fiókom,

258
00:13:24,714 --> 00:13:26,664
de a Facebookon nem volt semmi.

259
00:13:27,182 --> 00:13:28,916
A Facebook-ismerőseim az oka?

260
00:13:28,940 --> 00:13:30,972
Kikapcsoltam a Facebook algoritmusát,

261
00:13:31,472 --> 00:13:34,320
ami nehéz, mert a Facebook
azt akarja,

262
00:13:34,344 --> 00:13:36,380
hogy az algoritmus irányítson minket.

263
00:13:36,404 --> 00:13:38,642
Láttam, hogy az ismerőseim
beszélgetnek róla.

264
00:13:38,666 --> 00:13:41,175
Csakhogy az algoritmus azt
nem mutatta meg nekem.

265
00:13:41,199 --> 00:13:44,241
Kutattam utána, és azt találtam,
hogy ez egy elterjedt probléma.

266
00:13:44,265 --> 00:13:48,078
A fergusoni sztori nem volt
szimpatikus az algoritmusnak.

267
00:13:48,102 --> 00:13:49,273
Nem lájkolható.

268
00:13:49,297 --> 00:13:50,849
Ki fog a lájkra kattintani?

269
00:13:51,500 --> 00:13:53,706
Még kommentelni sem könnyű.

270
00:13:53,730 --> 00:13:55,101
Lájkok és kommentek nélkül

271
00:13:55,125 --> 00:13:58,617
az algoritmus egyre kisebb valószínűséggel
mutatta egyre kevesebbeknek,

272
00:13:58,637 --> 00:13:59,983
így nem láthattuk meg.

273
00:14:00,946 --> 00:14:02,174
Ehelyett azon a héten

274
00:14:02,198 --> 00:14:04,496
a Facebook algoritmusa előtérbe helyezte

275
00:14:04,520 --> 00:14:06,746
az ALS jeges vödör kihívást.

276
00:14:06,770 --> 00:14:10,512
Nemes cél: önts magadra jeges vizet,
és adakozz; rendben.

277
00:14:10,536 --> 00:14:12,440
Ez szimpatikus volt az algoritmusnak.

278
00:14:13,219 --> 00:14:15,832
A gép ezt helyettünk döntötte el.

279
00:14:15,856 --> 00:14:19,353
Egy igen fontos, de nehéz beszélgetést

280
00:14:19,377 --> 00:14:20,932
fojtott volna el,

281
00:14:20,956 --> 00:14:23,652
ha a Facebook lett volna
az egyetlen csatorna.

282
00:14:24,117 --> 00:14:27,914
S végül, e rendszerek úgy is hibázhatnak,

283
00:14:27,938 --> 00:14:30,674
ami nem hasonlít az emberi rendszerekre.

284
00:14:30,698 --> 00:14:33,584
Emlékeznek a Watsonra,
az IBM gépi intelligencia rendszerére,

285
00:14:33,584 --> 00:14:36,872
amelyik felmosta a padlót a "Mindent
vagy semmit" kvíz versenyzőivel?

286
00:14:37,131 --> 00:14:38,559
Nagyszerű játékos volt.

287
00:14:38,583 --> 00:14:42,152
De az utolsó fordulóban a következő
kérdést tették fel a Watsonnak:

288
00:14:42,659 --> 00:14:45,591
„Legnagyobb repterét egy
II. világháborús hősről nevezték el,

289
00:14:45,615 --> 00:14:47,867
a másodikat egy II. 
világháborús csatáról.”

290
00:14:47,891 --> 00:14:49,269
(Dúdolja a kvíz zenéjét)

291
00:14:49,582 --> 00:14:50,764
Chicago.

292
00:14:50,788 --> 00:14:52,158
A két ember eltalálta.

293
00:14:52,697 --> 00:14:57,045
A Watson válasza viszont Toronto volt –

294
00:14:57,069 --> 00:14:58,887
az USA-város kategóriában!

295
00:14:59,596 --> 00:15:02,497
A lenyűgöző rendszer olyan hibát ejtett,

296
00:15:02,521 --> 00:15:06,172
amilyet ember sosem tenne,
egy másodikos gyerek sem.

297
00:15:06,823 --> 00:15:09,932
A gépi intelligenciánk

298
00:15:09,956 --> 00:15:13,056
olyan módon hibázhat, ami nem 
hasonlít az emberi hibamintákra,

299
00:15:13,080 --> 00:15:16,030
olyan módon, amire nem számítunk,
nem vagyunk rá felkészülve.

300
00:15:16,054 --> 00:15:19,692
Ronda dolog lenne lemaradni egy munkáról,
amire megvan a képesítésünk,

301
00:15:19,716 --> 00:15:22,447
de háromszoros szívás lenne,

302
00:15:22,477 --> 00:15:24,899
ha ezt egy szubrutinban
túlcsordult verem okozná.

303
00:15:24,923 --> 00:15:26,502
(Nevetés)

304
00:15:26,526 --> 00:15:29,312
2010 májusában

305
00:15:29,336 --> 00:15:33,380
a Wall Street villámkrachja,
amit a tőzsdei „eladási” algoritmus

306
00:15:33,404 --> 00:15:36,432
visszacsatolási hurka okozott,

307
00:15:36,456 --> 00:15:40,640
egybillió dollárnyi értéket
tett semmivé 36 perc alatt.

308
00:15:41,722 --> 00:15:43,909
Bele sem akarok gondolni,
mit jelent a „hiba”

309
00:15:43,933 --> 00:15:47,522
az autonóm halálos fegyverekkel
összefüggésben.

310
00:15:49,894 --> 00:15:53,684
Igen, az emberek mindig
részrehajlók voltak.

311
00:15:53,708 --> 00:15:55,884
Döntéshozók és kapuőrök

312
00:15:55,908 --> 00:15:59,401
a bíróságokon, hírekben, háborúban...

313
00:15:59,425 --> 00:16:02,463
hibáznak; de éppen erről beszélek.

314
00:16:02,487 --> 00:16:06,008
Nem szabadulhatunk meg
e fogós kérdésektől.

315
00:16:06,596 --> 00:16:10,112
Nem szervezhetjük ki
felelősségünket gépekbe.

316
00:16:10,676 --> 00:16:14,884
(Taps)

317
00:16:17,089 --> 00:16:21,536
A mesterséges intelligencia nem
ment föl az etikus gondolkodás alól.

318
00:16:22,742 --> 00:16:26,123
Fred Benenson adatkutató
„math-washing”-nak nevezi ezt.

319
00:16:26,147 --> 00:16:27,536
Az ellenkezője szükséges.

320
00:16:27,560 --> 00:16:32,948
Gyanakodnunk kell az algoritmusokra,
és vizsgálnunk kell őket.

321
00:16:33,380 --> 00:16:36,578
Gondoskodnunk kell róla, 
hogy az algoritmusok számon kérhetők,

322
00:16:36,602 --> 00:16:39,047
auditálhatók és észszerűen
átláthatók legyenek.

323
00:16:39,380 --> 00:16:42,614
El kell fogadnunk, hogy a matek 
és az informatika bevonása

324
00:16:42,638 --> 00:16:45,608
a zavaros, értékeket hordozó emberi
viszonyokba

325
00:16:45,632 --> 00:16:48,016
nem eredményez objektivitást;

326
00:16:48,040 --> 00:16:51,673
ehelyett az emberi viszonyok
komplexitása átitatja az algoritmust.

327
00:16:52,148 --> 00:16:55,635
Igen, lehet és kell használnunk
az informatikát,

328
00:16:55,659 --> 00:16:57,673
hogy segítsen jobb döntéseket hozni.

329
00:16:57,697 --> 00:17:03,029
De ítéleteinkért az erkölcsi felelősséget
nekünk kell viselnünk,

330
00:17:03,053 --> 00:17:05,871
és az algoritmusokat azon
keretek között kell használnunk,

331
00:17:05,895 --> 00:17:10,830
nem pedig arra, hogy lemondjunk
az egymás iránti felelősségünkről,

332
00:17:10,854 --> 00:17:13,308
és azt kiszervezzük.

333
00:17:13,807 --> 00:17:16,416
A gépi intelligencia megérkezett.

334
00:17:16,440 --> 00:17:19,861
Ez azt jelenti, hogy még szigorúbban
kell ragaszkodnunk

335
00:17:19,885 --> 00:17:22,032
az emberi értékekhez és etikához.

336
00:17:22,056 --> 00:17:23,210
Köszönöm.

337
00:17:23,234 --> 00:17:28,254
(Taps) (Üdvrivalgás)