0:00:00.739,0:00:04.861
Ik begon mijn eerste baan [br]als computerprogrammeur

0:00:04.885,0:00:06.841
in mijn eerste jaar aan de universiteit.

0:00:06.865,0:00:08.372
Ik was nog een tiener.

0:00:08.689,0:00:10.445
Spoedig nadat ik er begon

0:00:10.445,0:00:12.825
met het schrijven [br]van software voor een bedrijf,

0:00:12.825,0:00:17.724
kwam een manager van het bedrijf [br]naar me toe en fluisterde:

0:00:18.229,0:00:21.090
"Weet hij of ik lieg?"

0:00:21.806,0:00:23.883
Er was niemand anders in de kamer.

0:00:25.032,0:00:29.421
Ik: "Weet wie dat je liegt? [br]En waarom fluisteren we?"

0:00:30.266,0:00:33.373
De manager wees [br]naar de computer in de kamer.

0:00:33.397,0:00:36.493
"Weet hij of ik lieg?"

0:00:37.613,0:00:41.975
Nu had die manager [br]een affaire met de receptioniste.

0:00:41.999,0:00:43.111
(Gelach)

0:00:43.135,0:00:44.901
En ik was nog een tiener.

0:00:45.447,0:00:47.466
Dus fluister-schreeuwde ik naar hem terug:

0:00:47.490,0:00:51.114
"Ja, de computer weet of je liegt."

0:00:51.138,0:00:52.944
(Gelach)

0:00:52.968,0:00:56.221
Nou, ik lachte, maar op dit moment [br]zou ik moeten worden uitgelachen.

0:00:56.221,0:00:59.183
Tegenwoordig zijn er computersystemen

0:00:59.207,0:01:02.755
die emotionele toestanden [br]en zelfs liegen herkennen

0:01:02.779,0:01:05.033
door het interpreteren[br]van menselijke gezichten.

0:01:05.248,0:01:09.401
Adverteerders en zelfs regeringen [br]zijn zeer geïnteresseerd.

0:01:10.319,0:01:12.181
Ik was computerprogrammeur geworden

0:01:12.205,0:01:15.828
omdat ik een van die kinderen was [br]die gek zijn op wiskunde en wetenschap.

0:01:15.942,0:01:19.050
Maar ik leerde wat over kernwapens

0:01:19.074,0:01:22.026
en werd echt bezorgd [br]over de ethiek van de wetenschap.

0:01:22.050,0:01:23.254
Ik was in de war.

0:01:23.278,0:01:25.919
Door familieomstandigheden

0:01:25.943,0:01:29.241
moest ik zo snel mogelijk [br]aan werk geraken.

0:01:29.265,0:01:32.564
Ik dacht, nou, laat me [br]een technisch gebied uitkiezen

0:01:32.588,0:01:34.744
waarin ik gemakkelijk een baan kan vinden

0:01:34.744,0:01:38.426
en waar ik niet hoef in te gaan [br]op eventuele lastige vragen over ethiek.

0:01:39.022,0:01:40.551
Dus koos ik voor computers.

0:01:40.575,0:01:41.679
(Gelach)

0:01:41.703,0:01:45.113
Nou ja, ha, ha, ha! Lach maar.

0:01:45.137,0:01:47.891
Tegenwoordig bouwen [br]computerwetenschappers systemen

0:01:47.915,0:01:52.124
die elke dag een miljard[br]mensen controleren.

0:01:53.052,0:01:56.874
Ze ontwikkelen auto's die zouden [br]kunnen beslissen wie ze overrijden.

0:01:57.707,0:02:00.920
Ze bouwen zelfs machines, wapens,

0:02:00.944,0:02:03.229
die in de oorlog mensen [br]zouden kunnen doden.

0:02:03.253,0:02:06.024
Het is ethiek, al wat de klok slaat.

0:02:07.183,0:02:09.241
Machine-intelligentie is hier.

0:02:09.823,0:02:13.297
We nemen allerlei beslissingen [br]aan de hand van berekeningen,

0:02:13.321,0:02:15.527
maar ook nieuwe typen beslissingen.

0:02:15.527,0:02:20.403
We stellen vragen aan de computer[br]waar niet één enkel antwoord op is,

0:02:20.427,0:02:21.629
die subjectief zijn

0:02:21.653,0:02:23.978
met een open einde en waardegeladen.

0:02:24.002,0:02:25.760
We stellen vragen als:

0:02:25.784,0:02:27.434
"Wie moet het bedrijf inhuren?"

0:02:28.096,0:02:30.855
"Welke update van welke vriend [br]moet je te zien krijgen?"

0:02:30.879,0:02:33.925
"Welke gevangene heeft [br]meer kans om te recidiveren?"

0:02:33.925,0:02:36.568
"Welke nieuwsbericht of film [br]moeten we aanbevelen?"

0:02:36.592,0:02:39.964
Ik weet dat we al een tijdje[br]computers gebruiken,

0:02:39.988,0:02:41.505
maar dit is anders.

0:02:41.529,0:02:43.596
Dit is een historisch keerpunt,

0:02:43.620,0:02:46.701
omdat we voor dergelijke [br]subjectieve beslissingen

0:02:46.701,0:02:48.981
niet op berekeningen kunnen vertrouwen,

0:02:48.981,0:02:54.401
zoals we dat doen voor het vliegen [br]van vliegtuigen, het bouwen van bruggen

0:02:54.425,0:02:55.684
of naar de maan gaan.

0:02:56.449,0:02:59.708
Zijn vliegtuigen veiliger? [br]Is de brug gaan zwaaien en ingestort?

0:02:59.732,0:03:04.230
Daar hebben we vrij duidelijke[br]normen voor afgesproken

0:03:04.254,0:03:06.493
en we hebben natuurwetten [br]om ons te leiden.

0:03:06.517,0:03:09.911
Dergelijke ijkpunten[br]en normen hebben we niet

0:03:09.935,0:03:13.898
voor besluiten in rommelige [br]menselijke aangelegenheden.

0:03:13.922,0:03:18.159
Om de zaken nog ingewikkelder te maken, [br]wordt onze software steeds krachtiger,

0:03:18.183,0:03:21.956
maar ook steeds [br]minder transparant en complexer.

0:03:22.542,0:03:24.582
Recentelijk, in het afgelopen decennium,

0:03:24.606,0:03:27.335
hebben complexe algoritmen [br]grote vooruitgang geboekt.

0:03:27.359,0:03:29.349
Ze kunnen menselijke gezichten herkennen.

0:03:29.985,0:03:32.040
Ze kunnen handschrift ontcijferen.

0:03:32.436,0:03:34.502
Ze kunnen creditcardfraude detecteren,

0:03:34.526,0:03:35.715
spam blokkeren

0:03:35.739,0:03:37.776
en vertalingen maken.

0:03:37.800,0:03:40.654
Ze kunnen tumoren detecteren [br]bij medische beeldvorming.

0:03:40.654,0:03:42.993
Ze kunnen mensen [br]met schaken en go verslaan.

0:03:43.264,0:03:45.175
Een groot deel van deze vooruitgang

0:03:45.175,0:03:48.175
komt van een methode [br]'machine learning' genaamd.

0:03:48.175,0:03:51.362
Machine learning is anders [br]dan het traditionele programmeren,

0:03:51.386,0:03:54.971
waar je de computer gedetailleerde, [br]exacte, nauwgezette instructies geeft.

0:03:55.378,0:03:59.560
Het is meer alsof je [br]het systeem veel data voert,

0:03:59.584,0:04:01.240
ook ongestructureerde data,

0:04:01.264,0:04:03.542
zoals we ze genereren [br]in ons digitale leven.

0:04:03.566,0:04:06.296
En het systeem leert [br]door op deze gegeven te broeden.

0:04:06.669,0:04:08.195
Ook van cruciaal belang is

0:04:08.219,0:04:12.599
dat deze systemen niet werken [br]met een één-antwoord logica.

0:04:12.623,0:04:15.582
Ze geven geen simpel antwoord; [br]het is meer probabilistisch:

0:04:15.606,0:04:19.089
"Dit is waarschijnlijk meer wat je zoekt."

0:04:20.023,0:04:23.093
Het voordeel is dat deze methode[br]echt krachtig is.

0:04:23.117,0:04:25.503
Het hoofd van Google's [br]AI-systemen noemde het:

0:04:25.503,0:04:27.624
"De onredelijke effectiviteit van data."

0:04:27.791,0:04:29.144
Het nadeel is

0:04:29.738,0:04:32.809
dat we niet echt begrijpen [br]wat het systeem leerde.

0:04:32.833,0:04:34.420
Dat is in feite zijn kracht.

0:04:34.946,0:04:38.744
Dit lijkt minder op het geven [br]van instructies aan een computer

0:04:39.200,0:04:43.264
dan op het trainen [br]van een puppy-machine-schepsel

0:04:43.288,0:04:45.659
dat we niet echt begrijpen of controleren.

0:04:46.362,0:04:47.913
Dus dit is ons probleem.

0:04:48.427,0:04:52.383
Als het kunstmatige-intelligentie systeem [br]in de fout gaat, hebben we een probleem.

0:04:52.713,0:04:56.253
Het is ook een probleem [br]wanneer het goed werkt,

0:04:56.277,0:04:57.627
omdat we niet eens weten

0:04:57.627,0:05:00.459
wanneer het in de fout gaat [br]bij een subjectief probleem.

0:05:00.459,0:05:02.608
We weten niet wat dit ding denkt.

0:05:03.493,0:05:07.176
Denk eens aan een algoritme [br]voor aanwerving --

0:05:08.123,0:05:11.032
een systeem dat wordt gebruikt [br]om mensen aan te nemen

0:05:11.032,0:05:13.052
met behulp van machine learning-systemen.

0:05:13.052,0:05:16.631
Een dergelijk systeem werd getraind [br]met data van vroegere werknemers

0:05:16.655,0:05:19.246
en geïnstrueerd voor het vinden en inhuren

0:05:19.270,0:05:22.308
van mensen zoals de beste[br]presteerders in het bedrijf.

0:05:22.814,0:05:23.967
Klinkt goed.

0:05:23.991,0:05:25.990
Ik heb eens een conferentie bijgewoond

0:05:26.014,0:05:28.983
met human-resourcesmanagers[br]en leidinggevenden,

0:05:28.983,0:05:29.973
hoge pieten,

0:05:29.973,0:05:32.402
die dergelijke systemen [br]voor het inhuren gebruiken.

0:05:32.402,0:05:33.642
Ze waren superenthousiast.

0:05:33.646,0:05:35.323
Ze dachten dat dit het inhuren

0:05:35.323,0:05:38.323
objectiever en minder[br]bevooroordeeld zou maken

0:05:38.323,0:05:41.323
en vrouwen en minderheden [br]betere kansen zouden geven

0:05:41.347,0:05:43.905
ten opzichte van vooringenomen [br]menselijke managers.

0:05:43.905,0:05:46.672
En ja -- het inhuren[br]door mensen is bevooroordeeld.

0:05:47.099,0:05:48.284
Ik weet het.

0:05:48.308,0:05:51.313
In een van mijn eerste banen[br]als programmeur

0:05:51.337,0:05:55.205
kwam mijn directe manager [br]soms naar me toe,

0:05:55.229,0:05:58.982
heel vroeg in de ochtend [br]of erg laat in de middag,

0:05:59.006,0:06:02.068
en zei: "Zeynep, laten we gaan lunchen!"

0:06:02.724,0:06:04.891
Ik was verbaasd over de vreemde timing.

0:06:04.915,0:06:07.044
Het is vier uur in de namiddag. Lunch?

0:06:07.068,0:06:10.162
Ik was blut. Dus gratis lunch?[br]Ik ging altijd mee.

0:06:10.618,0:06:12.685
Ik besefte pas later wat er loos was.

0:06:12.709,0:06:16.989
Mijn directe managers [br]hadden hun oversten niet verteld

0:06:16.989,0:06:20.089
dat de programmeur die ze [br]voor een serieuze baan hadden ingehuurd

0:06:20.089,0:06:21.656
een tienermeisje was

0:06:21.656,0:06:24.346
dat op het werk een spijkerbroek [br]en sportschoenen droeg.

0:06:24.844,0:06:27.376
Ik deed mijn werk goed, [br]ik zag er alleen niet uit

0:06:27.400,0:06:29.669
en had de verkeerde leeftijd en geslacht.

0:06:29.669,0:06:32.469
Dus inhuren zonder oog [br]voor geslacht of ras,

0:06:32.493,0:06:34.358
daar kan ik alleen maar blij mee zijn.

0:06:35.031,0:06:38.372
Maar met deze systemen [br]ligt het ingewikkelder en wel hierom:

0:06:38.968,0:06:44.759
momenteel kunnen computersystemen [br]allerlei dingen over je afleiden

0:06:44.783,0:06:46.655
uit je digitale kruimels,

0:06:46.679,0:06:49.012
zelfs als je die dingen niet hebt verteld.

0:06:49.506,0:06:52.433
Ze kunnen je seksuele geaardheid afleiden,

0:06:52.994,0:06:54.710
je persoonlijkheidskenmerken,

0:06:54.859,0:06:56.232
je politieke kleur.

0:06:56.830,0:07:00.515
Ze kunnen met grote [br]nauwkeurigheid voorspellen.

0:07:01.212,0:07:04.470
Nogmaals -- ook voor dingen [br]die je nog niet eens hebt bekendgemaakt.

0:07:04.470,0:07:05.555
Dat is inferentie.

0:07:05.579,0:07:08.840
Ik heb een vriend die dergelijke [br]computersystemen heeft ontwikkeld

0:07:08.864,0:07:12.505
om de waarschijnlijkheid van klinische [br]of postpartumdepressie te voorspellen

0:07:12.529,0:07:14.295
op basis van social-mediagegevens.

0:07:14.676,0:07:16.543
De resultaten zijn indrukwekkend.

0:07:16.543,0:07:19.849
Haar systeem kan de kans [br]op depressie voorspellen

0:07:19.873,0:07:23.776
maanden vóór het begin van de symptomen --

0:07:23.800,0:07:25.173
maanden eerder.

0:07:25.197,0:07:27.443
Geen symptomen, wel een voorspelling.

0:07:27.467,0:07:32.279
Ze hoopt dat het zal worden gebruikt [br]voor vroege interventie. Geweldig!

0:07:32.911,0:07:35.891
Maar bekijk dat nu eens[br]in het kader van aanwerven.

0:07:36.027,0:07:39.073
Op deze conferentie [br]voor human-resourcesmanagers

0:07:39.097,0:07:43.806
benaderde ik een vooraanstaande manager [br]van een zeer groot bedrijf

0:07:43.830,0:07:48.408
en zei tegen haar: [br]"Kijk, wat als zonder dat je het weet,

0:07:48.432,0:07:54.981
je systeem mensen met een hoge [br]toekomstige kans op depressie uitwiedt?

0:07:55.761,0:07:59.137
Ze zijn nu niet depressief, [br]maar in de toekomst waarschijnlijk wel.

0:07:59.923,0:08:03.329
Wat als het vrouwen uitwiedt [br]omdat ze kans hebben om zwanger te worden

0:08:03.353,0:08:05.939
in de volgende paar jaar, [br]maar nu niet zwanger zijn?

0:08:06.844,0:08:12.480
Wat als het agressieve mensen inhuurt, [br]omdat dat jullie werkplekcultuur is?"

0:08:12.923,0:08:15.934
Je weet dit niet door te kijken [br]naar analyses voor geslacht.

0:08:15.934,0:08:17.390
Die kunnen in evenwicht zijn.

0:08:17.414,0:08:20.971
En aangezien dit machine learning is [br]en geen traditioneel programmeren,

0:08:20.995,0:08:25.902
is er geen variabele [br]gelabeld 'groter risico op depressie',

0:08:25.926,0:08:27.759
'hoger risico op zwangerschap'

0:08:27.783,0:08:29.517
of een 'agressieve-man-schaal'.

0:08:29.995,0:08:33.674
Niet alleen weet je niet [br]waarop jouw systeem selecteert,

0:08:33.698,0:08:36.021
je weet niet eens [br]waar je moet gaan zoeken.

0:08:36.045,0:08:37.291
Het is een zwarte doos.

0:08:37.315,0:08:40.122
Het heeft voorspellende kracht, [br]maar je begrijpt het niet.

0:08:40.486,0:08:42.855
"Welke garanties", vroeg ik, "heb je

0:08:42.879,0:08:46.552
om ervoor te zorgen dat jouw zwarte doos [br]geen rare dingen gaat doen?"

0:08:48.863,0:08:52.741
Ze keek me aan alsof ik [br]op tien puppystaarten tegelijk trapte.

0:08:52.765,0:08:54.013
(Gelach)

0:08:54.037,0:08:56.078
Ze keek me aan en zei:

0:08:56.556,0:09:00.889
"Hier wil ik geen woord meer over horen."

0:09:01.458,0:09:03.492
En ze draaide zich om en liep weg.

0:09:04.064,0:09:05.890
Let wel -- ze was niet onbeleefd.

0:09:05.890,0:09:11.882
Het was duidelijk: wat ik niet weet, [br]is mijn probleem niet, ga weg, lege blik.

0:09:11.906,0:09:13.152
(Gelach)

0:09:13.862,0:09:17.545
Kijk, een dergelijk systeem [br]kan misschien minder bevooroordeeld zijn

0:09:17.545,0:09:20.108
dan menselijke managers,[br]in sommige opzichten.

0:09:20.108,0:09:21.998
Het kan misschien wel geld besparen.

0:09:22.573,0:09:24.223
Maar het kan ook leiden

0:09:24.247,0:09:28.995
tot een gestage, maar sluipende [br]uitsluiting uit de arbeidsmarkt

0:09:29.019,0:09:31.312
van mensen met een [br]hoger risico op depressie.

0:09:31.753,0:09:33.933
Is dit het soort[br]samenleving dat we willen,

0:09:33.933,0:09:36.658
zonder zelfs maar te weten [br]dat we dat hebben gedaan,

0:09:36.682,0:09:39.605
omdat we besluitvorming [br]delegeerden naar machines

0:09:39.605,0:09:41.265
die we niet helemaal begrijpen?

0:09:41.265,0:09:42.723
Een ander probleem is dit:

0:09:43.314,0:09:47.766
deze systemen worden vaak getraind [br]met data gegenereerd door onze acties,

0:09:47.790,0:09:49.606
menselijke indrukken.

0:09:50.188,0:09:53.996
Nou, die zouden wel eens[br]onze vooroordelen kunnen weerspiegelen,

0:09:54.020,0:09:57.613
welke die systemen vervolgens[br]vlekkeloos overnemen,

0:09:57.637,0:09:58.950
ze versterken

0:09:58.974,0:10:00.392
en weer aan ons terugkaatsen,

0:10:00.416,0:10:01.878
terwijl we onszelf wijsmaken:

0:10:01.902,0:10:05.019
"We maken objectieve, [br]neutrale berekeningen."

0:10:06.314,0:10:08.991
Onderzoekers ontdekten dat op Google

0:10:10.134,0:10:12.963
vrouwen minder kans hebben dan mannen

0:10:12.963,0:10:16.463
om vacatures voor goedbetaalde banen [br]te zien te krijgen.

0:10:16.463,0:10:18.993
Het zoeken naar Afro-Amerikaanse namen

0:10:19.017,0:10:21.297
geeft een grotere kans op advertenties

0:10:21.297,0:10:23.747
die een criminele geschiedenis suggereren,

0:10:23.747,0:10:25.314
zelfs wanneer er geen is.

0:10:26.693,0:10:30.242
Dergelijke verborgen vooroordelen [br]en zwarte-doosalgoritmen,

0:10:30.266,0:10:34.239
die onderzoekers soms ontdekken[br]maar soms ook niet,

0:10:34.263,0:10:36.924
kunnen iemands leven [br]diepgaand beïnvloeden.

0:10:37.958,0:10:42.117
In Wisconsin werd een verdachte [br]veroordeeld tot zes jaar gevangenis

0:10:42.141,0:10:44.256
door te gaan lopen voor de politie.

0:10:44.484,0:10:46.010
Misschien weten jullie dit niet,

0:10:46.034,0:10:48.102
maar algoritmen [br]worden steeds meer gebruikt

0:10:48.102,0:10:50.772
bij voorwaardelijke[br]invrijheidstelling en straftoemeting.

0:10:50.772,0:10:53.626
Hij wilde weten hoe dat [br]deze score berekend wordt.

0:10:53.795,0:10:55.460
Het is een commerciële zwarte doos.

0:10:55.484,0:10:57.016
Het bedrijf weigerde

0:10:57.016,0:11:00.396
zijn algoritme in een openbare[br]rechtszitting te laten betwisten.

0:11:00.396,0:11:05.632
Maar ProPublica, een onderzoekende [br]non-profit, testte dat algoritme

0:11:05.632,0:11:07.702
met openbare gegevens [br]die ze konden vinden,

0:11:07.702,0:11:10.308
en vond dat de resultaten ervan [br]bevooroordeeld waren

0:11:10.332,0:11:14.202
en dat de voorspellende kracht onduidelijk[br]en nauwelijks beter dan het toeval was.

0:11:14.205,0:11:18.401
Ze labelde zwarte verdachten [br]onterecht als toekomstige criminelen

0:11:18.425,0:11:22.320
en wel twee keer zo vaak als blanken.

0:11:23.891,0:11:25.455
Bekijk dit geval:

0:11:26.103,0:11:29.955
deze vrouw was wat laat[br]om een meisje op te pikken

0:11:29.979,0:11:32.724
op een school in Broward County, Florida.

0:11:32.757,0:11:35.113
Ze liep op straat met een vriendin.

0:11:35.137,0:11:39.236
Op een veranda zagen ze [br]een kinderfiets en een scooter.

0:11:39.260,0:11:40.892
Zonder nadenken sprongen ze erop.

0:11:40.916,0:11:43.545
Terwijl ze wegreden, [br]kwam een vrouw naar buiten en zei:

0:11:43.545,0:11:45.744
"Hé! Dat is de fiets van mijn kind!"

0:11:45.768,0:11:49.062
Ze lieten hem vallen, liepen door, [br]maar werden gearresteerd.

0:11:49.086,0:11:52.723
Ze ging in de fout, ze was dom, [br]maar ze was ook pas 18.

0:11:52.747,0:11:55.291
Ze had een paar[br]jeugdmisdrijven op haar naam.

0:11:55.808,0:12:00.993
Ondertussen werd deze man gearresteerd[br]voor winkeldiefstal in Home Depot --

0:12:01.017,0:12:03.941
85 dollar aan spullen, [br]soortgelijke kleine criminaliteit.

0:12:04.766,0:12:09.325
Maar hij had twee eerdere veroordelingen [br]voor gewapende overval.

0:12:09.955,0:12:13.437
Het algoritme scoorde haar [br]als hoog risico en hem niet.

0:12:14.746,0:12:18.620
Twee jaar later vond ProPublica [br]dat ze niet had gerecidiveerd.

0:12:18.644,0:12:21.324
Maar ze vond wel moeilijk [br]een baan met haar strafblad.

0:12:21.324,0:12:23.294
Hij daarentegen recidiveerde

0:12:23.318,0:12:27.154
en zit nu voor acht jaar in de gevangenis [br]voor een latere misdaad.

0:12:28.088,0:12:31.457
Het is duidelijk dat we [br]onze zwarte dozen moeten controleren

0:12:31.481,0:12:34.166
en ze niet dit soort ongecontroleerde[br]macht moeten geven.

0:12:34.166,0:12:36.999
(Applaus)

0:12:38.087,0:12:42.329
Audits zijn geweldig en belangrijk, [br]maar ze lossen niet al onze problemen op.

0:12:42.353,0:12:45.101
Neem Facebook's krachtige [br]nieuwsfeed-algoritme --

0:12:45.125,0:12:49.968
je weet wel, hetgeen dat alles sorteert [br]en beslist wat jij te zien krijgt

0:12:49.992,0:12:52.276
van alle vrienden[br]en pagina's die je volgt.

0:12:52.628,0:12:55.173
Moet je nog een babyfoto [br]voorgeschoteld krijgen?

0:12:55.197,0:12:56.393
(Gelach)

0:12:56.417,0:12:59.013
Een sombere opmerking van een kennis?

0:12:59.449,0:13:01.585
Een belangrijk[br]maar moeilijk nieuwsbericht?

0:13:01.585,0:13:02.951
Er is geen juist antwoord.

0:13:02.951,0:13:05.494
Facebook optimaliseert [br]voor betrokkenheid op de site:

0:13:05.518,0:13:07.673
wat je leuk vindt, deelt [br]of becommentarieert.

0:13:08.168,0:13:10.864
In augustus 2014

0:13:10.888,0:13:13.550
braken protesten uit [br]in Ferguson, Missouri,

0:13:13.574,0:13:17.991
na het doden van een Afro-Amerikaanse [br]tiener door een blanke politieagent

0:13:18.015,0:13:19.585
onder duistere omstandigheden.

0:13:19.974,0:13:22.411
Het nieuws van de protesten[br]was prominent aanwezig

0:13:22.411,0:13:24.690
op mijn algoritmisch [br]ongefilterde Twitter-feed,

0:13:24.714,0:13:26.664
maar nergens op mijn Facebook.

0:13:27.182,0:13:28.916
Waren het mijn Facebookvrienden?

0:13:28.940,0:13:30.972
Ik schakelde het Facebookalgoritme uit,

0:13:31.472,0:13:34.320
wat moeilijk is,[br]want Facebook houdt je liever

0:13:34.344,0:13:36.620
onder de controle van het algoritme.

0:13:36.620,0:13:38.642
Ik zag dat mijn vrienden erover praatten.

0:13:38.666,0:13:41.175
Maar het algoritme liet het me niet zien.

0:13:41.199,0:13:44.241
Ik onderzocht dit en vond dat dit [br]een wijdverbreid probleem was.

0:13:44.265,0:13:47.782
Het verhaal van Ferguson [br]was niet 'algoritmevriendelijk'.

0:13:47.782,0:13:49.147
Het was niet 'sympathiek'.

0:13:49.147,0:13:51.320
Wie gaat er een 'vind ik leuk' aan geven?

0:13:51.320,0:13:53.706
Het is zelfs niet makkelijk [br]te becommentariëren.

0:13:53.730,0:13:55.611
Zonder vind-ik-leuk's en commentaar

0:13:55.611,0:13:58.817
toonde het algoritme het waarschijnlijk [br]aan nog minder mensen,

0:13:58.817,0:14:00.623
zodat we het niet te zien kregen.

0:14:00.946,0:14:04.124
In plaats daarvan benadrukte [br]Facebook's algoritme die week dit:

0:14:04.520,0:14:06.746
de ALS Ice Bucket Challenge.

0:14:06.770,0:14:10.512
Giet ijswater, doneer [br]aan een goed doel, allemaal fijn.

0:14:10.536,0:14:12.960
Maar het was uiterst [br]algoritmevriendelijk.

0:14:13.219,0:14:15.832
De machine nam die beslissing voor ons.

0:14:15.856,0:14:19.353
Een zeer belangrijk maar moeilijk gesprek

0:14:19.377,0:14:20.932
zou zijn gesmoord,

0:14:20.956,0:14:23.652
als Facebook het enige kanaal was geweest.

0:14:24.117,0:14:27.914
Nu kunnen deze systemen ook verkeerd zijn

0:14:27.938,0:14:30.548
op een manier die niet [br]op menselijke systemen lijkt.

0:14:30.548,0:14:33.790
Herinneren jullie zich Watson, [br]IBM's machine-intelligentie-systeem

0:14:33.790,0:14:37.172
dat op Jeopardy de vloer aanveegde [br]met de menselijke deelnemers?

0:14:37.172,0:14:38.559
Het was een geweldige speler.

0:14:38.583,0:14:42.152
Maar in de finale kreeg Watson deze vraag:

0:14:42.539,0:14:45.641
"Zijn grootste luchthaven is vernoemd [br]naar een held uit WO II,

0:14:45.641,0:14:47.957
zijn tweede grootste [br]naar een slag uit WO II."

0:14:47.957,0:14:49.559
(Neuriet Final Jeopardy-muziek)

0:14:49.582,0:14:50.764
Chicago.

0:14:50.788,0:14:52.638
De twee mensen hadden het goed.

0:14:52.697,0:14:57.045
Maar Watson antwoordde "Toronto" --

0:14:57.069,0:14:58.887
voor een stad van de VS!

0:14:59.596,0:15:02.497
Het indrukwekkende systeem [br]maakte ook een fout

0:15:02.521,0:15:06.172
die een mens nooit zou maken, [br]die een zevenjarige niet zou maken.

0:15:06.823,0:15:09.932
Onze machine-intelligentie kan mislukken

0:15:09.956,0:15:13.056
op een manier die niet past [br]in foutpatronen van mensen,

0:15:13.080,0:15:16.030
op een onverwachte manier[br]waarop we niet zijn voorbereid.

0:15:16.054,0:15:18.154
Het zou stom zijn [br]om een baan mis te lopen

0:15:18.154,0:15:19.716
waarvoor je gekwalificeerd bent,

0:15:19.716,0:15:23.443
maar het zou driedubbel stom zijn [br]als het was vanwege een stack overflow

0:15:23.467,0:15:25.169
in de een of andere subroutine.

0:15:25.169,0:15:26.502
(Gelach)

0:15:26.526,0:15:29.312
In mei 2010

0:15:29.336,0:15:33.380
ontstond een flash crash op Wall Street,[br]aangewakkerd door een terugkoppeling

0:15:33.404,0:15:36.432
in Wall Streets 'verkopen'-algoritme.

0:15:36.456,0:15:40.640
Het wiste een biljoen dollar weg [br]in 36 minuten.

0:15:41.722,0:15:44.419
Ik wil er niet eens aan denken [br]wat 'fout' betekent

0:15:44.419,0:15:47.522
als het over dodelijke [br]autonome wapens gaat.

0:15:49.894,0:15:53.684
Dus ja, mensen hebben altijd vooroordelen.

0:15:53.708,0:15:55.884
Beslissers en bewakers,

0:15:55.908,0:15:59.401
in rechtbanken, in het nieuws, [br]in de oorlog...

0:15:59.425,0:16:02.463
maken ze fouten;[br]maar dat is precies wat ik bedoel.

0:16:02.487,0:16:06.008
We kunnen niet ontsnappen [br]aan deze moeilijke vragen.

0:16:06.596,0:16:10.112
We kunnen onze verantwoordelijkheden [br]niet uitbesteden aan machines.

0:16:10.676,0:16:14.884
(Applaus)

0:16:17.089,0:16:21.536
Kunstmatige intelligentie stelt ons[br]niet vrij van de ethische vraagstukken.

0:16:22.742,0:16:26.123
Datawetenschapper Fred Benenson [br]noemt dit 'wiskunde-wassen'.

0:16:26.147,0:16:27.926
We moeten het tegenovergestelde doen.

0:16:27.926,0:16:32.948
Algoritmes verdienen een cultuur[br]van achterdocht, controle en onderzoek.

0:16:33.380,0:16:36.578
We moeten zorgen [br]voor algoritmische verantwoording,

0:16:36.602,0:16:39.047
auditing en betekenisvolle transparantie.

0:16:39.380,0:16:42.614
We moeten accepteren dat het toepassen[br]van wiskunde en berekening

0:16:42.638,0:16:45.608
op rommelige, waardegeladen [br]menselijke aangelegenheden

0:16:45.632,0:16:48.016
geen objectiviteit met zich meebrengt,

0:16:48.040,0:16:52.063
maar dat de complexiteit van menselijke [br]aangelegenheden in de algoritmen sluipt.

0:16:52.148,0:16:55.635
Ja, we kunnen en we moeten [br]berekening gebruiken

0:16:55.659,0:16:58.013
om ons te helpen [br]om betere beslissingen te nemen.

0:16:58.013,0:17:03.029
Maar het uiteindelijke oordeel[br]blijft onze morele verantwoordelijkheid,

0:17:03.053,0:17:05.871
en binnen dat kader kunnen [br]we algoritmen gebruiken,

0:17:05.895,0:17:10.830
niet als een middel om [br]onze verantwoordelijkheden

0:17:10.854,0:17:13.308
van mens tot mens te ontlopen.

0:17:13.807,0:17:16.416
Machine-intelligentie is hier.

0:17:16.440,0:17:19.861
Dat betekent dat we [br]steeds strakker moeten vasthouden

0:17:19.885,0:17:22.032
aan menselijke waarden [br]en menselijke ethiek.

0:17:22.056,0:17:23.210
Dank je.

0:17:23.234,0:17:28.254
(Applaus)