Ik begon mijn eerste baan als computerprogrammeur in mijn eerste jaar aan de universiteit. Ik was nog een tiener. Spoedig nadat ik er begon met het schrijven van software voor een bedrijf, kwam een manager van het bedrijf naar me toe en fluisterde: "Weet hij of ik lieg?" Er was niemand anders in de kamer. Ik: "Weet wie dat je liegt? En waarom fluisteren we?" De manager wees naar de computer in de kamer. "Weet hij of ik lieg?" Nu had die manager een affaire met de receptioniste. (Gelach) En ik was nog een tiener. Dus fluister-schreeuwde ik naar hem terug: "Ja, de computer weet of je liegt." (Gelach) Nou, ik lachte, maar op dit moment zou ik moeten worden uitgelachen. Tegenwoordig zijn er computersystemen die emotionele toestanden en zelfs liegen herkennen door het interpreteren van menselijke gezichten. Adverteerders en zelfs regeringen zijn zeer geïnteresseerd. Ik was computerprogrammeur geworden omdat ik een van die kinderen was die gek zijn op wiskunde en wetenschap. Maar ik leerde wat over kernwapens en werd echt bezorgd over de ethiek van de wetenschap. Ik was in de war. Door familieomstandigheden moest ik zo snel mogelijk aan werk geraken. Ik dacht, nou, laat me een technisch gebied uitkiezen waarin ik gemakkelijk een baan kan vinden en waar ik niet hoef in te gaan op eventuele lastige vragen over ethiek. Dus koos ik voor computers. (Gelach) Nou ja, ha, ha, ha! Lach maar. Tegenwoordig bouwen computerwetenschappers systemen die elke dag een miljard mensen controleren. Ze ontwikkelen auto's die zouden kunnen beslissen wie ze overrijden. Ze bouwen zelfs machines, wapens, die in de oorlog mensen zouden kunnen doden. Het is ethiek, al wat de klok slaat. Machine-intelligentie is hier. We nemen allerlei beslissingen aan de hand van berekeningen, maar ook nieuwe typen beslissingen. We stellen vragen aan de computer waar niet één enkel antwoord op is, die subjectief zijn met een open einde en waardegeladen. We stellen vragen als: "Wie moet het bedrijf inhuren?" "Welke update van welke vriend moet je te zien krijgen?" "Welke gevangene heeft meer kans om te recidiveren?" "Welke nieuwsbericht of film moeten we aanbevelen?" Ik weet dat we al een tijdje computers gebruiken, maar dit is anders. Dit is een historisch keerpunt, omdat we voor dergelijke subjectieve beslissingen niet op berekeningen kunnen vertrouwen, zoals we dat doen voor het vliegen van vliegtuigen, het bouwen van bruggen of naar de maan gaan. Zijn vliegtuigen veiliger? Is de brug gaan zwaaien en ingestort? Daar hebben we vrij duidelijke normen voor afgesproken en we hebben natuurwetten om ons te leiden. Dergelijke ijkpunten en normen hebben we niet voor besluiten in rommelige menselijke aangelegenheden. Om de zaken nog ingewikkelder te maken, wordt onze software steeds krachtiger, maar ook steeds minder transparant en complexer. Recentelijk, in het afgelopen decennium, hebben complexe algoritmen grote vooruitgang geboekt. Ze kunnen menselijke gezichten herkennen. Ze kunnen handschrift ontcijferen. Ze kunnen creditcardfraude detecteren, spam blokkeren en vertalingen maken. Ze kunnen tumoren detecteren bij medische beeldvorming. Ze kunnen mensen met schaken en go verslaan. Een groot deel van deze vooruitgang komt van een methode 'machine learning' genaamd. Machine learning is anders dan het traditionele programmeren, waar je de computer gedetailleerde, exacte, nauwgezette instructies geeft. Het is meer alsof je het systeem veel data voert, ook ongestructureerde data, zoals we ze genereren in ons digitale leven. En het systeem leert door op deze gegeven te broeden. Ook van cruciaal belang is dat deze systemen niet werken met een één-antwoord logica. Ze geven geen simpel antwoord; het is meer probabilistisch: "Dit is waarschijnlijk meer wat je zoekt." Het voordeel is dat deze methode echt krachtig is. Het hoofd van Google's AI-systemen noemde het: "De onredelijke effectiviteit van data." Het nadeel is dat we niet echt begrijpen wat het systeem leerde. Dat is in feite zijn kracht. Dit lijkt minder op het geven van instructies aan een computer dan op het trainen van een puppy-machine-schepsel dat we niet echt begrijpen of controleren. Dus dit is ons probleem. Als het kunstmatige-intelligentie systeem in de fout gaat, hebben we een probleem. Het is ook een probleem wanneer het goed werkt, omdat we niet eens weten wanneer het in de fout gaat bij een subjectief probleem. We weten niet wat dit ding denkt. Denk eens aan een algoritme voor aanwerving -- een systeem dat wordt gebruikt om mensen aan te nemen met behulp van machine learning-systemen. Een dergelijk systeem werd getraind met data van vroegere werknemers en geïnstrueerd voor het vinden en inhuren van mensen zoals de beste presteerders in het bedrijf. Klinkt goed. Ik heb eens een conferentie bijgewoond met human-resourcesmanagers en leidinggevenden, hoge pieten, die dergelijke systemen voor het inhuren gebruiken. Ze waren superenthousiast. Ze dachten dat dit het inhuren objectiever en minder bevooroordeeld zou maken en vrouwen en minderheden betere kansen zouden geven ten opzichte van vooringenomen menselijke managers. En ja -- het inhuren door mensen is bevooroordeeld. Ik weet het. In een van mijn eerste banen als programmeur kwam mijn directe manager soms naar me toe, heel vroeg in de ochtend of erg laat in de middag, en zei: "Zeynep, laten we gaan lunchen!" Ik was verbaasd over de vreemde timing. Het is vier uur in de namiddag. Lunch? Ik was blut. Dus gratis lunch? Ik ging altijd mee. Ik besefte pas later wat er loos was. Mijn directe managers hadden hun oversten niet verteld dat de programmeur die ze voor een serieuze baan hadden ingehuurd een tienermeisje was dat op het werk een spijkerbroek en sportschoenen droeg. Ik deed mijn werk goed, ik zag er alleen niet uit en had de verkeerde leeftijd en geslacht. Dus inhuren zonder oog voor geslacht of ras, daar kan ik alleen maar blij mee zijn. Maar met deze systemen ligt het ingewikkelder en wel hierom: momenteel kunnen computersystemen allerlei dingen over je afleiden uit je digitale kruimels, zelfs als je die dingen niet hebt verteld. Ze kunnen je seksuele geaardheid afleiden, je persoonlijkheidskenmerken, je politieke kleur. Ze kunnen met grote nauwkeurigheid voorspellen. Nogmaals -- ook voor dingen die je nog niet eens hebt bekendgemaakt. Dat is inferentie. Ik heb een vriend die dergelijke computersystemen heeft ontwikkeld om de waarschijnlijkheid van klinische of postpartumdepressie te voorspellen op basis van social-mediagegevens. De resultaten zijn indrukwekkend. Haar systeem kan de kans op depressie voorspellen maanden vóór het begin van de symptomen -- maanden eerder. Geen symptomen, wel een voorspelling. Ze hoopt dat het zal worden gebruikt voor vroege interventie. Geweldig! Maar bekijk dat nu eens in het kader van aanwerven. Op deze conferentie voor human-resourcesmanagers benaderde ik een vooraanstaande manager van een zeer groot bedrijf en zei tegen haar: "Kijk, wat als zonder dat je het weet, je systeem mensen met een hoge toekomstige kans op depressie uitwiedt? Ze zijn nu niet depressief, maar in de toekomst waarschijnlijk wel. Wat als het vrouwen uitwiedt omdat ze kans hebben om zwanger te worden in de volgende paar jaar, maar nu niet zwanger zijn? Wat als het agressieve mensen inhuurt, omdat dat jullie werkplekcultuur is?" Je weet dit niet door te kijken naar analyses voor geslacht. Die kunnen in evenwicht zijn. En aangezien dit machine learning is en geen traditioneel programmeren, is er geen variabele gelabeld 'groter risico op depressie', 'hoger risico op zwangerschap' of een 'agressieve-man-schaal'. Niet alleen weet je niet waarop jouw systeem selecteert, je weet niet eens waar je moet gaan zoeken. Het is een zwarte doos. Het heeft voorspellende kracht, maar je begrijpt het niet. "Welke garanties", vroeg ik, "heb je om ervoor te zorgen dat jouw zwarte doos geen rare dingen gaat doen?" Ze keek me aan alsof ik op tien puppystaarten tegelijk trapte. (Gelach) Ze keek me aan en zei: "Hier wil ik geen woord meer over horen." En ze draaide zich om en liep weg. Let wel -- ze was niet onbeleefd. Het was duidelijk: wat ik niet weet, is mijn probleem niet, ga weg, lege blik. (Gelach) Kijk, een dergelijk systeem kan misschien minder bevooroordeeld zijn dan menselijke managers, in sommige opzichten. Het kan misschien wel geld besparen. Maar het kan ook leiden tot een gestage, maar sluipende uitsluiting uit de arbeidsmarkt van mensen met een hoger risico op depressie. Is dit het soort samenleving dat we willen, zonder zelfs maar te weten dat we dat hebben gedaan, omdat we besluitvorming delegeerden naar machines die we niet helemaal begrijpen? Een ander probleem is dit: deze systemen worden vaak getraind met data gegenereerd door onze acties, menselijke indrukken. Nou, die zouden wel eens onze vooroordelen kunnen weerspiegelen, welke die systemen vervolgens vlekkeloos overnemen, ze versterken en weer aan ons terugkaatsen, terwijl we onszelf wijsmaken: "We maken objectieve, neutrale berekeningen." Onderzoekers ontdekten dat op Google vrouwen minder kans hebben dan mannen om vacatures voor goedbetaalde banen te zien te krijgen. Het zoeken naar Afro-Amerikaanse namen geeft een grotere kans op advertenties die een criminele geschiedenis suggereren, zelfs wanneer er geen is. Dergelijke verborgen vooroordelen en zwarte-doosalgoritmen, die onderzoekers soms ontdekken maar soms ook niet, kunnen iemands leven diepgaand beïnvloeden. In Wisconsin werd een verdachte veroordeeld tot zes jaar gevangenis door te gaan lopen voor de politie. Misschien weten jullie dit niet, maar algoritmen worden steeds meer gebruikt bij voorwaardelijke invrijheidstelling en straftoemeting. Hij wilde weten hoe dat deze score berekend wordt. Het is een commerciële zwarte doos. Het bedrijf weigerde zijn algoritme in een openbare rechtszitting te laten betwisten. Maar ProPublica, een onderzoekende non-profit, testte dat algoritme met openbare gegevens die ze konden vinden, en vond dat de resultaten ervan bevooroordeeld waren en dat de voorspellende kracht onduidelijk en nauwelijks beter dan het toeval was. Ze labelde zwarte verdachten onterecht als toekomstige criminelen en wel twee keer zo vaak als blanken. Bekijk dit geval: deze vrouw was wat laat om een meisje op te pikken op een school in Broward County, Florida. Ze liep op straat met een vriendin. Op een veranda zagen ze een kinderfiets en een scooter. Zonder nadenken sprongen ze erop. Terwijl ze wegreden, kwam een vrouw naar buiten en zei: "Hé! Dat is de fiets van mijn kind!" Ze lieten hem vallen, liepen door, maar werden gearresteerd. Ze ging in de fout, ze was dom, maar ze was ook pas 18. Ze had een paar jeugdmisdrijven op haar naam. Ondertussen werd deze man gearresteerd voor winkeldiefstal in Home Depot -- 85 dollar aan spullen, soortgelijke kleine criminaliteit. Maar hij had twee eerdere veroordelingen voor gewapende overval. Het algoritme scoorde haar als hoog risico en hem niet. Twee jaar later vond ProPublica dat ze niet had gerecidiveerd. Maar ze vond wel moeilijk een baan met haar strafblad. Hij daarentegen recidiveerde en zit nu voor acht jaar in de gevangenis voor een latere misdaad. Het is duidelijk dat we onze zwarte dozen moeten controleren en ze niet dit soort ongecontroleerde macht moeten geven. (Applaus) Audits zijn geweldig en belangrijk, maar ze lossen niet al onze problemen op. Neem Facebook's krachtige nieuwsfeed-algoritme -- je weet wel, hetgeen dat alles sorteert en beslist wat jij te zien krijgt van alle vrienden en pagina's die je volgt. Moet je nog een babyfoto voorgeschoteld krijgen? (Gelach) Een sombere opmerking van een kennis? Een belangrijk maar moeilijk nieuwsbericht? Er is geen juist antwoord. Facebook optimaliseert voor betrokkenheid op de site: wat je leuk vindt, deelt of becommentarieert. In augustus 2014 braken protesten uit in Ferguson, Missouri, na het doden van een Afro-Amerikaanse tiener door een blanke politieagent onder duistere omstandigheden. Het nieuws van de protesten was prominent aanwezig op mijn algoritmisch ongefilterde Twitter-feed, maar nergens op mijn Facebook. Waren het mijn Facebookvrienden? Ik schakelde het Facebookalgoritme uit, wat moeilijk is, want Facebook houdt je liever onder de controle van het algoritme. Ik zag dat mijn vrienden erover praatten. Maar het algoritme liet het me niet zien. Ik onderzocht dit en vond dat dit een wijdverbreid probleem was. Het verhaal van Ferguson was niet 'algoritmevriendelijk'. Het was niet 'sympathiek'. Wie gaat er een 'vind ik leuk' aan geven? Het is zelfs niet makkelijk te becommentariëren. Zonder vind-ik-leuk's en commentaar toonde het algoritme het waarschijnlijk aan nog minder mensen, zodat we het niet te zien kregen. In plaats daarvan benadrukte Facebook's algoritme die week dit: de ALS Ice Bucket Challenge. Giet ijswater, doneer aan een goed doel, allemaal fijn. Maar het was uiterst algoritmevriendelijk. De machine nam die beslissing voor ons. Een zeer belangrijk maar moeilijk gesprek zou zijn gesmoord, als Facebook het enige kanaal was geweest. Nu kunnen deze systemen ook verkeerd zijn op een manier die niet op menselijke systemen lijkt. Herinneren jullie zich Watson, IBM's machine-intelligentie-systeem dat op Jeopardy de vloer aanveegde met de menselijke deelnemers? Het was een geweldige speler. Maar in de finale kreeg Watson deze vraag: "Zijn grootste luchthaven is vernoemd naar een held uit WO II, zijn tweede grootste naar een slag uit WO II." (Neuriet Final Jeopardy-muziek) Chicago. De twee mensen hadden het goed. Maar Watson antwoordde "Toronto" -- voor een stad van de VS! Het indrukwekkende systeem maakte ook een fout die een mens nooit zou maken, die een zevenjarige niet zou maken. Onze machine-intelligentie kan mislukken op een manier die niet past in foutpatronen van mensen, op een onverwachte manier waarop we niet zijn voorbereid. Het zou stom zijn om een baan mis te lopen waarvoor je gekwalificeerd bent, maar het zou driedubbel stom zijn als het was vanwege een stack overflow in de een of andere subroutine. (Gelach) In mei 2010 ontstond een flash crash op Wall Street, aangewakkerd door een terugkoppeling in Wall Streets 'verkopen'-algoritme. Het wiste een biljoen dollar weg in 36 minuten. Ik wil er niet eens aan denken wat 'fout' betekent als het over dodelijke autonome wapens gaat. Dus ja, mensen hebben altijd vooroordelen. Beslissers en bewakers, in rechtbanken, in het nieuws, in de oorlog... maken ze fouten; maar dat is precies wat ik bedoel. We kunnen niet ontsnappen aan deze moeilijke vragen. We kunnen onze verantwoordelijkheden niet uitbesteden aan machines. (Applaus) Kunstmatige intelligentie stelt ons niet vrij van de ethische vraagstukken. Datawetenschapper Fred Benenson noemt dit 'wiskunde-wassen'. We moeten het tegenovergestelde doen. Algoritmes verdienen een cultuur van achterdocht, controle en onderzoek. We moeten zorgen voor algoritmische verantwoording, auditing en betekenisvolle transparantie. We moeten accepteren dat het toepassen van wiskunde en berekening op rommelige, waardegeladen menselijke aangelegenheden geen objectiviteit met zich meebrengt, maar dat de complexiteit van menselijke aangelegenheden in de algoritmen sluipt. Ja, we kunnen en we moeten berekening gebruiken om ons te helpen om betere beslissingen te nemen. Maar het uiteindelijke oordeel blijft onze morele verantwoordelijkheid, en binnen dat kader kunnen we algoritmen gebruiken, niet als een middel om onze verantwoordelijkheden van mens tot mens te ontlopen. Machine-intelligentie is hier. Dat betekent dat we steeds strakker moeten vasthouden aan menselijke waarden en menselijke ethiek. Dank je. (Applaus)