Mitt första jobb var som dataprogrammerare under mitt första år på högskolan - jag var tonåring då. Strax efter att jag börjat jobba, med att utveckla programvara, kom en chef på företaget ner där jag satt, och viskade till mig, "Kan han se om jag ljuger?" Där fanns ingen annan i rummet. "Kan vem se om du ljuger? Och varför viskar vi?" Chefen pekade på datorn som stod i rummet. "Kan han se om jag ljuger?" Den här chefen hade en affär med receptionisten. (Skratt) Och jag var fortfarande tonåring. Så jag visk-skrek tillbaka, "Ja, datorn kan se om du ljuger." (Skratt) Jag skrattade, men egentligen är det jag som är skämtet. Idag finns det beräkningssystem som kan sortera ut känslor och även lögner genom att processa data från ansikten. Annonsörer och till och med regeringar är mycket intresserade. Jag blev programmerare för som barn var jag som tokig i matematik och vetenskap. Men någonstans längs vägen fick jag vetskap om kärnvapen, och blev mycket oroad över etiken i forskningen. Jag var bekymrad. Emellertid, på grund av familjeomständigheter, var jag också tvungen att börja arbeta tidigt. Jag tänkte för mig själv; jag väljer ett tekniskt område där jag lätt kan få arbete och där jag inte behöver bekymra mig om några svårlösta etiska frågor. Så jag valde datorer. (Skratt) Ja, ha, ha, ha! Skratta gärna åt mig. Idag bygger datorforskare plattformar som kontrollerar vad som visas för miljarder människor varje dag. De utvecklar bilar som skulle kunna bestämma vem de ska köra över. De bygger till och med maskiner, vapen, som kan döda människor i krig. Det handlar om etik i hela ledet. De intelligenta maskinerna är här. Idag använder vi beräkningssystem för alla sorters beslut, men också för nya typer av beslut. Vi ställer frågor till algoritmerna som inte har ett entydigt korrekt svar, frågor som är subjektiva, öppna och värdeladdade. Vi ställer frågor som, "Vem ska företaget anställa?" "Vilken av dina vänners uppdateringar ska du kunna se?" "Vem återfaller troligast i brott?" "Vilka nyheter eller filmer ska rekommenderas till folk?" Visst, vi har använt datorer ett tag, men det här är annorlunda. Det är en historisk vridning, för vi kan inte verifiera beräkningarna för sådana subjektiva beslut på samma sätt som vi kan verifiera dem vi gör för flygplan, brokonstruktioner, eller månfärder. Är flygplan säkrare? Började bron självsvänga och rasa? Där har vi kommit överens om ganska tydliga ramverk, och vi har lagar som vägleder oss. Såna ramverk eller normer finns inte för beslut gällande krångliga mänskliga relationer. För att göra det än mer komplicerat, blir vår mjukvara kraftfullare, samtidigt som den blir både mindre transparent och mer komplex. Under det senaste årtiondet, har komplexa algoritmer gjort enorma framsteg. De kan känna igen ansikten. De kan tolka handskriven text. De kan upptäcka kontokortsbedrägerier, blockera spam och de kan översätta språk. De kan upptäcka tumörer genom medicinsk bildteknik. De kan slå människor i schack och Go. Många av de här framstegen härrör från en metod som kallas "maskininlärning." Maskininlärning skiljer sig från traditionell programmering, där du ger datorn detaljerade, exakta, noggranna instruktioner. Det här är mer som att du matar systemet med en massa data, inkluderat ostrukturerad data, till exempel från våra digitala liv. Systemet lär sig genom att bearbeta datamängderna. Avgörande är också, att systemen inte kommer fram till något entydigt svar. Du får inte ett enkelt svar, utan en sannolikhetsbedömning; "Det här är sannolikt det du letar efter." Fördelen är att metoden är kraftfull. Chefen för Googles AI-system kallade det "datas orimliga effektivitet." Nackdelen är att vi inte förstår vad systemet lär sig. Faktum är att det är dess makt. Det är mindre av att ge en dator instruktioner, och mer som att träna en Tamagotschi som vi varken förstår eller kontrollerar. Det är vårt stora problem. Det är problematiskt när såna här system får saker och ting om bakfoten. Det är också ett problem när de får till det rätt, för vi vet inte vad som är vad, när frågeställningen är subjektiv. Vi vet inte vad den här tingesten tänker. Föreställ er en algoritm för anställning - ett maskininlärningssystem som används för att anställa människor. Ett sådant system har lärt sig av data över tidigare anställda och instruerats att hitta och anställa likadana högpresterare som redan är anställda i företaget. Det låter ju bra. Jag deltog en gång i en konferens med personalchefer och chefer, högt uppsatta människor, som använder såna system. De var otroligt entusiastiska. De trodde att det här skulle göra anställningsprocessen objektiv, och mindre fördomsfull, och ge kvinnor och minoriteter en bättre chans mot fördomsfulla, partiska personalchefer. Men lyssna här - anställningar är fördomsfulla. Jag vet. Jag menar, under mitt första jobb som programmerare, kom ibland min närmsta chef förbi antingen väldigt tidigt på morgonen eller mycket sent på eftermiddagen, och sade; "Zeynep, nu går vi på lunch!" Jag var brydd av den märkliga tajmingen. Klockan är fyra på eftermiddagen. Lunch? Jag var pank, så gratis lunch. Jag följde alltid med. Senare förstod jag vad som hände. Min närmaste chef hade inte erkänt för de högre cheferna att programmeraren de anställt var en tonårstjej i jeans och gymnastikskor. Jag gjorde ett bra jobb, jag såg bara fel ut och var ung och kvinna. Så att anställa utan att ta hänsyn till kön och ras låter verkligen bra i mina öron. Men med de här systemen blir det mer komplicerat; Idag kan beräkningssystem dra alla möjliga slutsatser om dig utifrån dina digitala avtryck, även om du inte har avslöjat dem. De kan dra slutsatser om din sexuella läggning, dina karaktärsdrag, dina politiska böjelser. De kan prognostisera med hög noggrannhet. Kom ihåg - kring saker du inte avslöjat. Det är slutledningsförmåga. Jag har en vän som utvecklat ett beräkningssystem för att beräkna sannolikheten för klinisk- eller förlossningsdepression utifrån digitala avtryck. Resultaten är imponerande. Hennes system kan beräkna sannolikheten för depression månader innan symtomen visar sig - månader i förväg. Inga symtom, bara förutsägelse. Hon hoppas att det ska användas för behandling i ett tidigt stadium. Jättebra! Men sätt in det i ett anställningssammanhang. På den här personalchefskonferensen, frågade jag en högt uppsatt chef i ett mycket stort företag, "Du, tänk om, utan att du vet, ert system gallrar ut personer med hög sannolikhet att drabbas av depression? De är inte deprimerade nu, men kanske blir någon gång i framtiden. Tänk om det gallrar ut kvinnor som kan komma att bli gravida inom ett till två år men som inte är gravida nu? Tänk om aggressiva människor anställs för att det är en del av er företagskultur?" Du kan inte bedöma det utifrån könsfördelningen. De kan vara i balans. Eftersom detta gäller maskininlärning, och inte traditionell kodning, finns det ingen variabel som säger "högre risk för depression," "högre risk för graviditet," "macho-tendenser." Du vet varken vad ditt system selekterar på, eller var du ska börja titta. Det är en svart låda. Det har en förutsägbar kraft, men du förstår inte det. "Vilka garantier, frågade jag, har du för att försäkra dig om att din svarta låda inte gör något skumt?" Hon tittade på mig som om jag just trampat på hennes hund. (Skratt) Hon stirrade på mig och sade, "Jag vill inte höra ett enda ord till." Hon vände sig om och gick. Kom ihåg - hon var inte oförskämd. Det var tydligt: Det jag inte vet är inte mitt problem, stick iväg. (Skratt) Ett sånt system kan vara mindre subjektivt än personalchefer på vissa sätt. Och det kan vara ekonomiskt rimligt. Men det kan också leda till ett smygande utestängande från arbetsmarknaden av människor med högre risk för psykisk ohälsa. Vill vi bygga den sortens samhälle, utan att ens märka att vi gör det, för att vi låter maskiner ta besluten? Maskiner som vi inte begriper oss på? Ett annat problem är att dessa system ofta reagerar på data som genererats av våra aktiviteter, våra digitala avtryck. De kan ju bara reflektera våra fördomar, och dessa system kan plocka upp fördomarna, förstärka dem och återspegla dem för oss, alltmedan vi intalar oss, att "Vi gör bara objektiva neutrala beräkningar." Forskare fann att på Google, är det mindre troligt att kvinnor får se annonser för välbetalda jobb än män. Söker man på afro-amerikanska namn är det mer troligt att man får annonser som antyder kriminell bakgrund, även när det inte finns någon koppling. Sådana dolda fördomar och svarta lådor-algoritmer som forskare ibland upptäcker, och ibland inte, kan få livsavgörande konsekvenser. I Wisconsin dömdes en åtalad till sex års fängelse för att ha kört från polisen. Du vet det kanske inte, men algoritmer används mer och mer vid förelägganden och villkorliga straff. Han ville veta: Hur beräknades straffsatsen? Av en kommersiell svart låda. Företaget vägrade att få sin algoritm bedömd i en offentlig rättegång. Men det granskande, icke-vinstdrivande företaget Pro-Publica, jämförde den med den offentliga data de kunde hitta, och fann att algoritmens utfall var partiskt och dess kraftfulla beräkningar usla, knappt bättre än slumpen, och att den felaktigt pekade ut svarta åtalade som presumtiva brottslingar dubbelt så ofta som vita åtalade. Så, tänk över det här fallet: Den här kvinnan var sen när hon skulle hämta sitt gudbarn på en skola i Broward County i Florida, hon och hennes vänner sprang nerför gatan. De fick syn på en olåst barncykel och en sparkcykel på en veranda och tog dem dumt nog. När de stack iväg, kom en kvinna ut och sade, "Hallå! Det där är mitt barns prylar." De släppte dem, gick därifrån, men blev anhållna. Hon gjorde fel, hon betedde sig dumt, men hon var också bara arton år. Hon hade några ungsdomsförseelser sedan tidigare. Samtidigt hade den här mannen blivit anhållen för snatteri i Home Depot, prylar för 85 dollar, ett ganska litet brott. Men han hade tidigare blivit dömd för två väpnade rån. Men algoritmen bedömde henne som en högre risk än honom. Två år senare fann ProPublica att hon inte återfallit i brott. Hon hade bara svårt att få jobb med sin bakgrund. Han, å andra sidan, återföll i brottslighet och avtjänar nu ett åttaårigt fängelsestraff för ett nytt brott. Det är tydligt att vi måste revidera våra svarta lådor och inte låta dem få sådan här okontrollerad makt. (Applåder) Kontroller är bra och viktiga, men de löser inte alla våra problem. Ta Facebooks kraftfulla algoritm för vårt nyhetsflöde - ni vet, den som rangordnar allt och bestämmer vad som ska visas för dig från alla vänner och sidor du följer. Ska du få se ännu en spädbarnsbild? (Skratt) En vresig kommentar från en bekant? En viktig men svår nyhetsnotis? Det finns inget rätt svar. Facebook optimerar flödet för att få engagemang: gilla, dela, kommentera. I augusti 2014 bröt protester ut i Ferguson, Missouri, efter att en vit polis dödat en afro-amerikansk tonåring, under märkliga omständigheter. Nyheten om protesterna fanns överallt i mitt i stort sett algoritmfria Twitter-flöde, men inte alls på min Facebook. Berodde det på mina Facebook-vänner? Jag inaktiverade Facebooks algoritm, vilket är svårt för de vill ha dig under algoritmens kontroll, och såg att mina vänner pratade om händelsen. Det var bara det att algoritmen inte visade det. Jag undersökte saken och fann att det är ett vanligt problem. Händelsen i Ferguson var inte algoritm-vänlig. Den var inte "sympatisk." Vem skulle klicka på "gilla?" Den är inte ens lätt att kommentera. Utan gillanden och kommentarer skulle algoritmen troligen visa den för ännu färre människor, så därför fick vi inte se den. Istället, den veckan, lyfte Facebooks algoritm fram det här, ALS Ice Bucket Challenge. Häll iskallt vatten över dig, och skänk pengar för ett gott syfte. Den var superalgoritmvänlig. Maskinen tog beslutet åt oss. En mycket viktig men svår diskussion skulle förmodligen kvävts om Facebook hade varit den enda nyhetskällan. Till sist, de här systemen kan också göra fel på sätt som människor inte skulle göra. Kommer ni ihåg Watson, IBMs intelligenta dator som sopade mattan med deltagarna i Jeopardy? Den var en duktig motståndare. Men sen, som sista fråga i Jeopardy, fick Watson följande fråga: "Största flygplatsen är döpt efter en hjälte i 2:a världskriget, den andra största, från ett slag i samma krig." (Nynnar Jeopardy-vinjetten) Chicago. De två människorna svarade rätt. Watson, å sin sida, svarade "Toronto" - i kategorin amerikanska städer! Den imponerande maskinen gjorde också fel som en människa aldrig skulle göra, en lågstadieelev aldrig skulle göra. Våra intelligenta maskiner kan misslyckas på sätt som inte följer mänskliga mönster, på sätt som vi inte förväntar oss och är förberedda för. Det är botten att inte få ett jobb man är kvalificerad för, men det skulle suga om det berodde på minneshanteringen i någon subrutin. (Skratt) I maj 2010 drabbades Wall Street av en "blixtkrasch" som förstärktes av en loop i Wall Streets sälj-algoritm som på 36 minuter raderade en miljard dollar. Jag vill inte tänka på vad "error" betyder i samband med automatiserade vapensystem. Visst, människor har alltid gjort partiska antaganden. Beslutsfattare och andra grindvakter, i domstolar, i nyheter, i krig ... de gör misstag; och det är det här jag menar. Vi kan inte rymma från de här svåra frågeställningarna. Vi kan inte lämna över ansvaret till maskiner. (Applåder) Artificiell intelligens ger oss inte ett frikort när det gäller etik. Dataanalytikern Fred Benenson kallar det för matematik-tvätt. Vi behöver motsatsen. Vi måste förfina algoritmerna, granska och kontrollera dem. Vi måste se till att ha ansvarsfulla algoritmer, revideringar och meningsfull transparens. Vi måste förstå att användande av matematik och maskinberäkningar i krångliga, värdeladdade mänskliga relationer inte skapar objektivitet; utan snarare, att komplexa handlingar påverkar algoritmerna. Ja, vi kan och vi bör använda maskinberäkningar som en hjälp för att ta bättre beslut. Men vi måste ta vårt moraliska ansvar i beaktande i bedömningarna och använda algoritmerna i det ramverket, och inte som ett sätt att frånsäga oss eller outsourca vårt ansvar till varandra som människa till människa. Maskinintelligens är här för att stanna. Det betyder att vi måste hålla ännu hårdare i våra värderingar och vår etik. Tack. (Applåder)