Mitt första jobb var som dataprogrammerare
under mitt första år på högskolan -
jag var tonåring då.
Strax efter att jag börjat jobba,
med att utveckla programvara,
kom en chef på företaget ner där jag satt,
och viskade till mig,
"Kan han se om jag ljuger?"
Där fanns ingen annan i rummet.
"Kan vem se om du ljuger?
Och varför viskar vi?"
Chefen pekade på datorn som stod i rummet.
"Kan han se om jag ljuger?"
Den här chefen hade en affär
med receptionisten.
(Skratt)
Och jag var fortfarande tonåring.
Så jag visk-skrek tillbaka,
"Ja, datorn kan se om du ljuger."
(Skratt)
Jag skrattade, men egentligen
är det jag som är skämtet.
Idag finns det beräkningssystem
som kan sortera ut känslor och även lögner
genom att processa data från ansikten.
Annonsörer och till och med regeringar
är mycket intresserade.
Jag blev programmerare
för som barn var jag som tokig
i matematik och vetenskap.
Men någonstans längs vägen
fick jag vetskap om kärnvapen,
och blev mycket oroad
över etiken i forskningen.
Jag var bekymrad.
Emellertid, på grund av
familjeomständigheter,
var jag också tvungen
att börja arbeta tidigt.
Jag tänkte för mig själv;
jag väljer ett tekniskt område
där jag lätt kan få arbete och där
jag inte behöver bekymra mig om
några svårlösta etiska frågor.
Så jag valde datorer.
(Skratt)
Ja, ha, ha, ha!
Skratta gärna åt mig.
Idag bygger datorforskare plattformar
som kontrollerar vad som visas
för miljarder människor varje dag.
De utvecklar bilar
som skulle kunna bestämma
vem de ska köra över.
De bygger till och med maskiner, vapen,
som kan döda människor i krig.
Det handlar om etik i hela ledet.
De intelligenta maskinerna är här.
Idag använder vi beräkningssystem
för alla sorters beslut,
men också för nya typer av beslut.
Vi ställer frågor till algoritmerna
som inte har ett entydigt korrekt svar,
frågor som är subjektiva,
öppna och värdeladdade.
Vi ställer frågor som,
"Vem ska företaget anställa?"
"Vilken av dina vänners uppdateringar
ska du kunna se?"
"Vem återfaller troligast i brott?"
"Vilka nyheter eller filmer
ska rekommenderas till folk?"
Visst, vi har använt datorer ett tag,
men det här är annorlunda.
Det är en historisk vridning,
för vi kan inte verifiera beräkningarna
för sådana subjektiva beslut
på samma sätt som vi kan verifiera dem
vi gör för flygplan, brokonstruktioner,
eller månfärder.
Är flygplan säkrare?
Började bron självsvänga och rasa?
Där har vi kommit överens om
ganska tydliga ramverk,
och vi har lagar som vägleder oss.
Såna ramverk eller normer finns inte
för beslut gällande
krångliga mänskliga relationer.
För att göra det än mer komplicerat,
blir vår mjukvara kraftfullare,
samtidigt som den blir
både mindre transparent och mer komplex.
Under det senaste årtiondet,
har komplexa algoritmer
gjort enorma framsteg.
De kan känna igen ansikten.
De kan tolka handskriven text.
De kan upptäcka kontokortsbedrägerier,
blockera spam
och de kan översätta språk.
De kan upptäcka tumörer
genom medicinsk bildteknik.
De kan slå människor i schack och Go.
Många av de här framstegen härrör från
en metod som kallas "maskininlärning."
Maskininlärning skiljer sig
från traditionell programmering,
där du ger datorn detaljerade,
exakta, noggranna instruktioner.
Det här är mer som att du
matar systemet med en massa data,
inkluderat ostrukturerad data,
till exempel från våra digitala liv.
Systemet lär sig genom att
bearbeta datamängderna.
Avgörande är också,
att systemen inte kommer fram till
något entydigt svar.
Du får inte ett enkelt svar,
utan en sannolikhetsbedömning;
"Det här är sannolikt det du letar efter."
Fördelen är att metoden är kraftfull.
Chefen för Googles AI-system kallade det
"datas orimliga effektivitet."
Nackdelen är
att vi inte förstår vad systemet lär sig.
Faktum är att det är dess makt.
Det är mindre av
att ge en dator instruktioner,
och mer som att träna en Tamagotschi
som vi varken förstår eller kontrollerar.
Det är vårt stora problem.
Det är problematiskt när såna här system
får saker och ting om bakfoten.
Det är också ett problem
när de får till det rätt,
för vi vet inte vad som är vad,
när frågeställningen är subjektiv.
Vi vet inte vad den här tingesten tänker.
Föreställ er en algoritm
för anställning -
ett maskininlärningssystem
som används för att anställa människor.
Ett sådant system har lärt sig
av data över tidigare anställda
och instruerats att hitta och anställa
likadana högpresterare
som redan är anställda i företaget.
Det låter ju bra.
Jag deltog en gång i en konferens
med personalchefer och chefer,
högt uppsatta människor,
som använder såna system.
De var otroligt entusiastiska.
De trodde att det här skulle göra
anställningsprocessen objektiv,
och mindre fördomsfull,
och ge kvinnor och minoriteter
en bättre chans
mot fördomsfulla, partiska
personalchefer.
Men lyssna här -
anställningar är fördomsfulla.
Jag vet.
Jag menar, under mitt första jobb
som programmerare,
kom ibland min närmsta chef förbi
antingen väldigt tidigt på morgonen
eller mycket sent på eftermiddagen,
och sade; "Zeynep, nu går vi på lunch!"
Jag var brydd av den märkliga tajmingen.
Klockan är fyra på eftermiddagen. Lunch?
Jag var pank, så gratis lunch.
Jag följde alltid med.
Senare förstod jag vad som hände.
Min närmaste chef hade inte erkänt
för de högre cheferna
att programmeraren de anställt
var en tonårstjej
i jeans och gymnastikskor.
Jag gjorde ett bra jobb,
jag såg bara fel ut
och var ung och kvinna.
Så att anställa utan att
ta hänsyn till kön och ras
låter verkligen bra i mina öron.
Men med de här systemen
blir det mer komplicerat;
Idag kan beräkningssystem
dra alla möjliga slutsatser om dig
utifrån dina digitala avtryck,
även om du inte har avslöjat dem.
De kan dra slutsatser
om din sexuella läggning,
dina karaktärsdrag,
dina politiska böjelser.
De kan prognostisera med hög noggrannhet.
Kom ihåg - kring saker du inte avslöjat.
Det är slutledningsförmåga.
Jag har en vän som utvecklat
ett beräkningssystem
för att beräkna sannolikheten
för klinisk- eller förlossningsdepression
utifrån digitala avtryck.
Resultaten är imponerande.
Hennes system kan beräkna
sannolikheten för depression
månader innan symtomen visar sig -
månader i förväg.
Inga symtom, bara förutsägelse.
Hon hoppas att det ska användas
för behandling i ett tidigt stadium.
Jättebra!
Men sätt in det
i ett anställningssammanhang.
På den här personalchefskonferensen,
frågade jag en högt uppsatt chef
i ett mycket stort företag,
"Du, tänk om, utan att du vet,
ert system gallrar ut
personer med hög sannolikhet
att drabbas av depression?
De är inte deprimerade nu,
men kanske blir någon gång i framtiden.
Tänk om det gallrar ut kvinnor
som kan komma att bli gravida
inom ett till två år
men som inte är gravida nu?
Tänk om aggressiva människor anställs för
att det är en del av er företagskultur?"
Du kan inte bedöma det
utifrån könsfördelningen.
De kan vara i balans.
Eftersom detta gäller maskininlärning,
och inte traditionell kodning,
finns det ingen variabel som säger
"högre risk för depression,"
"högre risk för graviditet,"
"macho-tendenser."
Du vet varken
vad ditt system selekterar på,
eller var du ska börja titta.
Det är en svart låda.
Det har en förutsägbar kraft,
men du förstår inte det.
"Vilka garantier, frågade jag, har du
för att försäkra dig om
att din svarta låda inte gör något skumt?"
Hon tittade på mig som om jag
just trampat på hennes hund.
(Skratt)
Hon stirrade på mig och sade,
"Jag vill inte höra ett enda ord till."
Hon vände sig om och gick.
Kom ihåg - hon var inte oförskämd.
Det var tydligt: Det jag inte vet
är inte mitt problem, stick iväg.
(Skratt)
Ett sånt system kan vara mindre subjektivt
än personalchefer på vissa sätt.
Och det kan vara ekonomiskt rimligt.
Men det kan också leda till
ett smygande utestängande
från arbetsmarknaden
av människor med högre risk
för psykisk ohälsa.
Vill vi bygga den sortens samhälle,
utan att ens märka att vi gör det,
för att vi låter maskiner ta besluten?
Maskiner som vi inte begriper oss på?
Ett annat problem är att
dessa system ofta reagerar på data
som genererats av våra aktiviteter,
våra digitala avtryck.
De kan ju bara reflektera våra fördomar,
och dessa system
kan plocka upp fördomarna,
förstärka dem
och återspegla dem för oss,
alltmedan vi intalar oss,
att "Vi gör bara objektiva
neutrala beräkningar."
Forskare fann att på Google,
är det mindre troligt att kvinnor får se
annonser för välbetalda jobb än män.
Söker man på afro-amerikanska namn
är det mer troligt att man får annonser
som antyder kriminell bakgrund,
även när det inte finns någon koppling.
Sådana dolda fördomar
och svarta lådor-algoritmer
som forskare ibland upptäcker,
och ibland inte,
kan få livsavgörande konsekvenser.
I Wisconsin dömdes en åtalad
till sex års fängelse
för att ha kört från polisen.
Du vet det kanske inte,
men algoritmer används mer och mer
vid förelägganden och villkorliga straff.
Han ville veta:
Hur beräknades straffsatsen?
Av en kommersiell svart låda.
Företaget vägrade
att få sin algoritm bedömd
i en offentlig rättegång.
Men det granskande, icke-vinstdrivande
företaget Pro-Publica, jämförde den
med den offentliga data
de kunde hitta, och fann
att algoritmens utfall var partiskt
och dess kraftfulla beräkningar usla,
knappt bättre än slumpen,
och att den felaktigt pekade ut
svarta åtalade som presumtiva brottslingar
dubbelt så ofta som vita åtalade.
Så, tänk över det här fallet:
Den här kvinnan var sen
när hon skulle hämta sitt gudbarn
på en skola i Broward County i Florida,
hon och hennes vänner sprang nerför gatan.
De fick syn på en olåst barncykel
och en sparkcykel på en veranda
och tog dem dumt nog.
När de stack iväg,
kom en kvinna ut och sade,
"Hallå! Det där är mitt barns prylar."
De släppte dem, gick därifrån,
men blev anhållna.
Hon gjorde fel, hon betedde sig dumt,
men hon var också bara arton år.
Hon hade några ungsdomsförseelser
sedan tidigare.
Samtidigt hade den här mannen
blivit anhållen för snatteri i Home Depot,
prylar för 85 dollar,
ett ganska litet brott.
Men han hade tidigare blivit dömd
för två väpnade rån.
Men algoritmen bedömde henne
som en högre risk än honom.
Två år senare fann ProPublica
att hon inte återfallit i brott.
Hon hade bara svårt
att få jobb med sin bakgrund.
Han, å andra sidan,
återföll i brottslighet
och avtjänar nu
ett åttaårigt fängelsestraff
för ett nytt brott.
Det är tydligt att vi måste revidera
våra svarta lådor
och inte låta dem få
sådan här okontrollerad makt.
(Applåder)
Kontroller är bra och viktiga,
men de löser inte alla våra problem.
Ta Facebooks kraftfulla algoritm
för vårt nyhetsflöde -
ni vet, den som rangordnar allt
och bestämmer vad som ska visas för dig
från alla vänner och sidor du följer.
Ska du få se ännu en spädbarnsbild?
(Skratt)
En vresig kommentar från en bekant?
En viktig men svår nyhetsnotis?
Det finns inget rätt svar.
Facebook optimerar flödet
för att få engagemang:
gilla, dela, kommentera.
I augusti 2014
bröt protester ut i Ferguson, Missouri,
efter att en vit polis dödat
en afro-amerikansk tonåring,
under märkliga omständigheter.
Nyheten om protesterna fanns överallt
i mitt i stort sett
algoritmfria Twitter-flöde,
men inte alls på min Facebook.
Berodde det på mina Facebook-vänner?
Jag inaktiverade Facebooks algoritm,
vilket är svårt för de vill ha dig
under algoritmens kontroll,
och såg att mina vänner
pratade om händelsen.
Det var bara det att algoritmen
inte visade det.
Jag undersökte saken och fann
att det är ett vanligt problem.
Händelsen i Ferguson
var inte algoritm-vänlig.
Den var inte "sympatisk."
Vem skulle klicka på "gilla?"
Den är inte ens lätt att kommentera.
Utan gillanden och kommentarer
skulle algoritmen troligen visa den
för ännu färre människor,
så därför fick vi inte se den.
Istället, den veckan,
lyfte Facebooks algoritm fram det här,
ALS Ice Bucket Challenge.
Häll iskallt vatten över dig,
och skänk pengar för ett gott syfte.
Den var superalgoritmvänlig.
Maskinen tog beslutet åt oss.
En mycket viktig men svår diskussion
skulle förmodligen kvävts
om Facebook hade varit
den enda nyhetskällan.
Till sist, de här systemen
kan också göra fel
på sätt som människor inte skulle göra.
Kommer ni ihåg Watson,
IBMs intelligenta dator
som sopade mattan
med deltagarna i Jeopardy?
Den var en duktig motståndare.
Men sen, som sista fråga i Jeopardy,
fick Watson följande fråga:
"Största flygplatsen är döpt
efter en hjälte i 2:a världskriget,
den andra största,
från ett slag i samma krig."
(Nynnar Jeopardy-vinjetten)
Chicago.
De två människorna svarade rätt.
Watson, å sin sida, svarade "Toronto" -
i kategorin amerikanska städer!
Den imponerande maskinen
gjorde också fel
som en människa aldrig skulle göra,
en lågstadieelev aldrig skulle göra.
Våra intelligenta maskiner kan misslyckas
på sätt som inte följer
mänskliga mönster,
på sätt som vi inte förväntar oss
och är förberedda för.
Det är botten att inte få
ett jobb man är kvalificerad för,
men det skulle suga om det
berodde på minneshanteringen
i någon subrutin.
(Skratt)
I maj 2010
drabbades Wall Street av en "blixtkrasch"
som förstärktes av en loop
i Wall Streets sälj-algoritm
som på 36 minuter
raderade en miljard dollar.
Jag vill inte tänka på vad "error" betyder
i samband med automatiserade vapensystem.
Visst, människor har alltid
gjort partiska antaganden.
Beslutsfattare och andra grindvakter,
i domstolar, i nyheter, i krig ...
de gör misstag;
och det är det här jag menar.
Vi kan inte rymma från
de här svåra frågeställningarna.
Vi kan inte
lämna över ansvaret till maskiner.
(Applåder)
Artificiell intelligens ger oss inte
ett frikort när det gäller etik.
Dataanalytikern Fred Benenson
kallar det för matematik-tvätt.
Vi behöver motsatsen.
Vi måste förfina algoritmerna,
granska och kontrollera dem.
Vi måste se till att ha
ansvarsfulla algoritmer,
revideringar och meningsfull transparens.
Vi måste förstå att användande av
matematik och maskinberäkningar
i krångliga, värdeladdade
mänskliga relationer
inte skapar objektivitet;
utan snarare, att komplexa handlingar
påverkar algoritmerna.
Ja, vi kan och vi bör
använda maskinberäkningar
som en hjälp för att ta bättre beslut.
Men vi måste ta vårt moraliska ansvar
i beaktande i bedömningarna
och använda algoritmerna i det ramverket,
och inte som ett sätt att frånsäga oss
eller outsourca vårt ansvar
till varandra som människa till människa.
Maskinintelligens är här för att stanna.
Det betyder att vi måste
hålla ännu hårdare
i våra värderingar och vår etik.
Tack.
(Applåder)