Maskinintelligens behöver mänsklig etik och moral

De intelligenta maskinerna är här, och vi använder dem redan för att ta subjektiva beslut. Men med det komplexa sätt som AI växer och förbättras på blir den svår att begripa och ännu svårare att kontrollera. I det här alarmerande föredraget förklarar teknologen och sociologen Zeynep Tufekci hur intelligenta maskiner kan misslyckas på sätt som inte stämmer med det mänskliga mönstret - och på sätt som vi varken förväntar oss eller är förberedda för. "Vi kan inte outsourca vårt ansvar till maskiner", menar hon. "Vi måste hålla oss ännu hårdare till våra värderingar och vår mänskliga etik."

Mitt första jobb var som dataprogrammerare

under mitt första år på högskolan -

jag var tonåring då.

Strax efter att jag börjat jobba,

med att utveckla programvara,

kom en chef på företaget ner där jag satt,

och viskade till mig,

"Kan han se om jag ljuger?"

Där fanns ingen annan i rummet.

"Kan vem se om du ljuger?
Och varför viskar vi?"

Chefen pekade på datorn som stod i rummet.

"Kan han se om jag ljuger?"

Den här chefen hade en affär
med receptionisten.

(Skratt)

Och jag var fortfarande tonåring.

Så jag visk-skrek tillbaka,

"Ja, datorn kan se om du ljuger."

(Skratt)

Jag skrattade, men egentligen
är det jag som är skämtet.

Idag finns det beräkningssystem

som kan sortera ut känslor och även lögner

genom att processa data från ansikten.

Annonsörer och till och med regeringar
är mycket intresserade.

Jag blev programmerare

för som barn var jag som tokig
i matematik och vetenskap.

Men någonstans längs vägen
fick jag vetskap om kärnvapen,

och blev mycket oroad
över etiken i forskningen.

Jag var bekymrad.

Emellertid, på grund av
familjeomständigheter,

var jag också tvungen
att börja arbeta tidigt.

Jag tänkte för mig själv;
jag väljer ett tekniskt område

där jag lätt kan få arbete och där

jag inte behöver bekymra mig om
några svårlösta etiska frågor.

Så jag valde datorer.

(Skratt)

Ja, ha, ha, ha!
Skratta gärna åt mig.

Idag bygger datorforskare plattformar

som kontrollerar vad som visas
för miljarder människor varje dag.

De utvecklar bilar

som skulle kunna bestämma
vem de ska köra över.

De bygger till och med maskiner, vapen,

som kan döda människor i krig.

Det handlar om etik i hela ledet.

De intelligenta maskinerna är här.

Idag använder vi beräkningssystem
för alla sorters beslut,

men också för nya typer av beslut.

Vi ställer frågor till algoritmerna
som inte har ett entydigt korrekt svar,

frågor som är subjektiva,

öppna och värdeladdade.

Vi ställer frågor som,

"Vem ska företaget anställa?"

"Vilken av dina vänners uppdateringar

ska du kunna se?"

"Vem återfaller troligast i brott?"

"Vilka nyheter eller filmer
ska rekommenderas till folk?"

Visst, vi har använt datorer ett tag,

men det här är annorlunda.

Det är en historisk vridning,

för vi kan inte verifiera beräkningarna
för sådana subjektiva beslut

på samma sätt som vi kan verifiera dem
vi gör för flygplan, brokonstruktioner,

eller månfärder.

Är flygplan säkrare?
Började bron självsvänga och rasa?

Där har vi kommit överens om
ganska tydliga ramverk,

och vi har lagar som vägleder oss.

Såna ramverk eller normer finns inte

för beslut gällande
krångliga mänskliga relationer.

För att göra det än mer komplicerat,
blir vår mjukvara kraftfullare,

samtidigt som den blir
både mindre transparent och mer komplex.

Under det senaste årtiondet,

har komplexa algoritmer
gjort enorma framsteg.

De kan känna igen ansikten.

De kan tolka handskriven text.

De kan upptäcka kontokortsbedrägerier,

blockera spam

och de kan översätta språk.

De kan upptäcka tumörer
genom medicinsk bildteknik.

De kan slå människor i schack och Go.

Många av de här framstegen härrör från
en metod som kallas "maskininlärning."

Maskininlärning skiljer sig
från traditionell programmering,

där du ger datorn detaljerade,
exakta, noggranna instruktioner.

Det här är mer som att du
matar systemet med en massa data,

inkluderat ostrukturerad data,

till exempel från våra digitala liv.

Systemet lär sig genom att
bearbeta datamängderna.

Avgörande är också,

att systemen inte kommer fram till
något entydigt svar.

Du får inte ett enkelt svar,
utan en sannolikhetsbedömning;

"Det här är sannolikt det du letar efter."

Fördelen är att metoden är kraftfull.

Chefen för Googles AI-system kallade det

"datas orimliga effektivitet."

Nackdelen är

att vi inte förstår vad systemet lär sig.

Faktum är att det är dess makt.

Det är mindre av
att ge en dator instruktioner,

och mer som att träna en Tamagotschi

som vi varken förstår eller kontrollerar.

Det är vårt stora problem.

Det är problematiskt när såna här system
får saker och ting om bakfoten.

Det är också ett problem
när de får till det rätt,

för vi vet inte vad som är vad,
när frågeställningen är subjektiv.

Vi vet inte vad den här tingesten tänker.

Föreställ er en algoritm
för anställning -

ett maskininlärningssystem
som används för att anställa människor.

Ett sådant system har lärt sig
av data över tidigare anställda

och instruerats att hitta och anställa

likadana högpresterare
som redan är anställda i företaget.

Det låter ju bra.

Jag deltog en gång i en konferens

med personalchefer och chefer,

högt uppsatta människor,

som använder såna system.

De var otroligt entusiastiska.

De trodde att det här skulle göra
anställningsprocessen objektiv,

och mindre fördomsfull,

och ge kvinnor och minoriteter
en bättre chans

mot fördomsfulla, partiska
personalchefer.

Men lyssna här -
anställningar är fördomsfulla.

Jag vet.

Jag menar, under mitt första jobb
som programmerare,

kom ibland min närmsta chef förbi

antingen väldigt tidigt på morgonen
eller mycket sent på eftermiddagen,

och sade; "Zeynep, nu går vi på lunch!"

Jag var brydd av den märkliga tajmingen.

Klockan är fyra på eftermiddagen. Lunch?

Jag var pank, så gratis lunch.
Jag följde alltid med.

Senare förstod jag vad som hände.

Min närmaste chef hade inte erkänt
för de högre cheferna

att programmeraren de anställt
var en tonårstjej

i jeans och gymnastikskor.

Jag gjorde ett bra jobb,
jag såg bara fel ut

och var ung och kvinna.

Så att anställa utan att
ta hänsyn till kön och ras

låter verkligen bra i mina öron.

Men med de här systemen
blir det mer komplicerat;

Idag kan beräkningssystem
dra alla möjliga slutsatser om dig

utifrån dina digitala avtryck,

även om du inte har avslöjat dem.

De kan dra slutsatser
om din sexuella läggning,

dina karaktärsdrag,

dina politiska böjelser.

De kan prognostisera med hög noggrannhet.

Kom ihåg - kring saker du inte avslöjat.

Det är slutledningsförmåga.

Jag har en vän som utvecklat
ett beräkningssystem

för att beräkna sannolikheten
för klinisk- eller förlossningsdepression

utifrån digitala avtryck.

Resultaten är imponerande.

Hennes system kan beräkna
sannolikheten för depression

månader innan symtomen visar sig -

månader i förväg.

Inga symtom, bara förutsägelse.

Hon hoppas att det ska användas
för behandling i ett tidigt stadium.

Jättebra!

Men sätt in det
i ett anställningssammanhang.

På den här personalchefskonferensen,

frågade jag en högt uppsatt chef
i ett mycket stort företag,

"Du, tänk om, utan att du vet,

ert system gallrar ut

personer med hög sannolikhet
att drabbas av depression?

De är inte deprimerade nu,
men kanske blir någon gång i framtiden.

Tänk om det gallrar ut kvinnor
som kan komma att bli gravida

inom ett till två år
men som inte är gravida nu?

Tänk om aggressiva människor anställs för
att det är en del av er företagskultur?"

Du kan inte bedöma det
utifrån könsfördelningen.

De kan vara i balans.

Eftersom detta gäller maskininlärning,
och inte traditionell kodning,

finns det ingen variabel som säger
"högre risk för depression,"

"högre risk för graviditet,"

"macho-tendenser."

Du vet varken

vad ditt system selekterar på,

eller var du ska börja titta.

Det är en svart låda.

Det har en förutsägbar kraft,
men du förstår inte det.

"Vilka garantier, frågade jag, har du

för att försäkra dig om
att din svarta låda inte gör något skumt?"

Hon tittade på mig som om jag
just trampat på hennes hund.

(Skratt)

Hon stirrade på mig och sade,

"Jag vill inte höra ett enda ord till."

Hon vände sig om och gick.

Kom ihåg - hon var inte oförskämd.

Det var tydligt: Det jag inte vet
är inte mitt problem, stick iväg.

(Skratt)

Ett sånt system kan vara mindre subjektivt

än personalchefer på vissa sätt.

Och det kan vara ekonomiskt rimligt.

Men det kan också leda till

ett smygande utestängande
från arbetsmarknaden

av människor med högre risk
för psykisk ohälsa.

Vill vi bygga den sortens samhälle,

utan att ens märka att vi gör det,

för att vi låter maskiner ta besluten?

Maskiner som vi inte begriper oss på?

Ett annat problem är att

dessa system ofta reagerar på data
som genererats av våra aktiviteter,

våra digitala avtryck.

De kan ju bara reflektera våra fördomar,

och dessa system
kan plocka upp fördomarna,

förstärka dem

och återspegla dem för oss,

alltmedan vi intalar oss,

att "Vi gör bara objektiva
neutrala beräkningar."

Forskare fann att på Google,

är det mindre troligt att kvinnor får se
annonser för välbetalda jobb än män.

Söker man på afro-amerikanska namn

är det mer troligt att man får annonser
som antyder kriminell bakgrund,

även när det inte finns någon koppling.

Sådana dolda fördomar
och svarta lådor-algoritmer

som forskare ibland upptäcker,
och ibland inte,

kan få livsavgörande konsekvenser.

I Wisconsin dömdes en åtalad
till sex års fängelse

för att ha kört från polisen.

Du vet det kanske inte,

men algoritmer används mer och mer
vid förelägganden och villkorliga straff.

Han ville veta:
Hur beräknades straffsatsen?

Av en kommersiell svart låda.

Företaget vägrade
att få sin algoritm bedömd

i en offentlig rättegång.

Men det granskande, icke-vinstdrivande
företaget Pro-Publica, jämförde den

med den offentliga data
de kunde hitta, och fann

att algoritmens utfall var partiskt

och dess kraftfulla beräkningar usla,
knappt bättre än slumpen,

och att den felaktigt pekade ut
svarta åtalade som presumtiva brottslingar

dubbelt så ofta som vita åtalade.

Så, tänk över det här fallet:

Den här kvinnan var sen
när hon skulle hämta sitt gudbarn

på en skola i Broward County i Florida,

hon och hennes vänner sprang nerför gatan.

De fick syn på en olåst barncykel
och en sparkcykel på en veranda

och tog dem dumt nog.

När de stack iväg,
kom en kvinna ut och sade,

"Hallå! Det där är mitt barns prylar."

De släppte dem, gick därifrån,
men blev anhållna.

Hon gjorde fel, hon betedde sig dumt,
men hon var också bara arton år.

Hon hade några ungsdomsförseelser

sedan tidigare.

Samtidigt hade den här mannen
blivit anhållen för snatteri i Home Depot,

prylar för 85 dollar,
ett ganska litet brott.

Men han hade tidigare blivit dömd
för två väpnade rån.

Men algoritmen bedömde henne
som en högre risk än honom.

Två år senare fann ProPublica
att hon inte återfallit i brott.

Hon hade bara svårt
att få jobb med sin bakgrund.

Han, å andra sidan,
återföll i brottslighet

och avtjänar nu
ett åttaårigt fängelsestraff

för ett nytt brott.

Det är tydligt att vi måste revidera
våra svarta lådor

och inte låta dem få
sådan här okontrollerad makt.

(Applåder)

Kontroller är bra och viktiga,
men de löser inte alla våra problem.

Ta Facebooks kraftfulla algoritm
för vårt nyhetsflöde -

ni vet, den som rangordnar allt
och bestämmer vad som ska visas för dig

från alla vänner och sidor du följer.

Ska du få se ännu en spädbarnsbild?

(Skratt)

En vresig kommentar från en bekant?

En viktig men svår nyhetsnotis?

Det finns inget rätt svar.

Facebook optimerar flödet
för att få engagemang:

gilla, dela, kommentera.

I augusti 2014

bröt protester ut i Ferguson, Missouri,

efter att en vit polis dödat
en afro-amerikansk tonåring,

under märkliga omständigheter.

Nyheten om protesterna fanns överallt

i mitt i stort sett
algoritmfria Twitter-flöde,

men inte alls på min Facebook.

Berodde det på mina Facebook-vänner?

Jag inaktiverade Facebooks algoritm,

vilket är svårt för de vill ha dig

under algoritmens kontroll,

och såg att mina vänner
pratade om händelsen.

Det var bara det att algoritmen
inte visade det.

Jag undersökte saken och fann
att det är ett vanligt problem.

Händelsen i Ferguson
var inte algoritm-vänlig.

Den var inte "sympatisk."

Vem skulle klicka på "gilla?"

Den är inte ens lätt att kommentera.

Utan gillanden och kommentarer

skulle algoritmen troligen visa den
för ännu färre människor,

så därför fick vi inte se den.

Istället, den veckan,

lyfte Facebooks algoritm fram det här,

ALS Ice Bucket Challenge.

Häll iskallt vatten över dig,
och skänk pengar för ett gott syfte.

Den var superalgoritmvänlig.

Maskinen tog beslutet åt oss.

En mycket viktig men svår diskussion

skulle förmodligen kvävts

om Facebook hade varit
den enda nyhetskällan.

Till sist, de här systemen
kan också göra fel

på sätt som människor inte skulle göra.

Kommer ni ihåg Watson,
IBMs intelligenta dator

som sopade mattan
med deltagarna i Jeopardy?

Den var en duktig motståndare.

Men sen, som sista fråga i Jeopardy,
fick Watson följande fråga:

"Största flygplatsen är döpt
efter en hjälte i 2:a världskriget,

den andra största,
från ett slag i samma krig."

(Nynnar Jeopardy-vinjetten)

Chicago.

De två människorna svarade rätt.

Watson, å sin sida, svarade "Toronto" -

i kategorin amerikanska städer!

Den imponerande maskinen
gjorde också fel

som en människa aldrig skulle göra,
en lågstadieelev aldrig skulle göra.

Våra intelligenta maskiner kan misslyckas

på sätt som inte följer
mänskliga mönster,

på sätt som vi inte förväntar oss
och är förberedda för.

Det är botten att inte få
ett jobb man är kvalificerad för,

men det skulle suga om det
berodde på minneshanteringen

i någon subrutin.

(Skratt)

I maj 2010

drabbades Wall Street av en "blixtkrasch"
som förstärktes av en loop

i Wall Streets sälj-algoritm

som på 36 minuter
raderade en miljard dollar.

Jag vill inte tänka på vad "error" betyder

i samband med automatiserade vapensystem.

Visst, människor har alltid
gjort partiska antaganden.

Beslutsfattare och andra grindvakter,

i domstolar, i nyheter, i krig ...

de gör misstag;
och det är det här jag menar.

Vi kan inte rymma från
de här svåra frågeställningarna.

Vi kan inte

lämna över ansvaret till maskiner.

(Applåder)

Artificiell intelligens ger oss inte
ett frikort när det gäller etik.

Dataanalytikern Fred Benenson
kallar det för matematik-tvätt.

Vi behöver motsatsen.

Vi måste förfina algoritmerna,
granska och kontrollera dem.

Vi måste se till att ha
ansvarsfulla algoritmer,

revideringar och meningsfull transparens.

Vi måste förstå att användande av
matematik och maskinberäkningar

i krångliga, värdeladdade
mänskliga relationer

inte skapar objektivitet;

utan snarare, att komplexa handlingar
påverkar algoritmerna.

Ja, vi kan och vi bör
använda maskinberäkningar

som en hjälp för att ta bättre beslut.

Men vi måste ta vårt moraliska ansvar
i beaktande i bedömningarna

och använda algoritmerna i det ramverket,

och inte som ett sätt att frånsäga oss
eller outsourca vårt ansvar

till varandra som människa till människa.

Maskinintelligens är här för att stanna.

Det betyder att vi måste
hålla ännu hårdare

i våra värderingar och vår etik.

Tack.

(Applåder)