Tiden när vi trodde blint på big data måste få ett slut

Algoritmer bestämmer vem som får ta ett lån, vem som kommer på jobbintervju, vem som kan teckna försäkring och mycket mer - men de gör inte automatiskt saker och ting rättvisa. Matematikern och dataanalytikern Cathy O'Neil har myntat ett begrepp för algoritmer som är hemliga, betydelsefulla och skadliga: "matte-förstörelsevapen". Lär dig mer om de dolda agendorna bakom formlerna.

Algoritmer finns överallt.

De sorterar ut vinnarna från förlorarna.

Vinnarna får jobbet

eller ett bra kreditkortserbjudande.

Förlorarna får inte ens en intervju

eller så får de en dyrare försäkring.

Vi poängsätts av hemliga formler
som vi inte förstår

och som oftast inte går att överklaga.

Det väcker frågan:

Tänk om algoritmerna har fel?

För att bygga en algoritm krävs två saker:

man behöver data, vad har hänt tidigare,

och en definition av framgång,

det man letar efter och ofta hoppas på.

Man lär en algoritm
genom att titta och fundera.

Algoritmen räknar ut
vad som associeras med framgång.

Vilken situation leder till framgång?

Faktum är att alla använder algoritmer.

De formulerar dem bara inte
i skriftlig kod.

Låt mig ge ett exempel.

Jag använder en algoritm varje
dag för att laga mat.

Datan jag använder

är ingredienserna jag har hemma,

den tid jag har på mig,

min ambitionsnivå,

och jag granskar den datan.

Jag räknar inte småpåsarna
med nudlar som mat.

(Skratt)

Min definition av framgång är:

En måltid är lyckad
om barnen äter grönsakerna.

Den skiljer sig ifrån min
yngste sons definition.

Han skulle säga att framgång är
om han får äta mycket Nutella.

Men jag definierar vad framgången är.

Jag bestämmer. Mina åsikter har betydelse.

Det här är den första regeln
för en algoritm.

Algoritmer är åsikter inbäddade i kod.

Det är stor skillnad mot vad man tror
att folk tror om algoritmer.

Folk tror att algoritmer är objektiva,
sanna och vetenskapligt underbyggda.

Det är ett marknadsföringstrick.

Det är också ett marknadsföringstrick

för att skrämma dig med algoritmer,

få dig att lita på och frukta algoritmerna

eftersom du litar på
och fruktar matematik.

Mycket kan gå fel
när vi tror blint på big data.

Det här är Kiri Soares.
Hon är gymnasierektor i Brooklyn.

2011 berättade hon att
hennes lärare poängsattes

med en komplicerad, hemlig algoritm

som kallades "mervärdesmodellen."

Jag sade, "Fundera ut
vilken formeln är, och visa mig den.

Jag ska förklara den för dig."

Hon svarade,"Jag försökte få fram formeln,

men min kontakt på skolmyndigheten
sade att det var matte

och att jag inte skulle förstå."

Det blir värre.

New York Post krävde ut resultatet
med stöd av lagen om informationsfrihet,

fick alla lärares namn och poäng

och publicerade det
för att skämma ut lärarna.

När jag försökte få tag i formlerna,
källkoden, på samma vis,

fick jag höra att det inte gick.

Jag nekades.

Senare upptäckte jag

att ingen i New York
hade tillgång till formeln.

Ingen förstod den.

Sedan blev någon som var riktigt smart
inblandad, Gary Rubenstein.

Han upptäckte att 665 lärare
i New York Posts reportage

egentligen hade två resultat.

Det kunde hända om de undervisade
både sjunde- och åttondeklassare

i matematik.

Han gjorde ett diagram.

Varje prick representerar en lärare.

(Skratt)

Vad är det här?

(Skratt)

Det här skulle aldrig ha använts
för individuella bedömningar.

Det är nästan som en slumpgenerator.

(Applåder)

Men det gjordes.

Detta är Sarah Wysocki.

Hon och 205 andra lärare fick sparken,

från Washington DCs skoldistrikt,

trots att hon hade strålande omdömen
från sin rektor och elevernas föräldrar.

Jag vet vad många av er tänker nu,

särskilt dataanalytikerna,
AI-experterna här inne.

Ni tänker, "Jag skulle aldrig skriva
en sådan inkonsekvent algoritm."

Men algoritmer kan bli fel,

till och med ha djupt destruktiva effekter
även om intentionerna är goda.

Medan ett illa konstruerat flygplan

kraschar och alla kan se det,

kan en illa skriven algoritm

användas under lång tid,
och i tysthet skapa kaos.

Det här är Roger Ailes.

(Skratt)

Han grundade Fox News 1996.

Fler än tjugo kvinnor
anmälde sexuella trakasserier.

De menade att de inte tilläts
att lyckas på Fox News.

Han fick sparken förra året,
men nyligen såg vi

att problemen har fortsatt.

Det leder oss in på frågan:

Vad ska Fox News göra för att vända blad?

Tänk om de bytte ut
sin anställningsprocess

med en maskininlärningsalgoritm?

Det låter väl bra?

Fundera på det.

Data, vilken data skulle användas?

Ett rimligt val skulle vara
de senaste 21 årens ansökningar

till Fox News.

Det låter rimligt.

Hur skulle framgång definieras?

Ett rimligt val vore,

ja, vem är framgångsrik på Fox News?

Jag gissar på någon som,
låt säga, stannat där i fyra år

och befordrats minst en gång.

Det låter rimligt.

Därefter skulle algoritmen tränas.

Den skulle tränas i att hitta personer för
att lära sig vad som lett till framgång,

vilken typ av ansökningar
som historiskt lett till framgång

utifrån den definitionen.

Fundera nu på vad som skulle hända

om vi applicerade det här
på jobbsökare idag.

Den skulle välja bort kvinnor

för de liknar inte personer
som varit framgångsrika historiskt.

Algoritmer gör inte saker rättvisa

om man tillämpar dem tanklöst och blint.

De skapar inte rättvisa.

De repeterar det vi gjort tidigare,

våra mönster.

De automatiserar rådande läge.

Det skulle vara toppen
om världen vore perfekt,

men det är den inte.

Och jag kan tillägga att
de flesta företag inte har blivit stämda,

men dataanalytikerna i de här företagen

är ålagda att använda datan,

för att få tillförlitliga resultat.

Fundera på vad det betyder.

Eftersom vi alla har fördomar, betyder det
att de skulle kunna koda in sexism

eller något annat trångsynt.

Ett tankeexperiment,

eftersom jag gillar såna:

Tänk er ett helt segregerat samhälle -

rassegregerat, i alla städer,
i alla områden

och där vi bara skickar polisen
till minoritetsområdena

för brottsbekämpning.

Arresteringarna skulle vara
väldigt fördomsfulla.

Tänk om, till råga på allt,
vi fann dataanalytikerna

och betalade dem för att tala om
var nästa brott skulle ske?

I minoritetsområdena.

Eller förutspå vem nästa brottsling är?

Någon från en minoritet.

Dataanalytikerna skulle skryta om
hur bra och tillförlitlig

deras modell skulle vara,

och de skulle ha rätt.

Nu är verkligheten inte så drastisk,
men vi har allvarlig segregation

i många städer och områden,

och vi har gott om bevis

om fördomsfullt polisarbete
och skev straffrättslig data.

Vi förutspår faktiskt hotspots,

platser där brott kan ske.

Faktum är, att vi förutspår
individers kriminalitet,

individers brottsbenägenhet.

Nyhetsorganisationen ProPublica
undersökte för en tid sedan

en av algoritmerna för "återfallsrisk",

som de kallas,

och som används i Florida
när domar ska avkunnas.

Bernard, mannen till vänster,
fick 10 poäng av 10 möjliga.

Dylan, till höger, 3 poäng av 10 möjliga.

10 av 10, hög risk.
3 av 10, låg risk.

Båda anhölls för droginnehav.

Båda var dömda tidigare,

men Dylan hade begått ett grovt brott

vilket Bernard inte hade.

Det här har betydelse,
för ju högre poäng man har,

desto troligare är det
att man får ett längre straff.

Vad är det som händer?

Datatvätt.

Det är en process där tekniker
gömmer fula sanningar

inuti automatiska algoritmer

som de kallar objektiva;

kallar meritokratiska.

När de är hemliga, viktiga
och destruktiva,

myntade jag ett begrepp för dem:

"matte-förstörelsevapen."

(Skratt)

(Applåder)

De finns överallt,
och det är inte ett misstag.

Det här är privata företag
som skapar privata algoritmer

för privata syften.

Även de för lärare och poliser
som jag pratat om,

byggdes av privata företag

och såldes till statliga myndigheter.

De kallar dem "hemliga recept" -

det är därför de inte kan berätta om dem.

Det är också privat makt.

De skor sig genom att utöva
sin ogenomträngliga makt.

Nu kanske du tänker
att eftersom allt det här är privat

och fri konkurrens råder,

kommer marknaden kanske lösa problemen.

Det gör den inte.

Det finns mycket pengar
att tjäna på orättvisa.

Dessutom, är vi inte
ekonomiskt rationella varelser.

Alla har vi fördomar.

Alla är vi rasister och bigotta på sätt
som vi önskar att vi inte var,

på sätt vi inte ens vet att vi är.

Det här vet vi dock,

eftersom sociologer konsekvent visat det

genom olika expriment,

där de skickar jobbansökningar,

alla lika kvalificerade
men några har "vita" namn

och några har "svarta" namn,

och resultaten är alltid
en besvikelse - alltid.

Vi är alltså de som är fördomsfulla,

och vi lägger in fördomarna i algoritmerna

genom att välja datan vi samlar in,

så som jag valde
att inte ta med japanska nudlar.

Jag bestämde att de var oviktiga.

Men genom att lita på data
som bygger på tidigare erfarenheter

och välja definitionen av framgång,

hur kan vi då förvänta oss
att algoritmerna är harmlösa?

Det kan vi inte. Vi måste kontrollera dem.

Vi måste kolla att de är rättvisa.

Den goda nyheten är
att vi kan kolla rättvisan i dem.

Algoritmer kan ifrågasättas,

och de talar om sanningen varenda gång.

Vi kan rätta till dem.
Vi kan förbättra dem.

Jag kallar det för
revision av algoritmer,

och jag ska förklara.

Först, integritetskontroll av datat.

För algoritmen för återfallsrisk
som jag pratade om,

skulle en integritetstest betyda
att vi behöver ta tag i det faktum

att i USA, röker vita och svarta
maruijana i samma utsträckning

men svarta löper större risk
att arresteras -

fyra till fem gånger högre risk
beroende på område.

Hur ser den fördomen ut
i andra brottskategorier

och hur hanterar vi det?

Två, vi borde tänka över
hur vi definierar framgång,

granska det.

Kommer ni ihåg -

anställningsalgoritmen vi pratade om?

Någon som stannar fyra år
och befordras en gång?

Ja, det är en framgångsrik person,

men det är också någon
som stöttas av företagskulturen.

Som sagt, även det kan vara partiskt.

Vi måste skilja på de här två sakerna.

Vi bör titta på blindrekrytering
till orkestrar som ett exempel.

I en sådan är den sökande
bakom en skärm.

Det jag vill framhålla är

att de som lyssnar
har bestämt vad som är viktigt

och vad som är oviktigt

och de distraheras inte av det.

När den här typen
av rekryteringar startade,

steg andelen kvinnor
i orkestrarna femfalt.

Sen måste vi överväga tillförlitligheten.

Det är här mervärdesmodellen
för lärare skulle misslyckas omedelbart.

Självklart är ingen algoritm perfekt,

så vi måste överväga felen
i varje algoritm.

Hur ofta förekommer fel
och för vem misslyckas modellen?

Vad är kostnaden för de felen?

Slutligen, måste vi överväga

de långsiktiga effekterna av algoritmerna,

och feedbacken som de medför.

Det låter abstrakt,

men tänk om Facebooks ingenjörer
övervägt det här

innan de bestämde sig för att bara
visa oss det våra vänner lagt upp.

Jag har ytterligare två budskap,
ett för dataanalytikerna där ute.

Dataanalytiker: Vi bör inte vara
sanningens skiljedomare.

Vi bör vara översättare
av de etiska diskussioner som sker

i samhället i stort.

(Applåder)

Och ni andra,

som inte är dataanalytiker:

Det här är inte ett matteprov.

Det här är en politisk kamp.

Vi måste kräva ansvarsskyldighet
från våra algoritmiska överherrar.

(Applåder)

Tiden när vi trodde blint
på big data måste få ett slut.

Tack så mycket.

(Applåder)