Hej, jag är Joy, jag är poet i kod,
med uppdrag att stoppa en osynlig kraft som vaknat,
en kraft som jag kallar "den kodade blicken,"
min term för fördomar i algoritmer.
Algoritmiska fördomar, precis som mänskliga, resulterar i orättvisa.
Men, algoritmer kan, precis som virus, sprida fördomar i stor skala
och i snabb takt.
Fördomar i algoritmer kan också leda till att människor sållas bort
och till diskriminerande praxis.
Låt mig visa vad jag menar.
(Video) Joy Buolamwini: Hej, kamera. Jag har ett ansikte.
Kan du se mitt ansikte?
Utan glasögon?
Du kan se hennes ansikte.
Mitt ansikte då?
Jag har en mask. Kan du se min mask?
Joy Buolamwini: Hur hände det här?
Varför sitter jag framför en dator
med en vit mask,
och försöker få en billig webbkamera att upptäcka mig?
Jo, när jag inte slåss mot den kodade blicken,
som en poet i kod,
är jag doktorand på MIT Media Lab,
och där har jag möjlighet att arbeta i en massa egendomliga projekt,
inklusive Aspire Mirror,
ett projekt jag startade för att projicera digitala masker på min spegelbild.
Så på morgonen, när jag ville känna mig stark,
kunde jag projicera ett lejon,
Om jag ville peppa mig själv, projicerade jag kanske ett citat.
Jag använde mjukvara för generisk ansiktsigenkänning
för att bygga systemet,
men upptäckte att det var väldigt svårt att testa om jag inte bar en vit mask.
Tyvärr har jag upplevt det här bekymret tidigare.
När jag studerade datavetenskap på Georgia Institute of Technology,
brukade jag arbeta med mänskliga robotar,
och en av mina uppgifter var att få roboten att leka tittut,
en enkel lek mellan två personer
där man täcker sina ansikten och sedan visar dem och säger "Tittut!"
Problemet är att tittut inte fungerar om man inte ser varandra,
och min robot kunde inte se mig.
Men jag lånade min rumskamrats ansikte för att göra klart projektet,
lämnade in uppgiften,
och tänkte, vet ni vad, någon annan kommer att lösa problemet.
Inte så långt därefter,
var jag i Hong Kong och deltog i en tävling för entreprenörer.
Organisatörerna tog med deltagarna
på en rundtur bland lokala startup-företag.
Ett av dessa hade en mänsklig robot,
och de ville köra en demo.
Demon fungerade på alla tills den kom till mig,
och ni kan säkert gissa varför.
Den kunde inte upptäcka mitt ansikte.
Jag frågade utvecklarna vad som hänt,
och det visade sig att de använt samma mjukvara för ansiktsigenkänning som jag.
På andra sidan jordklotet,
lärde jag mig att fördomsfulla algoritmer kan färdas lika snabbt
som det tar att ladda ner några filer från internet.
Vad är det som pågår? Varför upptäcks inte mitt ansikte?
Jo, vi måste titta på hur vi ger maskinerna syn.
Datorigenkänning använder maskininlärningsteknik
för att känna igen ansikten.
Så här fungerar det, du skapar en modell med exempel på olika ansikten.
Här är ett ansikte, och ett till. Detta är inte ett ansikte.
Över tid, kan du lära datorn att upptäcka andra ansikten.
Men, om modellen inte speglar mångfalden tillräckligt mycket,
kommer ansikten som skiljer sig för mycket från den fastställda normen
bli svårare att upptäcka,
vilket var det som hände mig.
Men oroa er inte - det finns något gott i det.
Träningsmodellerna kommer inte från ingenstans.
Vi kan faktiskt skapa dem.
Det finns möjligheter att skapa heltäckande modeller
som skapar en djupare bild av mänskligheten.
Som ni sett i mina exempel
var mänskliga robotar anledningen
till att jag upptäckte exkluderingen med fördomsfulla algoritmer.
Men fördomar i algoritmer kan också leda till diskriminerande normer.
Över hela USA,
har polismyndigheterna börjat använda mjukvara för ansiktsigenkänning
som ett bland andra redskap för brottsbekämpning.
Georgetown Law publicerade en rapport
som visade att varannan vuxen i USA - det är 117 miljoner människor -
har sina ansikten registrerade i nätverk för ansiktsigenkänning.
Polisyndigheterna kan använda de här nätverken helt oreglerat,
genom att använda algoritmer vars tillförlitlighet inte granskats.
Trots att vi vet att ansiktsigenkänning inte är tillförlitlig,
och att kunna kategorisera ansikten fortfarande är en utmaning.
Du har kanske sett det på Facebook.
Mina vänner och jag skrattar varje gång vi ser andra
som blivit felaktigt taggade i våra bilder.
Men att felaktigt identifiera en misstänkt kriminell är inget att skratta åt,
inte heller att åsidosätta de mänskliga rättigheterna.
Maskininlärning används för ansiktsigenkänning,
men den används också inom andra områden.
I boken "Weapons of Math Destruction,"
skriver forskaren Cathy O´Neil om de framväxande UMD:na -
utbredda, mystiska och destruktiva algoritmer
som i ökande utsträckning används för att ta beslut
som påverkar fler och fler aspekter i våra liv.
Vem blir anställd eller sparkad?
Får du ta lån? Får du teckna försäkringar?
Kommer du in på det universitet du vill?
Betalar du och jag samma pris för samma produkt
köpt på samma sätt?
Lagstiftningen börjar också använda maskininlärning
i förebyggande polisarbete.
Vissa domare använder maskingenererade riskbedömningar för att besluta
hur långa fängelsestraff som ska utdömas.
Vi behöver verkligen fundera över de här besluten.
Är de rättvisa?
Vi har sett att fördomarna i algoritmerna
inte nödvändigtvis leder till rättvisa resultat.
Så vad kan vi göra?
Tja, vi kan börja fundera på hur vi skapar en mer inkluderande kod
och använda en mer inkluderande praxis.
Det börjar med människor.
Så vem som programmerar har betydelse.
Bygger vi arbetsgrupper med individer olika erfarenheter
som kan se utanför varandras skygglappar?
På den tekniska sidan har det betydelse hur vi programmerar.
Har vi med rättviseperspektivet när vi utvecklar system?
Slutligen, varför vi programmerar har betydelse.
Vi har använt datorkraft för beräkningar som skapat enorma rikedomar.
Nu har vi möjlighet att skapa ännu större jämlikhet
om vi prioriterar sociala förändringar
och inte tar dem i efterhand.
De här tre principerna kommer att utgöra "inkodnings"-rörelsen.
Vem som kodar har betydelse,
hur vi kodar har betydelse
och varför vi kodar har betydelse.
Så för att komma närmare inkodning kan vi börja fundera på
att bygga plattformar som kan identifiera fördomar
genom att samla in folks erfarenheter som den jag pratade om,
men också genom att granska existerande mjukvara.
Vi kan också börja skapa mer inkluderande modeller.
Tänk er en kampanj för "Selfies för inkludering"
där du och jag kan hjälpa utvecklarna testa och skapa
mer inkluderande modeller.
Vi kan också börja tänka mer samvetsgrant
kring de sociala effekterna av tekniken som vi utvecklar.
För att få fart på "inkodnings"-rörelsen,
har jag lanserat Algorithmic Justice League,
där alla som bryr sig om rättvisa kan hjälpa till att kämpa mot fördomsfull kod.
På www.codegaze.com, kan du rapportera partisk kod,
begära granskningar, bli testare
och delta i den pågående diskussionen,
#codedgaze
Jag bjuder in er till att ansluta er till mig
i skapandet av en värld där tekniken fungerar för oss alla,
inte bara för några av oss,
en värld där vi värdesätter inkludering och fokuserar på social förändring.
Tack.
(Applåder)
Men jag har en fråga:
Kommer ni att ansluta er till kampen?
(Skratt)
(Applåder)