Hallo, ich bin Joy, eine Poetin des Codes,
auf einer Mission, eine unbemerkte, aufstrebende Macht aufzuhalten.
Diese Macht nannte ich den "programmierten Blick".
Das ist mein Begriff für algorithmische Vorurteile.
Algorithmische sowie menschliche Vorurteile führen zu Ungerechtigkeit.
Trotzdem können Algorithmen, wie Viren, Vorurteile massiv verbreiten,
mit rasanter Geschwindigkeit.
Algorithmische Vorurteile können auch zu Erfahrungen des Ausschlusses
und diskriminierendem Verhalten führen.
Ich zeige Ihnen, was ich meine.
(Video) Joy Buolamwini: Hi, Kamera. Ich habe ein Gesicht.
Kannst du mein Gesicht sehen?
Mein Gesicht ohne Brille?
Du kannst ihr Gesicht sehen.
Was ist mit meinem Gesicht?
Ich habe eine Maske. Kannst du meine Maske sehen?
JB: Wie konnte das passieren?
Wieso sitze ich vor einem Computer,
trage eine weiße Maske und versuche,
von einer billigen Webcam erkannt zu werden?
Wenn ich nicht gerade den programmierten Blick
als Poetin des Codes bekämpfe,
dann bin ich Masterstudentin am MIT Media Lab
und habe dort die Möglichkeit, an verschiedensten, wunderlichen Projekten,
u. a. dem "Aspire Mirror", zu arbeiten,
einem Projekt, das digitale Masken auf mein Spiegelbild projiziert.
Wenn ich mich in der Früh mächtig fühlen wollte,
projizierte ich einen Löwen.
Wenn ich aufgemuntert werden wollte, erschien vielleicht ein Zitat.
Deshalb verwendete ich eine gewöhnliche Software für Gesichtserkennung,
um das System zu erstellen.
Es war aber sehr schwierig zu testen, außer wenn ich eine weiße Maske trug.
Unglücklicherweise ist mir dieses Problem schon einmal begegnet.
Als ich Informatik im Bachelor an der Georgia Tech studierte,
arbeitete ich mit sozialen Robotern.
Eine meiner Aufgaben war es, mit einem Roboter Kuckuck zu spielen.
Das ist ein einfaches Wechselspiel,
bei dem man das Gesicht zudeckt und beim Aufdecken "Kuckuck!" sagt.
Allerdings funktioniert das Kuckuckspiel nicht, wenn man sich nicht sieht,
und mein Roboter konnte mich nicht sehen.
Um das Projekt abzuschließen, verwendete ich das Gesicht meines Mitbewohners,
schickte die Aufgabe ab
und dachte mir: "Weißt du was, jemand anderes wird das Problem lösen."
Relativ kurz danach
war ich in Hongkong für einen Unternehmer-Wettbewerb.
Die Organisatoren beschlossen,
den Teilnehmenden örtliche Start-ups zu zeigen.
Eines dieser Start-ups hatte einen sozialen Roboter,
den sie demonstrieren wollten.
Die Demonstration funktionierte bei jedem bis auf mich.
Sie können wahrscheinlich erraten wieso.
Er konnte mein Gesicht nicht erkennen.
Ich fragte die Entwickler, was los sei.
Es zeigte sich, dass wir dieselbe Software zur Gesichtserkennung benutzt hatten.
Auf der anderen Seite der Welt erkannte ich,
dass sich algorithmische Voreingenommenheit
bereits während eines simplen Downloads verbreiten kann.
Also was ist da los? Warum wird mein Gesicht nicht erkannt?
Wir müssen uns anschauen, wie wir Maschinen das Sehen beibringen.
Computergestütztes Sehen verwendet maschinelles Lernen,
um Gesichter zu erkennen.
Dabei erstellt man ein Trainingsset mit Gesichterbeispielen.
Das ist ein Gesicht. Das auch. Das ist kein Gesicht.
Im Laufe der Zeit kann man einem Computer beibringen, andere Gesichter zu erkennen.
Wenn die Trainingssets allerdings nicht sehr diversifiziert sind,
dann sind Gesichter, die zu stark von der erstellten Norm abweichen,
schwieriger zu erkennen.
Das ist genau das, was mir passiert ist.
Aber machen Sie sich keine Sorgen -- es gibt gute Nachrichten.
Trainingssets tauchen nicht aus dem Nichts auf.
Wir erstellen sie.
Also gibt es die Möglichkeit, inklusive Trainingssets zu erstellen,
die ein breitgefächerteres Bild der Menschheit widerspiegeln.
Jetzt haben Sie anhand meiner Beispiele gesehen,
wie soziale Roboter dazu geführt haben,
dass ich von der Exklusion durch algorithmische Vorurteile erfuhr.
Algorithmische Vorurteile können zu diskriminierendem Verhalten führen.
Überall in den USA beginnt die Polizei, als Teil ihrer Kriminalitätsbekäpfung
Software zur Gesichtserkennung zu verwenden.
Georgetown Law zeigte in einem Bericht,
dass einer von zwei erwachsenen US-Bürgern -- das sind 117 Mio. Menschen --
bereits in Datenbanken zur Gesichtserkennung erfasst ist.
Polizeikommissariate können zurzeit uneingeschränkt auf diese zugreifen
und benutzen dabei Algorithmen, die nicht auf Genauigkeit überprüft wurden.
Dennoch wissen wir, dass Gesichtserkennung nicht fehlerfrei ist
und dass Gesichter zuzuordnen immer noch eine Herausforderung ist.
Vielleicht haben Sie das auf Facebook gesehen.
Meine Freund und ich lachen immer, wenn andere Leute
fälschlicherweise auf unseren Fotos markiert werden.
Aber jemanden fälschlicherweise zu verdächtigen, ist nicht zum Lachen,
sondern verstößt gegen Bürgerrechte.
Maschinelles Lernen wird für Gesichtserkennung,
aber auch über den Bereich von computergestütztem Sehen hinaus verwendet.
In ihrem Buch "Waffen der Mathezerstörung"
schreibt Datenforscherin Cathy O'Neil über neue Massenvernichtungswaffen --
verbreitete, mysteriöse und zerstörerische Algorithmen,
die zunehmend dazu verwendet werden, Entscheidungen zu treffen,
die viele Teile unseres Lebens betreffen.
Etwa wer eingestellt oder gefeuert wird.
Bekommen Sie einen Kredit? Oder eine Versicherung?
Werden Sie an der Uni, an der Sie studieren wollen, angenommen?
Bezahlen Sie und ich denselben Preis für dasselbe Produkt,
das wir auf derselben Website gekauft haben?
Die Strafverfolgung beginnt auch, maschinelles Lernen
für Predictive Policing einzusetzen.
Manche Richter benutzen maschinell generierte Risikoraten, um festzusetzen,
wie lange eine bestimmte Person im Gefängnis bleiben wird.
Deshalb müssen wir wirklich über diese Entscheidungen nachdenken.
Sind sie fair?
Wir haben gesehen, dass algorithmische Vorurteile
nicht unbedingt zu fairen Ergebnissen führen.
Was können wir dagegen tun?
Wir können darüber nachdenken, wie man inklusiveren Code schreibt
und Programmiertechniken nutzt, die inklusiver sind.
Es fängt bei den Menschen an.
Es spielt eine Rolle, wer programmiert.
Erstellen wir inklusive Teams aus diversifizierten Individuen,
die gegenseitig ihre toten Winkel überprüfen können?
In Hinblick auf die Technik spielt es eine Rolle, wie programmiert wird.
Berücksichtigen wir Fairness beim Entwickeln von Systemen?
"Warum" wir programmieren, spielt auch eine Rolle.
Wir haben durch computergestütztes Design enormen Wohlstand geschaffen.
Nun haben wir die Möglichkeit, noch größere Gleichheit zu schaffen,
wenn wir sozialen Wandel als Priorität
und nicht als Nachtrag behandeln.
Das sind also die drei Grundsätze der "Incoding"-Bewegung.
Es ist wichtig, wer programmiert,
wie programmiert wird,
und warum wir programmieren.
Auf dem Weg zu "Incoding" müssen wir darüber nachdenken,
Plattformen, die Vorurteile erkennen können, zu schaffen,
mit Hilfe von Erfahrungen, wie z. B. meinen,
aber auch bereits existierende Software zu überprüfen.
Wir können auch damit beginnen, inklusivere Trainingssets zu erstellen.
Stellen Sie sich etwa eine Kampagne "Selfies für Inklusion" vor,
bei der Sie und ich den Entwicklern beim Testen und Entwickeln
inklusiverer Trainingssets helfen können.
Wir können auch bewusster über die sozialen Auswirkungen
der Technologien, die wir entwickeln, nachdenken.
Um die "Incoding"-Bewegung zu starten,
gründete ich die "Algorithmic Justice Leage".
Jeder kann dabei helfen, den programmierten Blick zu bekämpfen.
Auf codedgaze.com können Sie über Voreingenommenheit berichten,
Überprüfungen verlangen, zum Tester werden
und bei laufenden Debatten mitreden,
#codedgaze.
Ich lade Sie dazu ein, sich mir anzuschließen
und eine Welt zu schaffen, in der Technologie für uns alle,
und nicht nur für manche, funktioniert,
eine Welt, in der Inklusion wertgeschätzt und soziale Veränderung im Zentrum steht.
Danke.
(Applaus)
Ich habe eine Frage:
Werden Sie sich mir anschließen?
(Gelächter)
(Applaus)