WEBVTT

00:00:01.041 --> 00:00:04.175
Hallo, ich bin Joy, eine Poetin des Codes,

00:00:04.199 --> 00:00:09.192
auf einer Mission, eine unbemerkte,
aufstrebende Macht aufzuhalten.

00:00:09.216 --> 00:00:12.072
Diese Macht nannte ich 
den "programmierten Blick".

00:00:12.096 --> 00:00:15.405
Das ist mein Begriff
für algorithmische Vorurteile.

NOTE Paragraph

00:00:15.405 --> 00:00:19.675
Algorithmische sowie menschliche
Vorurteile führen zu Ungerechtigkeit.

00:00:19.725 --> 00:00:25.275
Trotzdem können Algorithmen,
wie Viren, Vorurteile massiv verbreiten,

00:00:25.329 --> 00:00:27.381
mit rasanter Geschwindigkeit.

00:00:27.943 --> 00:00:32.330
Algorithmische Vorurteile können
auch zu Erfahrungen des Ausschlusses

00:00:32.354 --> 00:00:34.482
und diskriminierendem Verhalten führen.

00:00:34.506 --> 00:00:36.917
Ich zeige Ihnen, was ich meine.

NOTE Paragraph

00:00:36.980 --> 00:00:39.876
(Video) Joy Buolamwini:
Hi, Kamera. Ich habe ein Gesicht.

00:00:40.162 --> 00:00:42.026
Kannst du mein Gesicht sehen?

00:00:42.051 --> 00:00:43.676
Mein Gesicht ohne Brille?

00:00:43.701 --> 00:00:45.915
Du kannst ihr Gesicht sehen.

00:00:46.237 --> 00:00:48.482
Was ist mit meinem Gesicht?

00:00:51.890 --> 00:00:55.640
Ich habe eine Maske. 
Kannst du meine Maske sehen?

NOTE Paragraph

00:00:56.474 --> 00:00:58.839
JB: Wie konnte das passieren?

00:00:58.863 --> 00:01:01.604
Wieso sitze ich vor einem Computer,

00:01:01.668 --> 00:01:03.732
trage eine weiße Maske und versuche,

00:01:03.756 --> 00:01:07.116
von einer billigen Webcam 
erkannt zu werden?

00:01:07.160 --> 00:01:09.511
Wenn ich nicht gerade 
den programmierten Blick

00:01:09.525 --> 00:01:10.985
als Poetin des Codes bekämpfe,

00:01:11.009 --> 00:01:14.281
dann bin ich Masterstudentin
am MIT Media Lab

00:01:14.305 --> 00:01:18.992
und habe dort die Möglichkeit, an
verschiedensten, wunderlichen Projekten,

00:01:19.036 --> 00:01:21.273
u. a. dem "Aspire Mirror", zu arbeiten,

00:01:21.297 --> 00:01:26.021
einem Projekt, das digitale Masken 
auf mein Spiegelbild projiziert.

00:01:26.045 --> 00:01:28.925
Wenn ich mich in der Früh 
mächtig fühlen wollte,

00:01:28.965 --> 00:01:30.321
projizierte ich einen Löwen.

00:01:30.321 --> 00:01:33.607
Wenn ich aufgemuntert werden wollte,
erschien vielleicht ein Zitat.

00:01:33.633 --> 00:01:36.966
Deshalb verwendete ich eine gewöhnliche
Software für Gesichtserkennung,

00:01:37.000 --> 00:01:38.301
um das System zu erstellen.

00:01:38.345 --> 00:01:43.298
Es war aber sehr schwierig zu testen, 
außer wenn ich eine weiße Maske trug.

NOTE Paragraph

00:01:44.282 --> 00:01:48.628
Unglücklicherweise ist mir
dieses Problem schon einmal begegnet.

00:01:48.652 --> 00:01:52.955
Als ich Informatik im Bachelor
an der Georgia Tech studierte,

00:01:52.979 --> 00:01:55.034
arbeitete ich mit sozialen Robotern.

00:01:55.058 --> 00:01:58.835
Eine meiner Aufgaben war es, 
mit einem Roboter Kuckuck zu spielen.

00:01:58.859 --> 00:02:00.542
Das ist ein einfaches Wechselspiel,

00:02:00.566 --> 00:02:04.887
bei dem man das Gesicht zudeckt
und beim Aufdecken "Kuckuck!" sagt.

00:02:04.911 --> 00:02:09.340
Allerdings funktioniert das Kuckuckspiel
nicht, wenn man sich nicht sieht,

00:02:09.364 --> 00:02:11.863
und mein Roboter konnte mich nicht sehen.

00:02:11.887 --> 00:02:15.837
Um das Projekt abzuschließen, verwendete
ich das Gesicht meines Mitbewohners,

00:02:15.861 --> 00:02:17.241
schickte die Aufgabe ab

00:02:17.265 --> 00:02:21.018
und dachte mir: "Weißt du was, 
jemand anderes wird das Problem lösen."

NOTE Paragraph

00:02:21.669 --> 00:02:23.672
Relativ kurz danach

00:02:23.696 --> 00:02:27.855
war ich in Hongkong für einen
Unternehmer-Wettbewerb.

00:02:28.339 --> 00:02:30.537
Die Organisatoren beschlossen,

00:02:30.537 --> 00:02:33.429
den Teilnehmenden
örtliche Start-ups zu zeigen.

00:02:33.453 --> 00:02:36.168
Eines dieser Start-ups
hatte einen sozialen Roboter,

00:02:36.192 --> 00:02:38.104
den sie demonstrieren wollten.

00:02:38.128 --> 00:02:41.108
Die Demonstration funktionierte
bei jedem bis auf mich.

00:02:41.132 --> 00:02:43.055
Sie können wahrscheinlich erraten wieso.

00:02:43.079 --> 00:02:46.044
Er konnte mein Gesicht nicht erkennen.

00:02:46.068 --> 00:02:48.579
Ich fragte die Entwickler, was los sei.

00:02:48.603 --> 00:02:54.136
Es zeigte sich, dass wir dieselbe Software
zur Gesichtserkennung benutzt hatten.

00:02:54.160 --> 00:02:56.270
Auf der anderen Seite
der Welt erkannte ich,

00:02:56.270 --> 00:02:59.686
dass sich algorithmische 
Voreingenommenheit

00:02:59.710 --> 00:03:02.880
bereits während eines simplen
Downloads verbreiten kann.

NOTE Paragraph

00:03:03.745 --> 00:03:06.821
Also was ist da los?
Warum wird mein Gesicht nicht erkannt?

00:03:06.845 --> 00:03:10.201
Wir müssen uns anschauen,
wie wir Maschinen das Sehen beibringen.

00:03:10.225 --> 00:03:13.634
Computergestütztes Sehen
verwendet maschinelles Lernen,

00:03:13.658 --> 00:03:15.538
um Gesichter zu erkennen.

00:03:15.562 --> 00:03:19.459
Dabei erstellt man ein Trainingsset
mit Gesichterbeispielen.

00:03:19.483 --> 00:03:22.301
Das ist ein Gesicht. Das auch.
Das ist kein Gesicht.

00:03:22.325 --> 00:03:26.844
Im Laufe der Zeit kann man einem Computer
beibringen, andere Gesichter zu erkennen.

00:03:26.868 --> 00:03:30.857
Wenn die Trainingssets allerdings
nicht sehr diversifiziert sind,

00:03:30.881 --> 00:03:34.230
dann sind Gesichter, die zu stark
von der erstellten Norm abweichen,

00:03:34.254 --> 00:03:35.903
schwieriger zu erkennen.

00:03:35.927 --> 00:03:37.874
Das ist genau das, was mir passiert ist.

NOTE Paragraph

00:03:37.884 --> 00:03:40.806
Aber machen Sie sich keine Sorgen --
es gibt gute Nachrichten.

00:03:40.836 --> 00:03:43.091
Trainingssets tauchen nicht
aus dem Nichts auf.

00:03:43.115 --> 00:03:44.903
Wir erstellen sie.

00:03:44.927 --> 00:03:49.103
Also gibt es die Möglichkeit, 
inklusive Trainingssets zu erstellen,

00:03:49.127 --> 00:03:52.681
die ein breitgefächerteres Bild
der Menschheit widerspiegeln.

NOTE Paragraph

00:03:52.715 --> 00:03:55.056
Jetzt haben Sie anhand 
meiner Beispiele gesehen,

00:03:55.090 --> 00:03:56.988
wie soziale Roboter dazu geführt haben,

00:03:57.012 --> 00:04:01.623
dass ich von der Exklusion 
durch algorithmische Vorurteile erfuhr.

00:04:01.647 --> 00:04:07.412
Algorithmische Vorurteile können
zu diskriminierendem Verhalten führen.

00:04:07.437 --> 00:04:13.130
Überall in den USA beginnt die Polizei,
als Teil ihrer Kriminalitätsbekäpfung

00:04:13.136 --> 00:04:15.595
Software zur Gesichtserkennung
zu verwenden.

00:04:15.619 --> 00:04:17.632
Georgetown Law zeigte in einem Bericht,

00:04:17.656 --> 00:04:24.419
dass einer von zwei erwachsenen US-Bürgern
-- das sind 117 Mio. Menschen --

00:04:24.443 --> 00:04:27.977
bereits in Datenbanken 
zur Gesichtserkennung erfasst ist.

00:04:28.001 --> 00:04:32.553
Polizeikommissariate können zurzeit
uneingeschränkt auf diese zugreifen

00:04:32.577 --> 00:04:36.863
und benutzen dabei Algorithmen, die
nicht auf Genauigkeit überprüft wurden.

00:04:36.887 --> 00:04:40.751
Dennoch wissen wir, dass 
Gesichtserkennung nicht fehlerfrei ist

00:04:40.775 --> 00:04:44.574
und dass Gesichter zuzuordnen 
immer noch eine Herausforderung ist.

00:04:44.618 --> 00:04:46.830
Vielleicht haben Sie das 
auf Facebook gesehen.

00:04:46.850 --> 00:04:50.212
Meine Freund und ich lachen immer,
wenn andere Leute

00:04:50.236 --> 00:04:52.664
fälschlicherweise auf unseren
Fotos markiert werden.

00:04:52.674 --> 00:04:57.849
Aber jemanden fälschlicherweise
zu verdächtigen, ist nicht zum Lachen,

00:04:57.873 --> 00:05:00.700
sondern verstößt gegen Bürgerrechte.

NOTE Paragraph

00:05:00.724 --> 00:05:03.929
Maschinelles Lernen 
wird für Gesichtserkennung,

00:05:03.953 --> 00:05:08.458
aber auch über den Bereich von
computergestütztem Sehen hinaus verwendet.

00:05:09.266 --> 00:05:13.282
In ihrem Buch "Waffen der Mathezerstörung"

00:05:13.306 --> 00:05:19.987
schreibt Datenforscherin Cathy O'Neil
über neue Massenvernichtungswaffen --

00:05:20.011 --> 00:05:24.364
verbreitete, mysteriöse
und zerstörerische Algorithmen,

00:05:24.388 --> 00:05:27.352
die zunehmend dazu verwendet werden,
Entscheidungen zu treffen,

00:05:27.376 --> 00:05:30.113
die viele Teile unseres Lebens betreffen.

00:05:30.157 --> 00:05:32.447
Etwa wer eingestellt oder gefeuert wird.

00:05:32.491 --> 00:05:34.833
Bekommen Sie einen Kredit?
Oder eine Versicherung?

00:05:34.853 --> 00:05:38.110
Werden Sie an der Uni, an der Sie
studieren wollen, angenommen?

00:05:38.134 --> 00:05:41.643
Bezahlen Sie und ich denselben Preis
für dasselbe Produkt,

00:05:41.667 --> 00:05:44.109
das wir auf derselben Website 
gekauft haben?

NOTE Paragraph

00:05:44.133 --> 00:05:47.282
Die Strafverfolgung beginnt auch, 
maschinelles Lernen

00:05:47.282 --> 00:05:49.875
für Predictive Policing einzusetzen.

00:05:49.919 --> 00:05:53.723
Manche Richter benutzen maschinell
generierte Risikoraten, um festzusetzen,

00:05:53.747 --> 00:05:57.339
wie lange eine bestimmte Person
im Gefängnis bleiben wird.

00:05:57.513 --> 00:06:00.627
Deshalb müssen wir wirklich
über diese Entscheidungen nachdenken.

00:06:00.651 --> 00:06:01.833
Sind sie fair?

00:06:01.857 --> 00:06:04.747
Wir haben gesehen,
dass algorithmische Vorurteile

00:06:04.771 --> 00:06:08.145
nicht unbedingt
zu fairen Ergebnissen führen.

NOTE Paragraph

00:06:08.169 --> 00:06:10.133
Was können wir dagegen tun?

00:06:10.157 --> 00:06:13.697
Wir können darüber nachdenken, 
wie man inklusiveren Code schreibt

00:06:13.721 --> 00:06:16.941
und Programmiertechniken nutzt,
die inklusiver sind.

00:06:17.005 --> 00:06:19.184
Es fängt bei den Menschen an.

00:06:19.708 --> 00:06:21.669
Es spielt eine Rolle, wer programmiert.

00:06:21.693 --> 00:06:25.592
Erstellen wir inklusive Teams
aus diversifizierten Individuen,

00:06:25.646 --> 00:06:28.247
die gegenseitig ihre toten Winkel 
überprüfen können?

00:06:28.271 --> 00:06:31.816
In Hinblick auf die Technik spielt es
eine Rolle, wie programmiert wird.

00:06:31.840 --> 00:06:35.491
Berücksichtigen wir Fairness
beim Entwickeln von Systemen?

00:06:35.515 --> 00:06:38.428
"Warum" wir programmieren, 
spielt auch eine Rolle.

00:06:38.785 --> 00:06:43.868
Wir haben durch computergestütztes Design
enormen Wohlstand geschaffen.

00:06:43.892 --> 00:06:48.339
Nun haben wir die Möglichkeit, 
noch größere Gleichheit zu schaffen,

00:06:48.363 --> 00:06:51.017
wenn wir sozialen Wandel als Priorität

00:06:51.017 --> 00:06:53.965
und nicht als Nachtrag behandeln.

00:06:54.008 --> 00:06:58.530
Das sind also die drei Grundsätze
der "Incoding"-Bewegung.

00:06:58.554 --> 00:07:00.206
Es ist wichtig, wer programmiert,

00:07:00.230 --> 00:07:01.773
wie programmiert wird,

00:07:01.797 --> 00:07:03.820
und warum wir programmieren.

NOTE Paragraph

00:07:03.844 --> 00:07:06.943
Auf dem Weg zu "Incoding"
müssen wir darüber nachdenken,

00:07:06.967 --> 00:07:09.811
Plattformen, die Vorurteile
erkennen können, zu schaffen,

00:07:09.835 --> 00:07:13.233
mit Hilfe von Erfahrungen, 
wie z. B. meinen,

00:07:13.257 --> 00:07:16.327
aber auch bereits existierende 
Software zu überprüfen.

00:07:16.351 --> 00:07:19.796
Wir können auch damit beginnen,
inklusivere Trainingssets zu erstellen.

00:07:19.850 --> 00:07:22.943
Stellen Sie sich etwa eine Kampagne
"Selfies für Inklusion" vor,

00:07:22.967 --> 00:07:26.416
bei der Sie und ich den Entwicklern
beim Testen und Entwickeln

00:07:26.416 --> 00:07:29.269
inklusiverer Trainingssets helfen können.

00:07:29.302 --> 00:07:32.130
Wir können auch bewusster
über die sozialen Auswirkungen

00:07:32.154 --> 00:07:36.885
der Technologien, die wir 
entwickeln, nachdenken.

NOTE Paragraph

00:07:36.885 --> 00:07:40.264
Um die "Incoding"-Bewegung zu starten,

00:07:40.264 --> 00:07:43.540
gründete ich die
"Algorithmic Justice Leage".

00:07:43.540 --> 00:07:48.729
Jeder kann dabei helfen,
den programmierten Blick zu bekämpfen.

00:07:48.753 --> 00:07:51.724
Auf codedgaze.com können Sie
über Voreingenommenheit berichten,

00:07:51.724 --> 00:07:54.518
Überprüfungen verlangen, zum Tester werden

00:07:54.542 --> 00:07:57.313
und bei laufenden Debatten mitreden,

00:07:57.337 --> 00:08:00.641
#codedgaze.

NOTE Paragraph

00:08:00.742 --> 00:08:03.229
Ich lade Sie dazu ein, 
sich mir anzuschließen

00:08:03.253 --> 00:08:06.972
und eine Welt zu schaffen,
in der Technologie für uns alle,

00:08:06.996 --> 00:08:08.893
und nicht nur für manche, funktioniert,

00:08:08.917 --> 00:08:13.505
eine Welt, in der Inklusion wertgeschätzt
und soziale Veränderung im Zentrum steht.

NOTE Paragraph

00:08:13.529 --> 00:08:14.704
Danke.

NOTE Paragraph

00:08:14.728 --> 00:08:18.999
(Applaus)

NOTE Paragraph

00:08:20.873 --> 00:08:23.727
Ich habe eine Frage:

00:08:23.751 --> 00:08:25.810
Werden Sie sich mir anschließen?

NOTE Paragraph

00:08:25.834 --> 00:08:27.119
(Gelächter)

NOTE Paragraph

00:08:27.143 --> 00:08:30.830
(Applaus)