Bonjour, je suis Joy, une poète du code
en mission pour arrêter une force invisible qui prend de l'ampleur
une force que j'appelle « le regard codé »,
mon terme pour le biais algorithmique.
Le biais algorithmique, comme le biais cognitif, crée de l'injustice.
Mais les algorithmes, comme les virus, peuvent massivement générer un biais
et ce, très rapidement.
Le biais algorithmique peut aussi créer des sentiments d'exclusion
et mener à des pratiques discriminatoires.
Laissez-moi vous montrer ce que je veux dire.
(Video) Joy Boulamwini : Salut webcam. J'ai un visage.
Est-ce que tu peux le voir?
Et sans lunettes ?
Tu peux voir son visage à elle.
Et le mien ?
J'ai un masque. Est-ce que tu peux voir mon masque ?
Joy Boulamwini : Ça, comment est-ce arrivé ?
Pourquoi est-ce que je me retrouve assise devant un ordinateur
portant un masque blanc
pour essayer d'être détectée par une webcam premier prix ?
Quand je ne me bats pas contre le regard codé
en tant que poète du code,
Je suis doctorante au Media Lab du MIT
et j'ai l'opportunité de plancher sur plein de projets fantaisistes
dont le Miroir Aspire
que j'ai construit pour pouvoir projeter des masques digitaux sur mon reflet.
Comme ça le matin, pour me sentir plus forte,
je pouvais projeter un lion.
Si j'avais besoin d'encouragements, je pouvais choisir une citation.
J'ai donc utilisé un logiciel de reconnaissance faciale
pour construire le système,
mais j'ai réalisé que je ne pouvais pas le tester à moins de porter un masque.
Malheureusement, j'avais déjà rencontré ce problème.
Quand j'étais étudiante en informatique à Georgia Tech,
je travaillais sur les robots sociaux
et l'un de mes devoirs était de programmer un robot pour qu'il joue à « Caché »,
un jeu qui se joue à tour de rôle
dans lequel chacun couvre son visage, puis le découvre en disant « Coucou ! »
Le problème, c'est que ce jeu ne peut pas marcher si je ne peux pas vous voir
et mon robot ne pouvait pas me voir.
Mais j'ai emprunté le visage de ma colocataire pour finir le projet,
j'ai rendu le devoir,
et je me suis dit que quelqu'un d'autre résoudrait le problème.
Peu de temps après,
j'étais à Hong Kong pour une compétition d'entrepreneuriat.
Les organisateurs ont décidé d'emmener les participants
faire le tour des start-up locales.
L'une d'elles avait un robot social, ils ont décidé de faire une démonstration.
Ça a marché avec tout le monde jusqu'à ce que vienne mon tour,
et vous pouvez sans doute deviner.
Le robot ne pouvait pas détecter mon visage.
J'ai demandé aux développeurs ce qu'il se passait,
et en fait nous avions utilisé le même outil de reconnaissance faciale.
À l'autre bout du monde,
j'avais appris que le biais algorithmique peut voyager aussi rapidement
qu'un téléchargement de fichiers.
Qu'est-ce qui se passe ? Pourquoi mon visage n'est pas détecté ?
Pour répondre, il faut comprendre comment on donne la vue aux machines.
La vision informatique utilise des techniques de machine learning
pour reconnaître des visages.
Pour que ça marche, vous créez un ensemble de formation avec des exemples.
Ceci est un visage. Ceci est un visage. Mais pas ça.
Au fur et à mesure, l'ordinateur apprend comment reconnaître d'autres visages.
Mais si les jeux de tests ne sont pas très variés,
n'importe quel visage qui dévie trop de la norme établie
sera plus compliqué à détecter,
et c'était ce qui se passait avec moi.
Mais pas d'angoisse -- il y a de bonnes nouvelles.
Les jeux de tests n'apparaissent pas par magie.
On peut les créer nous-mêmes.
Il y a la possibilité de créer des jeux de tests plus variés
qui offrent un portrait plus riche de l'humanité.
Vous avez vu dans mes exemples
que c'est via les robots sociaux
que je me suis rendu compte de l'existence du biais algorithmique.
Mais le biais algorithmique peut aussi mener à des pratiques discriminatoires.
Aux États-Unis,
la police commence à utiliser des logiciels de reconnaissance faciale
dans son arsenal contre le crime.
Georgetown Law a publié un rapport
montrant qu'un adulte sur deux aux États-Unis - 117 millions de personnes--
ont leur visage dans un système de reconnaissance faciale.
La police peut en ce moment consulter ces systèmes non régulés,
en utilisant des algorithmes dont la fiabilité n'a pas été testée.
Mais on sait que la reconnaissance faciale a des failles,
et que correctement étiqueter un visage reste un défi.
Vous l'avez sûrement vu sur Facebook.
Avec mes amis, on rit souvent quand on voit d'autres personnes
mal identifiées dans nos photos.
Mais mal identifier un suspect comme étant un criminel n'est pas drôle,
et porter atteinte aux libertés civiles non plus.
Le machine learning est utilisé pour la reconnaissance faciale,
mais s'utilise dans d'autres domaines que la vision informatique.
Dans son livre « Weapons of Math Destruction »,
la data scientist Cathy O'Neil parle des risques de ces nouvelles armes,
des algorithmes répandus, mystérieux et destructeurs
qui sont de plus en plus utilisés dans des prises de décision
qui ont un impact sur nos vies.
Qui est embauché ou renvoyé ?
Aurez-vous ce prêt ? Une assurance ?
Serez-vous admis dans cette université que vous voulez vraiment ?
Est-ce que vous et moi payons le même prix pour le même produit
acheté sur la même plateforme ?
Les autorités policières commencent à utiliser le machine learning
dans le cadre de la prévention policière.
Certains juges utilisent des scores générés par des machines
pour déterminer combien de temps un individu passera derrière les barreaux.
Nous devons donc réfléchir à ces décisions.
Sont-elles justes ?
Et nous avons vu que le biais algorithmique
ne mène pas forcément à des décisions justes.
Que pouvons-nous faire ?
Nous pouvons commencer à penser à une manière de coder plus inclusivement
et à utiliser des pratiques de code plus inclusives.
Tout commence avec les gens.
Qui code a une importance.
Créons-nous des équipes composées d'individus variés
qui puissent vérifier mutuellement leurs travaux ?
D'un point de vue technique, comment on code a de l'importance.
Ajoutons-nous la justice à l'équation quand nous développons des systèmes ?
Finalement, pourquoi on code a une importance.
Nous avons utilisé des outils numériques pour générer d'immenses richesses.
Nous avons maintenant l'opportunité de créer encore plus d'égalité
si nous faisons du changement social une priorité.
et pas une préoccupation secondaire.
Ceci seront les trois piliers du mouvement « incoding ».
Qui code a de l'importance,
la manière dont on code aussi
et pourquoi on code également.
Pour aller vers l'incoding, nous pouvons commencer à réfléchir
à comment construire des outils pouvant identifier ce biais
via la collecte de témoignages comme celui que j'ai partagé,
mais qui pourraient aussi tester des logiciels existants.
Nous pouvons commencer à créer des jeux de tests plus complets.
Imaginez une campagne « Selfies pour l'inclusion »,
où vous et moi pourrions aider les développeurs à tester et créer
ces jeux de tests plus variés.
Nous pouvons commencer à penser plus consciencieusement
à l'impact social des technologies que nous développons.
Pour commencer le mouvement incoding,
J'ai lancé l'Algorithmic Justice League,
où n'importe qui se souciant du problème peut aider à combattre le regard codé.
Sur codedgaze.com, vous pouvez dénoncer des biais,
demander des tests, être testeur vous-même
et rejoindre la conversation,
#codedgaze.
Donc je vous invite à me rejoindre
pour créer un monde où la technologie marche pour nous tous,
pas seulement pour certains,
un monde où l'inclusion et le changement social ont de la valeur.
Merci.
(Applaudissements)
Mais j'ai une question :
Me rejoindrez-vous dans ce combat?
(Rires)
(Applaudissements)