Les algorithmes sont partout.
Ils trient et séparent les vainqueurs des perdants.
Les vainqueurs obtiennent le poste
ou une bonne offre de carte de crédit.
Les perdants n'obtiennent même pas un entretien
ou paient leur assurance plus cher.
On nous classe avec des formules secrètes que nous ne comprenons pas
qui n'offrent pas souvent de systèmes de recours.
La question se pose donc :
et si les algorithmes sont faux ?
Deux choses constituent un algorithme :
des données historiques,
et une définition du succès,
ce que l'on espère trouver.
On forme un algorithme en observant, en comprenant,
l'algorithme trouve ce que l'on associe au succès,
la situation qui mène au succès.
En fait, tout le monde utilise des algorithmes
sans forcément les formaliser en les écrivant.
Voici un exemple :
chaque jour, en cuisinant je me sers d'un algorithme.
Les données que j'utilise
sont les ingrédients à disposition,
le temps dont je dispose,
l'ambition que j'ai,
et je conserve ces données.
Je ne considère pas les paquets de ramen comme de la nourriture.
(Rires)
Ma définition du succès est :
un repas est réussi si mes enfants mangent des légumes.
Si mon fils était aux commandes, ce serait différent.
Pour lui, le succès serait de manger plein de Nutella.
Mais c'est moi qui choisis ce qu'est le succès.
Je commande. C'est mon avis qui compte.
C'est la première règle des algorithmes.
Les algorithmes sont des opinions intégrées dans du code.
C'est très différent de ce que les gens pensent des algorithmes.
Ils pensent que les algorithmes sont objectifs, vrais et scientifiques.
C'est une astuce marketing.
C'en est une autre
de vous intimider avec des algorithmes,
de vous faire croire et craindre les algorithmes,
car vous croyez et craignez les mathématiques.
Tout peut mal tourner quand on a une foi aveugle dans le Big Data.
Voici Kiri Soares. Elle est directrice d'un lycée à Brooklyn.
En 2011, elle m'a dit que ses professeurs étaient classés
par un algorithme complexe et secret
appelé le « modèle de valeur ajoutée ».
Je lui ai dit : « Trouve la formule, montre-la moi,
et je vais te l'expliquer. »
Elle m'a dit : « J'ai essayé de la trouver,
mais le Ministère de l'éducation m'a dit que c'était des "maths"
et que je ne comprendrais pas. »
Il y a pire.
Le New York Post a invoqué la loi sur la liberté d'information,
a obtenu les noms des enseignants ainsi que leur classement,
et les ont publiés pour humilier les enseignants.
Quand j'ai tenté d'avoir les formules, le code source, par les mêmes moyens,
on m'a dit que je ne pouvais pas.
On me les a refusés.
Plus tard, j'ai découvert
que personne à New York n'avait accès à cette formule.
Personne ne la comprenait.
Puis quelqu'un de très malin s'en est mêlé, Gary Rubinstein.
Il a trouvé 665 enseignants des données du New York Post
qui avaient deux notes.
Cela peut arriver s'ils enseignaient
les maths en cinquième et en quatrième.
Il a décidé d'en faire un graphique.
Chaque point représente un enseignant.
(Rires)
Qu'est-ce que c'est ?
(Rires)
Ça n'aurait jamais dû être utilisé pour des évaluations individuelles.
On dirait presque un générateur aléatoire.
(Applaudissements)
Mais ça l'a été.
Voici Sarah Wysocki.
Elle a été virée avec 205 autres enseignants
du secteur scolaire de Washington,
malgré les excellentes recommandations de son directeur
et des parents de ses élèves.
Je sais ce que bon nombre d'entre vous pensent,
surtout les scientifiques de données,
vous vous dites que vous ne feriez jamais un algorithme aussi incohérent.
Mais les algorithmes peuvent mal tourner,
voire avoir des effets destructeurs avec de bonnes intentions.
Alors que quand un avion mal conçu s'écrase,
tout le monde le voit,
un algorithme mal conçu, lui,
peut continuer longtemps à faire des ravages en silence.
Voici Roger Ailes.
(Rires)
Il a fondé Fox News en 1996.
Plus de 20 femmes se sont plaintes de harcèlement sexuel,
elles ont dit ne pas avoir eu le droit de réussir chez Fox News.
Il a été viré l'an dernier, mais on a vu récemment
que ces problèmes persistent.
On peut se demander :
que devrait faire Fox News pour tourner la page ?
Et s'ils remplaçaient leur procédure de recrutement
par un algorithme ?
Ça a l'air bien, non ?
Pensez-y.
Les données, quelles seraient les données ?
Un choix raisonnable serait les candidatures des 21 dernières années.
Raisonnable.
Et la définition du succès ?
Le choix raisonnable serait,
mais qui a du succès chez Fox News ?
À mon avis, quelqu'un qui y est resté au moins quatre ans,
qui a été promu au moins une fois.
Ça m'a l'air raisonnable.
Et puis l'algorithme serait mis au point.
Mis au point pour sonder les gens, apprendre ce qui les a conduits au succès,
quels types de candidatures ont historiquement mené au succès
par cette définition.
Pensez à ce qu'il pourrait se passer
si on appliquait cela à un groupe actuel de candidats.
Le filtrage éliminerait les femmes
car elles ne ressemblent pas aux gens qui ont eu du succès dans le passé.
Les algorithmes ne rendent pas les choses équitables
si on les applique aveuglément, avec négligence.
Ils n'instaurent pas l'équité.
Ils reproduisent nos pratiques du passé,
nos habitudes.
Ils automatisent le statu quo.
Cela aurait été bien si nous avions un monde parfait,
mais ce n'est pas le cas.
De plus, la plupart des sociétés ne font pas l'objet de poursuites honteuses
mais les scientifiques de données dans ces sociétés
sont invités à suivre les données,
à se concentrer sur la précision.
Imaginez ce que ça veut dire :
parce que nous avons tous un parti pris, cela veut dire qu'ils pourraient coder
des idées sexistes, entre autres.
Petit exercice de réflexion
parce que j'aime en faire :
une société entièrement en proie à la ségrégation --
à la ségrégation raciale, dans toutes les villes, tous les voisinages
et où la police va seulement dans les quartiers de minorité
à la recherche de crimes.
Les données policières seraient complètement biaisées.
Et si, en plus, on trouvait des experts en données
et qu'on les payait pour qu'ils nous prédisent le lieu du prochain crime ?
Le quartier des minorités.
Ou encore qu'ils prédisent qui serait le prochain criminel ?
Un membre d'une minorité.
Les experts en données se vanteraient de l'excellence et de l'exactitude
de leur modèle,
et ils auraient raison.
Bien sûr, la réalité n'est pas comme ça, mais la ségrégation existe tout de même
dans beaucoup d'endroits,
et nous avons assez de preuves
que les données policières et judiciaires sont biaisées.
Et nous prédisons vraiment les zones sensibles,
là où les crimes seront commis,
et nous prédisons aussi, en fait, les infractions individuelles,
commises par un seul individu.
L'agence de presse « ProPublica » s'est récemment penchée
sur l'un de ces algorithmes de « risque de récidive »,
comme on les appelle,
utilisé par les juges en Floride pendant la détermination de la peine.
Bernard, à gauche, l'homme noir, a obtenu un 10 sur 10.
Dylan, à droite, 3 sur 10.
10 sur 10 risque élevé, 3 sur 10, risque faible.
Tous deux ont été jugés pour possession de drogue.
Tous deux avaient un casier,
mais Dylan avait déjà commis un crime,
ce qui n'était pas le cas de Bernard.
C'est important, car plus le score est élevé,
plus il est probable que la sentence soit longue.
Qu'est-ce qu'il se passe ?
Un blanchiment de données.
C'est un processus de technologues pour cacher des vérités gênantes
dans des algorithmes « boîte noire »
soi-disant objectifs,
soi-disant méritocratiques.
Quand ces algorithmes sont secrets, importants et destructifs,
je leur ai inventé un nom :
« armes de destruction math-ive ».
(Rires)
(Applaudissements)
Ils sont partout, et ce n'est pas une erreur !
Il s'agit de compagnie privées, qui créent des algorithmes privés,
à des fins privées.
Même ceux dont j'ai parlé, pour les professeurs et la police,
ont été mis au point par des sociétés privées
et vendus au gouvernement.
Ils appellent ça leur « recette secrète »,
et donc ne peuvent pas nous en parler.
C'est aussi du pouvoir privé.
Ils tirent profit en donnant de l'autorité à ce qu'on ne comprend pas.
Vous pourriez penser, puisque tout ceci est privé,
et qu'il y a concurrence,
que le marché libre pourrait résoudre ce problème.
Eh bien non.
Il y a beaucoup d'argent à gagner grâce à l'injustice.
De plus, nous ne sommes pas des acteurs économiques rationnels.
Nous sommes tous partiaux.
Nous sommes tous racistes et intolérants sans le vouloir,
sans parfois même le savoir.
Globalement, pourtant, nous le savons,
car les sociologues l'ont sans cesse démontré
avec ces expériences
où ils envoient des candidatures à qualifications égales
mais certaines avec des noms « blancs »
et d'autres avec des noms « noirs » :
les résultats sont toujours décevants. Toujours.
Donc, nous sommes porteurs de préjugés,
et nous les injectons dans les algorithmes
en choisissant les données à collecter
comme quand j'ai choisi de mettre les ramen de côté,
car ce n'était pas pertinent.
Mais en se basant sur des données qui reprennent des pratiques passées
et en définissant soi-même la réussite,
comment peut-on s'attendre à ce que les algorithmes en sortent indemnes ?
On ne peut pas. On doit les contrôler.
On doit contrôler leur équité.
La bonne nouvelle, c'est qu'on peut contrôler leur équité.
Les algorithmes peuvent être interrogés,
et ils diront la vérité à chaque fois.
Et on peut les corriger, les améliorer.
J'appelle ça un « audit algorithmique »,
et je vais vous l'expliquer.
D'abord, vérification de l'intégrité des données.
Pour l'algorithme « risque de récidive » dont j'ai parlé,
cette vérification impliquera qu'il faudra se rendre compte du fait
qu'aux États-Unis, blancs et noirs fument la même quantité de joints,
mais que les noirs ont bien plus de chance d'être arrêtés,
quatre ou cinq fois plus selon la région.
A quoi ressemble ce préjugé dans les autres catégories de crime,
et comment en tient-on compte ?
Ensuite, on doit réfléchir à la définition du succès,
la contrôler.
Vous vous souvenez, l'algorithme de recrutement ?
Quelqu'un qui reste plus de quatre ans et est promu une fois ?
Eh bien, cet employé est performant,
mais cet aussi un employé soutenu par sa culture.
Cela peut donc aussi être biaisé.
Nous devons séparer ces deux idées.
Nous devrions prendre les auditions à l'aveugle
comme exemple.
Celles où les gens auditionnent derrière un drap.
Ce à quoi je pense ici,
c'est que les gens qui écoutent ont décidé de ce qui est important,
et de ce qui ne l'est pas,
et ils ne se laissent pas distraire par cela.
Quand les auditions d'orchestre à l'aveugle ont commencé,
le nombre de femmes dans les orchestres s'est multiplié par 5.
Ensuite, nous devons tenir compte de la précision.
Le modèle de « valeur-ajoutée » pour professeurs échouerait dans ce cas-là.
Aucun algorithme n'est parfait, évidemment,
donc nous devons examiner les erreurs de tous les algorithmes.
Reviennent-elles souvent, et pour qui est-ce que le modèle échoue ?
Quel est le coût de cet échec ?
Enfin, nous devons prendre en compte
l'effet à long terme des algorithmes,
les boucles de réactions qu'ils engendrent.
Cela semble abstrait,
mais imaginez, si les ingénieurs de Facebook y avaient pensé
avant de décider de nous montrer seulement les publications de nos amis.
J'ai encore deux messages, un pour les scientifiques de données ici.
Nous ne devrions pas être les arbitres de la vérité.
Nous devrions être les traducteurs des discussions d'ordre éthique
de la société en général.
(Applaudissements)
Et pour le reste d'entre vous,
qui n'êtes pas du milieu,
ceci n'est pas un test de math.
C'est une bataille politique.
Nous devons réclamer des comptes à nos souverains algorithmiques.
(Applaudissements)
L'ère de la confiance absolue dans le Big Data doit prendre fin.
Merci beaucoup.
(Applaudissements)