L'ère de la confiance absolue dans le Big Data doit prendre fin

Les algorithmes déterminent qui peut obtenir un prêt, un entretien, une assurance ou beaucoup d'autres choses encore -- mais ce n'est pas pour ça qu'ils rendent les choses équitables. Cathy O'Neil, mathématicienne et scientifique de données, a inventé un nom pour les algorithmes qui sont secrets, importants et dangereux : « armes de destruction math-ive ». Apprenez-en plus sur les intentions cachées derrière les formules.

Les algorithmes sont partout.

Ils trient et séparent
les vainqueurs des perdants.

Les vainqueurs obtiennent le poste

ou une bonne offre de carte de crédit.

Les perdants n'obtiennent
même pas un entretien

ou paient leur assurance plus cher.

On nous classe avec des formules secrètes
que nous ne comprenons pas

qui n'offrent pas souvent
de systèmes de recours.

La question se pose donc :

et si les algorithmes sont faux ?

Deux choses constituent un algorithme :

des données historiques,

et une définition du succès,

ce que l'on espère trouver.

On forme un algorithme
en observant, en comprenant,

l'algorithme trouve ce que
l'on associe au succès,

la situation qui mène au succès.

En fait,
tout le monde utilise des algorithmes

sans forcément les formaliser
en les écrivant.

Voici un exemple :

chaque jour, en cuisinant
je me sers d'un algorithme.

Les données que j'utilise

sont les ingrédients à disposition,

le temps dont je dispose,

l'ambition que j'ai,

et je conserve ces données.

Je ne considère pas les paquets
de ramen comme de la nourriture.

(Rires)

Ma définition du succès est :

un repas est réussi si mes enfants
mangent des légumes.

Si mon fils était aux commandes,
ce serait différent.

Pour lui, le succès serait
de manger plein de Nutella.

Mais c'est moi qui choisis
ce qu'est le succès.

Je commande. C'est mon avis qui compte.

C'est la première règle des algorithmes.

Les algorithmes sont des opinions
intégrées dans du code.

C'est très différent de ce que
les gens pensent des algorithmes.

Ils pensent que les algorithmes sont
objectifs, vrais et scientifiques.

C'est une astuce marketing.

C'en est une autre

de vous intimider avec des algorithmes,

de vous faire croire et craindre
les algorithmes,

car vous croyez et craignez
les mathématiques.

Tout peut mal tourner quand on a
une foi aveugle dans le Big Data.

Voici Kiri Soares. Elle est directrice
d'un lycée à Brooklyn.

En 2011, elle m'a dit que ses
professeurs étaient classés

par un algorithme complexe et secret

appelé le « modèle de valeur ajoutée ».

Je lui ai dit : « Trouve la formule,
montre-la moi,

et je vais te l'expliquer. »

Elle m'a dit :
« J'ai essayé de la trouver,

mais le Ministère de l'éducation
m'a dit que c'était des "maths"

et que je ne comprendrais pas. »

Il y a pire.

Le New York Post a invoqué la loi
sur la liberté d'information,

a obtenu les noms des enseignants
ainsi que leur classement,

et les ont publiés
pour humilier les enseignants.

Quand j'ai tenté d'avoir les formules,
le code source, par les mêmes moyens,

on m'a dit que je ne pouvais pas.

On me les a refusés.

Plus tard, j'ai découvert

que personne à New York n'avait
accès à cette formule.

Personne ne la comprenait.

Puis quelqu'un de très malin
s'en est mêlé, Gary Rubinstein.

Il a trouvé 665 enseignants
des données du New York Post

qui avaient deux notes.

Cela peut arriver s'ils enseignaient

les maths en cinquième et en quatrième.

Il a décidé d'en faire un graphique.

Chaque point représente un enseignant.

(Rires)

Qu'est-ce que c'est ?

(Rires)

Ça n'aurait jamais dû être utilisé
pour des évaluations individuelles.

On dirait presque un générateur aléatoire.

(Applaudissements)

Mais ça l'a été.

Voici Sarah Wysocki.

Elle a été virée
avec 205 autres enseignants

du secteur scolaire de Washington,

malgré les excellentes
recommandations de son directeur

et des parents de ses élèves.

Je sais ce que bon nombre
d'entre vous pensent,

surtout les scientifiques de données,

vous vous dites que vous ne feriez jamais
un algorithme aussi incohérent.

Mais les algorithmes peuvent mal tourner,

voire avoir des effets destructeurs
avec de bonnes intentions.

Alors que quand un avion
mal conçu s'écrase,

tout le monde le voit,

un algorithme mal conçu, lui,

peut continuer longtemps
à faire des ravages en silence.

Voici Roger Ailes.

(Rires)

Il a fondé Fox News en 1996.

Plus de 20 femmes se sont plaintes
de harcèlement sexuel,

elles ont dit ne pas avoir eu le droit
de réussir chez Fox News.

Il a été viré l'an dernier,
mais on a vu récemment

que ces problèmes persistent.

On peut se demander :

que devrait faire Fox News
pour tourner la page ?

Et s'ils remplaçaient leur procédure
de recrutement

par un algorithme ?

Ça a l'air bien, non ?

Pensez-y.

Les données,
quelles seraient les données ?

Un choix raisonnable serait les
candidatures des 21 dernières années.

Raisonnable.

Et la définition du succès ?

Le choix raisonnable serait,

mais qui a du succès chez Fox News ?

À mon avis, quelqu'un qui y est resté
au moins quatre ans,

qui a été promu au moins une fois.

Ça m'a l'air raisonnable.

Et puis l'algorithme serait mis au point.

Mis au point pour sonder les gens,
apprendre ce qui les a conduits au succès,

quels types de candidatures ont
historiquement mené au succès

par cette définition.

Pensez à ce qu'il pourrait se passer

si on appliquait cela
à un groupe actuel de candidats.

Le filtrage éliminerait les femmes

car elles ne ressemblent pas aux gens
qui ont eu du succès dans le passé.

Les algorithmes ne rendent pas
les choses équitables

si on les applique aveuglément,
avec négligence.

Ils n'instaurent pas l'équité.

Ils reproduisent nos pratiques du passé,

nos habitudes.

Ils automatisent le statu quo.

Cela aurait été bien
si nous avions un monde parfait,

mais ce n'est pas le cas.

De plus, la plupart des sociétés ne
font pas l'objet de poursuites honteuses

mais les scientifiques de données
dans ces sociétés

sont invités à suivre les données,

à se concentrer sur la précision.

Imaginez ce que ça veut dire :

parce que nous avons tous un parti pris,
cela veut dire qu'ils pourraient coder

des idées sexistes, entre autres.

Petit exercice de réflexion

parce que j'aime en faire :

une société entièrement en proie
à la ségrégation --

à la ségrégation raciale, dans toutes
les villes, tous les voisinages

et où la police va seulement
dans les quartiers de minorité

à la recherche de crimes.

Les données policières seraient
complètement biaisées.

Et si, en plus, on trouvait
des experts en données

et qu'on les payait pour qu'ils nous
prédisent le lieu du prochain crime ?

Le quartier des minorités.

Ou encore qu'ils prédisent qui serait
le prochain criminel ?

Un membre d'une minorité.

Les experts en données se vanteraient
de l'excellence et de l'exactitude

de leur modèle,

et ils auraient raison.

Bien sûr, la réalité n'est pas comme ça,
mais la ségrégation existe tout de même

dans beaucoup d'endroits,

et nous avons assez de preuves

que les données policières et judiciaires
sont biaisées.

Et nous prédisons vraiment
les zones sensibles,

là où les crimes seront commis,

et nous prédisons aussi, en fait,
les infractions individuelles,

commises par un seul individu.

L'agence de presse « ProPublica »
s'est récemment penchée

sur l'un de ces algorithmes
de « risque de récidive »,

comme on les appelle,

utilisé par les juges en Floride
pendant la détermination de la peine.

Bernard, à gauche, l'homme noir,
a obtenu un 10 sur 10.

Dylan, à droite, 3 sur 10.

10 sur 10 risque élevé,
3 sur 10, risque faible.

Tous deux ont été jugés pour
possession de drogue.

Tous deux avaient un casier,

mais Dylan avait déjà commis un crime,

ce qui n'était pas le cas de Bernard.

C'est important, car plus le score
est élevé,

plus il est probable que la sentence
soit longue.

Qu'est-ce qu'il se passe ?

Un blanchiment de données.

C'est un processus de technologues
pour cacher des vérités gênantes

dans des algorithmes « boîte noire »

soi-disant objectifs,

soi-disant méritocratiques.

Quand ces algorithmes sont secrets,
importants et destructifs,

je leur ai inventé un nom :

« armes de destruction math-ive ».

(Rires)

(Applaudissements)

Ils sont partout, et ce n'est pas
une erreur !

Il s'agit de compagnie privées,
qui créent des algorithmes privés,

à des fins privées.

Même ceux dont j'ai parlé,
pour les professeurs et la police,

ont été mis au point
par des sociétés privées

et vendus au gouvernement.

Ils appellent ça
leur « recette secrète »,

et donc ne peuvent pas
nous en parler.

C'est aussi du pouvoir privé.

Ils tirent profit en donnant de
l'autorité à ce qu'on ne comprend pas.

Vous pourriez penser,
puisque tout ceci est privé,

et qu'il y a concurrence,

que le marché libre pourrait
résoudre ce problème.

Eh bien non.

Il y a beaucoup d'argent à gagner
grâce à l'injustice.

De plus, nous ne sommes pas
des acteurs économiques rationnels.

Nous sommes tous partiaux.

Nous sommes tous racistes et intolérants
sans le vouloir,

sans parfois même le savoir.

Globalement, pourtant, nous le savons,

car les sociologues l'ont
sans cesse démontré

avec ces expériences

où ils envoient des candidatures
à qualifications égales

mais certaines avec des noms « blancs »

et d'autres avec des noms « noirs » :

les résultats sont toujours décevants.
Toujours.

Donc, nous sommes
porteurs de préjugés,

et nous les injectons dans les algorithmes

en choisissant
les données à collecter

comme quand j'ai choisi
de mettre les ramen de côté,

car ce n'était pas pertinent.

Mais en se basant sur des données
qui reprennent des pratiques passées

et en définissant soi-même la réussite,

comment peut-on s'attendre à ce que
les algorithmes en sortent indemnes ?

On ne peut pas. On doit les contrôler.

On doit contrôler leur équité.

La bonne nouvelle, c'est qu'on peut
contrôler leur équité.

Les algorithmes peuvent être interrogés,

et ils diront la vérité à chaque fois.

Et on peut les corriger,
les améliorer.

J'appelle ça
un « audit algorithmique »,

et je vais vous l'expliquer.

D'abord, vérification
de l'intégrité des données.

Pour l'algorithme « risque de récidive »
dont j'ai parlé,

cette vérification impliquera qu'il
faudra se rendre compte du fait

qu'aux États-Unis, blancs et noirs
fument la même quantité de joints,

mais que les noirs ont bien plus de
chance d'être arrêtés,

quatre ou cinq fois plus selon la région.

A quoi ressemble ce préjugé
dans les autres catégories de crime,

et comment en tient-on compte ?

Ensuite, on doit réfléchir
à la définition du succès,

la contrôler.

Vous vous souvenez,
l'algorithme de recrutement ?

Quelqu'un qui reste plus de quatre ans
et est promu une fois ?

Eh bien, cet employé est performant,

mais cet aussi un employé soutenu
par sa culture.

Cela peut donc aussi être biaisé.

Nous devons séparer ces deux idées.

Nous devrions prendre
les auditions à l'aveugle

comme exemple.

Celles où les gens auditionnent
derrière un drap.

Ce à quoi je pense ici,

c'est que les gens qui écoutent
ont décidé de ce qui est important,

et de ce qui ne l'est pas,

et ils ne se laissent pas distraire
par cela.

Quand les auditions d'orchestre
à l'aveugle ont commencé,

le nombre de femmes dans les orchestres
s'est multiplié par 5.

Ensuite, nous devons tenir compte
de la précision.

Le modèle de « valeur-ajoutée » pour
professeurs échouerait dans ce cas-là.

Aucun algorithme n'est parfait,
évidemment,

donc nous devons examiner les
erreurs de tous les algorithmes.

Reviennent-elles souvent,
et pour qui est-ce que le modèle échoue ?

Quel est le coût de cet échec ?

Enfin, nous devons prendre en compte

l'effet à long terme des algorithmes,

les boucles de réactions
qu'ils engendrent.

Cela semble abstrait,

mais imaginez, si les ingénieurs
de Facebook y avaient pensé

avant de décider de nous montrer
seulement les publications de nos amis.

J'ai encore deux messages, un pour
les scientifiques de données ici.

Nous ne devrions pas être
les arbitres de la vérité.

Nous devrions être les traducteurs
des discussions d'ordre éthique

de la société en général.

(Applaudissements)

Et pour le reste d'entre vous,

qui n'êtes pas du milieu,

ceci n'est pas un test de math.

C'est une bataille politique.

Nous devons réclamer des comptes
à nos souverains algorithmiques.

(Applaudissements)

L'ère de la confiance absolue
dans le Big Data doit prendre fin.

Merci beaucoup.

(Applaudissements)