0:00:00.975,0:00:02.571
Les algorithmes sont partout.

0:00:04.111,0:00:07.236
Ils trient et séparent[br]les vainqueurs des perdants.

0:00:08.019,0:00:10.267
Les vainqueurs obtiennent le poste

0:00:10.267,0:00:12.090
ou une bonne offre de carte de crédit.

0:00:12.090,0:00:14.725
Les perdants n'obtiennent[br]même pas un entretien

0:00:15.590,0:00:17.367
ou paient leur assurance plus cher.

0:00:18.197,0:00:21.746
On nous classe avec des formules secrètes [br]que nous ne comprenons pas

0:00:22.675,0:00:25.892
qui n'offrent pas souvent [br]de systèmes de recours.

0:00:27.240,0:00:28.536
La question se pose donc :

0:00:28.560,0:00:31.473
et si les algorithmes sont faux ?

0:00:33.100,0:00:35.140
Deux choses constituent un algorithme :

0:00:35.164,0:00:37.145
des données historiques,

0:00:37.169,0:00:38.730
et une définition du succès,

0:00:38.754,0:00:40.411
ce que l'on espère trouver.

0:00:41.235,0:00:46.272
On forme un algorithme [br]en observant, en comprenant,

0:00:46.296,0:00:49.715
l'algorithme trouve ce que[br]l'on associe au succès,

0:00:49.739,0:00:52.149
la situation qui mène au succès.

0:00:52.269,0:00:54.521
En fait,[br]tout le monde utilise des algorithmes

0:00:54.662,0:00:56.882
sans forcément les formaliser[br]en les écrivant.

0:00:57.530,0:00:58.413
Voici un exemple :

0:00:58.413,0:01:00.903
chaque jour, en cuisinant[br]je me sers d'un algorithme.

0:01:01.823,0:01:03.145
Les données que j'utilise

0:01:03.662,0:01:05.692
sont les ingrédients à disposition,

0:01:05.717,0:01:07.003
le temps dont je dispose,

0:01:07.253,0:01:08.298
l'ambition que j'ai,

0:01:08.906,0:01:10.239
et je conserve ces données.

0:01:10.469,0:01:14.458
Je ne considère pas les paquets[br]de ramen comme de la nourriture.

0:01:14.458,0:01:16.049
(Rires)

0:01:16.786,0:01:18.631
Ma définition du succès est :

0:01:18.655,0:01:21.314
un repas est réussi si mes enfants[br]mangent des légumes.

0:01:21.951,0:01:24.805
Si mon fils était aux commandes,[br]ce serait différent.

0:01:25.059,0:01:27.847
Pour lui, le succès serait[br]de manger plein de Nutella.

0:01:29.029,0:01:31.405
Mais c'est moi qui choisis [br]ce qu'est le succès.

0:01:31.429,0:01:34.136
Je commande. C'est mon avis qui compte.

0:01:34.160,0:01:36.835
C'est la première règle des algorithmes.

0:01:36.859,0:01:40.039
Les algorithmes sont des opinions[br]intégrées dans du code.

0:01:41.562,0:01:45.225
C'est très différent de ce que [br]les gens pensent des algorithmes.

0:01:45.249,0:01:49.753
Ils pensent que les algorithmes sont[br]objectifs, vrais et scientifiques.

0:01:50.387,0:01:52.086
C'est une astuce marketing.

0:01:53.269,0:01:55.394
C'en est une autre

0:01:55.418,0:01:58.582
de vous intimider avec des algorithmes,

0:01:58.582,0:02:01.981
de vous faire croire et craindre[br]les algorithmes,

0:02:01.981,0:02:04.299
car vous croyez et craignez [br]les mathématiques.

0:02:05.567,0:02:10.127
Tout peut mal tourner quand on a[br]une foi aveugle dans le Big Data.

0:02:10.918,0:02:14.641
Voici Kiri Soares. Elle est directrice [br]d'un lycée à Brooklyn.

0:02:14.735,0:02:17.918
En 2011, elle m'a dit que ses [br]professeurs étaient classés

0:02:17.918,0:02:20.428
par un algorithme complexe et secret

0:02:20.438,0:02:22.367
appelé le « modèle de valeur ajoutée ».

0:02:22.605,0:02:25.065
Je lui ai dit : « Trouve la formule, [br]montre-la moi,

0:02:25.065,0:02:27.186
et je vais te l'expliquer. »

0:02:27.186,0:02:29.261
Elle m'a dit : [br]« J'ai essayé de la trouver,

0:02:29.261,0:02:32.263
mais le Ministère de l'éducation[br]m'a dit que c'était des "maths"

0:02:32.267,0:02:33.813
et que je ne comprendrais pas. »

0:02:34.876,0:02:36.214
Il y a pire.

0:02:36.338,0:02:40.158
Le New York Post a invoqué la loi[br]sur la liberté d'information,

0:02:40.182,0:02:43.141
a obtenu les noms des enseignants[br]ainsi que leur classement,

0:02:43.165,0:02:45.947
et les ont publiés [br]pour humilier les enseignants.

0:02:47.084,0:02:50.944
Quand j'ai tenté d'avoir les formules,[br]le code source, par les mêmes moyens,

0:02:50.968,0:02:53.117
on m'a dit que je ne pouvais pas.

0:02:53.141,0:02:54.377
On me les a refusés.

0:02:54.401,0:02:55.615
Plus tard, j'ai découvert

0:02:55.615,0:02:58.465
que personne à New York n'avait[br]accès à cette formule.

0:02:58.489,0:02:59.794
Personne ne la comprenait.

0:03:01.929,0:03:05.153
Puis quelqu'un de très malin[br]s'en est mêlé, Gary Rubinstein.

0:03:05.177,0:03:08.798
Il a trouvé 665 enseignants[br]des données du New York Post

0:03:08.822,0:03:10.688
qui avaient deux notes.

0:03:10.712,0:03:12.593
Cela peut arriver s'ils enseignaient

0:03:12.617,0:03:15.056
les maths en cinquième et en quatrième.

0:03:15.080,0:03:16.808
Il a décidé d'en faire un graphique.

0:03:16.808,0:03:18.635
Chaque point représente un enseignant.

0:03:19.104,0:03:21.483
(Rires)

0:03:21.507,0:03:23.028
Qu'est-ce que c'est ?

0:03:23.052,0:03:24.329
(Rires)

0:03:24.353,0:03:27.799
Ça n'aurait jamais dû être utilisé[br]pour des évaluations individuelles.

0:03:27.823,0:03:29.909
On dirait presque un générateur aléatoire.

0:03:29.909,0:03:32.719
(Applaudissements)

0:03:32.743,0:03:33.779
Mais ça l'a été.

0:03:33.779,0:03:35.105
Voici Sarah Wysocki.

0:03:35.129,0:03:37.304
Elle a été virée[br]avec 205 autres enseignants

0:03:37.328,0:03:39.990
du secteur scolaire de Washington,

0:03:40.014,0:03:42.923
malgré les excellentes[br]recommandations de son directeur

0:03:42.947,0:03:44.375
et des parents de ses élèves.

0:03:45.310,0:03:47.518
Je sais ce que bon nombre[br]d'entre vous pensent,

0:03:47.518,0:03:49.647
surtout les scientifiques de données,

0:03:49.647,0:03:54.183
vous vous dites que vous ne feriez jamais[br]un algorithme aussi incohérent.

0:03:54.603,0:03:56.646
Mais les algorithmes peuvent mal tourner,

0:03:56.646,0:04:01.158
voire avoir des effets destructeurs[br]avec de bonnes intentions.

0:04:02.531,0:04:05.780
Alors que quand un avion[br]mal conçu s'écrase,

0:04:05.780,0:04:06.935
tout le monde le voit,

0:04:06.959,0:04:08.809
un algorithme mal conçu, lui,

0:04:10.245,0:04:14.110
peut continuer longtemps [br]à faire des ravages en silence.

0:04:15.748,0:04:17.318
Voici Roger Ailes.

0:04:17.342,0:04:19.342
(Rires)

0:04:20.524,0:04:22.912
Il a fondé Fox News en 1996.

0:04:23.436,0:04:26.104
Plus de 20 femmes se sont plaintes[br]de harcèlement sexuel,

0:04:26.104,0:04:29.276
elles ont dit ne pas avoir eu le droit[br]de réussir chez Fox News.

0:04:29.300,0:04:31.820
Il a été viré l'an dernier,[br]mais on a vu récemment

0:04:31.844,0:04:34.514
que ces problèmes persistent.

0:04:35.654,0:04:37.054
On peut se demander :

0:04:37.078,0:04:39.962
que devrait faire Fox News[br]pour tourner la page ?

0:04:41.245,0:04:44.286
Et s'ils remplaçaient leur procédure[br]de recrutement

0:04:44.310,0:04:45.964
par un algorithme ?

0:04:45.988,0:04:47.583
Ça a l'air bien, non ?

0:04:47.607,0:04:48.907
Pensez-y.

0:04:48.931,0:04:51.036
Les données,[br]quelles seraient les données ?

0:04:51.060,0:04:56.007
Un choix raisonnable serait les[br]candidatures des 21 dernières années.

0:04:56.031,0:04:57.533
Raisonnable.

0:04:57.557,0:04:59.495
Et la définition du succès ?

0:04:59.911,0:05:01.245
Le choix raisonnable serait,

0:05:01.269,0:05:03.047
mais qui a du succès chez Fox News ?

0:05:03.071,0:05:06.651
À mon avis, quelqu'un qui y est resté[br]au moins quatre ans,

0:05:06.675,0:05:08.329
qui a été promu au moins une fois.

0:05:08.816,0:05:10.377
Ça m'a l'air raisonnable.

0:05:10.401,0:05:12.755
Et puis l'algorithme serait mis au point.

0:05:12.779,0:05:16.656
Mis au point pour sonder les gens,[br]apprendre ce qui les a conduits au succès,

0:05:17.219,0:05:21.537
quels types de candidatures ont[br]historiquement mené au succès

0:05:21.561,0:05:22.855
par cette définition.

0:05:24.200,0:05:25.975
Pensez à ce qu'il pourrait se passer

0:05:25.999,0:05:28.554
si on appliquait cela[br]à un groupe actuel de candidats.

0:05:29.119,0:05:30.748
Le filtrage éliminerait les femmes

0:05:31.663,0:05:35.593
car elles ne ressemblent pas aux gens[br]qui ont eu du succès dans le passé.

0:05:39.752,0:05:42.289
Les algorithmes ne rendent pas[br]les choses équitables

0:05:42.313,0:05:45.007
si on les applique aveuglément,[br]avec négligence.

0:05:45.031,0:05:46.513
Ils n'instaurent pas l'équité.

0:05:46.537,0:05:48.665
Ils reproduisent nos pratiques du passé,

0:05:48.689,0:05:49.872
nos habitudes.

0:05:49.896,0:05:51.835
Ils automatisent le statu quo.

0:05:52.718,0:05:55.257
Cela aurait été bien [br]si nous avions un monde parfait,

0:05:55.905,0:05:57.217
mais ce n'est pas le cas.

0:05:57.241,0:06:01.343
De plus, la plupart des sociétés ne[br]font pas l'objet de poursuites honteuses

0:06:02.446,0:06:05.034
mais les scientifiques de données [br]dans ces sociétés

0:06:05.058,0:06:07.247
sont invités à suivre les données,

0:06:07.271,0:06:09.414
à se concentrer sur la précision.

0:06:10.223,0:06:11.654
Imaginez ce que ça veut dire :

0:06:11.678,0:06:15.399
parce que nous avons tous un parti pris,[br]cela veut dire qu'ils pourraient coder

0:06:15.399,0:06:17.565
des idées sexistes, entre autres.

0:06:19.488,0:06:20.909
Petit exercice de réflexion

0:06:20.933,0:06:22.442
parce que j'aime en faire :

0:06:23.574,0:06:26.549
une société entièrement en proie[br]à la ségrégation --

0:06:28.247,0:06:31.575
à la ségrégation raciale, dans toutes [br]les villes, tous les voisinages

0:06:31.599,0:06:34.636
et où la police va seulement[br]dans les quartiers de minorité

0:06:34.660,0:06:35.853
à la recherche de crimes.

0:06:36.451,0:06:39.010
Les données policières seraient[br]complètement biaisées.

0:06:39.851,0:06:42.426
Et si, en plus, on trouvait[br]des experts en données

0:06:42.450,0:06:46.611
et qu'on les payait pour qu'ils nous[br]prédisent le lieu du prochain crime ?

0:06:47.275,0:06:48.762
Le quartier des minorités.

0:06:49.285,0:06:52.410
Ou encore qu'ils prédisent qui serait[br]le prochain criminel ?

0:06:52.888,0:06:54.283
Un membre d'une minorité.

0:06:55.949,0:06:59.504
Les experts en données se vanteraient[br]de l'excellence et de l'exactitude

0:06:59.504,0:07:00.801
de leur modèle,

0:07:00.835,0:07:02.134
et ils auraient raison.

0:07:03.951,0:07:08.566
Bien sûr, la réalité n'est pas comme ça,[br]mais la ségrégation existe tout de même

0:07:08.590,0:07:09.877
dans beaucoup d'endroits,

0:07:09.901,0:07:11.794
et nous avons assez de preuves

0:07:11.818,0:07:14.506
que les données policières et judiciaires[br]sont biaisées.

0:07:15.632,0:07:18.447
Et nous prédisons vraiment[br]les zones sensibles,

0:07:18.471,0:07:20.001
là où les crimes seront commis,

0:07:20.401,0:07:24.267
et nous prédisons aussi, en fait, [br]les infractions individuelles,

0:07:24.267,0:07:26.037
commises par un seul individu.

0:07:27.182,0:07:30.115
L'agence de presse « ProPublica »[br]s'est récemment penchée

0:07:30.119,0:07:32.733
sur l'un de ces algorithmes[br]de « risque de récidive »,

0:07:32.733,0:07:33.890
comme on les appelle,

0:07:33.934,0:07:37.388
utilisé par les juges en Floride [br]pendant la détermination de la peine.

0:07:38.411,0:07:41.996
Bernard, à gauche, l'homme noir,[br]a obtenu un 10 sur 10.

0:07:43.179,0:07:45.186
Dylan, à droite, 3 sur 10.

0:07:45.210,0:07:47.711
10 sur 10 risque élevé,[br]3 sur 10, risque faible.

0:07:48.598,0:07:50.983
Tous deux ont été jugés pour[br]possession de drogue.

0:07:51.007,0:07:52.396
Tous deux avaient un casier,

0:07:52.396,0:07:54.991
mais Dylan avait déjà commis un crime,

0:07:55.015,0:07:56.951
ce qui n'était pas le cas de Bernard.

0:07:57.818,0:08:00.884
C'est important, car plus le score[br]est élevé,

0:08:00.908,0:08:04.381
plus il est probable que la sentence [br]soit longue.

0:08:06.294,0:08:07.588
Qu'est-ce qu'il se passe ?

0:08:08.526,0:08:09.858
Un blanchiment de données.

0:08:10.930,0:08:15.357
C'est un processus de technologues[br]pour cacher des vérités gênantes

0:08:15.381,0:08:17.202
dans des algorithmes « boîte noire »

0:08:17.226,0:08:18.516
soi-disant objectifs,

0:08:19.320,0:08:20.888
soi-disant méritocratiques.

0:08:23.118,0:08:26.193
Quand ces algorithmes sont secrets, [br]importants et destructifs,

0:08:26.193,0:08:28.014
je leur ai inventé un nom :

0:08:28.038,0:08:30.037
« armes de destruction math-ive ».

0:08:30.061,0:08:31.625
(Rires)

0:08:31.649,0:08:34.703
(Applaudissements)

0:08:34.727,0:08:37.081
Ils sont partout, et ce n'est pas[br]une erreur !

0:08:37.695,0:08:41.418
Il s'agit de compagnie privées, [br]qui créent des algorithmes privés,

0:08:41.442,0:08:42.834
à des fins privées.

0:08:43.214,0:08:46.428
Même ceux dont j'ai parlé, [br]pour les professeurs et la police,

0:08:46.452,0:08:48.641
ont été mis au point [br]par des sociétés privées

0:08:48.641,0:08:50.450
et vendus au gouvernement.

0:08:50.450,0:08:52.543
Ils appellent ça [br]leur « recette secrète »,

0:08:52.543,0:08:54.625
et donc ne peuvent pas [br]nous en parler.

0:08:54.649,0:08:56.869
C'est aussi du pouvoir privé.

0:08:57.924,0:09:02.619
Ils tirent profit en donnant de [br]l'autorité à ce qu'on ne comprend pas.

0:09:05.114,0:09:07.822
Vous pourriez penser,[br]puisque tout ceci est privé,

0:09:07.822,0:09:09.230
et qu'il y a concurrence,

0:09:09.254,0:09:11.590
que le marché libre pourrait[br]résoudre ce problème.

0:09:11.590,0:09:12.833
Eh bien non.

0:09:12.857,0:09:15.977
Il y a beaucoup d'argent à gagner[br]grâce à l'injustice.

0:09:17.127,0:09:20.496
De plus, nous ne sommes pas [br]des acteurs économiques rationnels.

0:09:21.031,0:09:22.323
Nous sommes tous partiaux.

0:09:22.960,0:09:26.337
Nous sommes tous racistes et intolérants[br]sans le vouloir,

0:09:26.361,0:09:28.380
sans parfois même le savoir.

0:09:29.352,0:09:32.433
Globalement, pourtant, nous le savons,

0:09:32.457,0:09:35.677
car les sociologues l'ont [br]sans cesse démontré

0:09:35.701,0:09:37.366
avec ces expériences

0:09:37.390,0:09:40.138
où ils envoient des candidatures[br]à qualifications égales

0:09:40.138,0:09:42.407
mais certaines avec des noms « blancs »

0:09:42.407,0:09:44.213
et d'autres avec des noms « noirs » :

0:09:44.237,0:09:46.931
les résultats sont toujours décevants. [br]Toujours.

0:09:47.400,0:09:49.281
Donc, nous sommes [br]porteurs de préjugés,

0:09:49.305,0:09:52.734
et nous les injectons dans les algorithmes

0:09:52.758,0:09:54.570
en choisissant [br]les données à collecter

0:09:54.594,0:09:57.251
comme quand j'ai choisi[br]de mettre les ramen de côté,

0:09:57.251,0:09:58.986
car ce n'était pas pertinent.

0:09:59.010,0:10:04.694
Mais en se basant sur des données [br]qui reprennent des pratiques passées

0:10:04.718,0:10:06.732
et en définissant soi-même la réussite,

0:10:06.756,0:10:10.739
comment peut-on s'attendre à ce que[br]les algorithmes en sortent indemnes ?

0:10:10.763,0:10:13.119
On ne peut pas. On doit les contrôler.

0:10:13.995,0:10:15.874
On doit contrôler leur équité.

0:10:15.898,0:10:18.609
La bonne nouvelle, c'est qu'on peut[br]contrôler leur équité.

0:10:18.633,0:10:21.985
Les algorithmes peuvent être interrogés,

0:10:22.009,0:10:24.043
et ils diront la vérité à chaque fois.

0:10:24.067,0:10:26.560
Et on peut les corriger, [br]les améliorer.

0:10:26.584,0:10:28.959
J'appelle ça [br]un « audit algorithmique »,

0:10:28.983,0:10:30.662
et je vais vous l'expliquer.

0:10:30.686,0:10:32.992
D'abord, vérification[br]de l'intégrité des données.

0:10:34.132,0:10:37.049
Pour l'algorithme « risque de récidive »[br]dont j'ai parlé,

0:10:37.582,0:10:41.155
cette vérification impliquera qu'il[br]faudra se rendre compte du fait

0:10:41.179,0:10:44.679
qu'aux États-Unis, blancs et noirs [br]fument la même quantité de joints,

0:10:44.679,0:10:47.534
mais que les noirs ont bien plus de [br]chance d'être arrêtés,

0:10:47.534,0:10:50.422
quatre ou cinq fois plus selon la région.

0:10:51.167,0:10:54.163
A quoi ressemble ce préjugé[br]dans les autres catégories de crime,

0:10:54.163,0:10:55.648
et comment en tient-on compte ?

0:10:56.162,0:10:59.201
Ensuite, on doit réfléchir [br]à la définition du succès,

0:10:59.225,0:11:00.606
la contrôler.

0:11:00.630,0:11:03.366
Vous vous souvenez,[br]l'algorithme de recrutement ?

0:11:03.366,0:11:06.611
Quelqu'un qui reste plus de quatre ans [br]et est promu une fois ?

0:11:06.611,0:11:08.364
Eh bien, cet employé est performant,

0:11:08.388,0:11:11.467
mais cet aussi un employé soutenu[br]par sa culture.

0:11:12.089,0:11:14.015
Cela peut donc aussi être biaisé.

0:11:14.039,0:11:16.104
Nous devons séparer ces deux idées.

0:11:16.128,0:11:18.554
Nous devrions prendre[br]les auditions à l'aveugle

0:11:18.578,0:11:19.774
comme exemple.

0:11:19.798,0:11:22.554
Celles où les gens auditionnent [br]derrière un drap.

0:11:22.946,0:11:24.877
Ce à quoi je pense ici,

0:11:24.901,0:11:28.318
c'est que les gens qui écoutent[br]ont décidé de ce qui est important,

0:11:28.342,0:11:29.945
et de ce qui ne l'est pas,

0:11:29.945,0:11:32.464
et ils ne se laissent pas distraire[br]par cela.

0:11:32.961,0:11:35.730
Quand les auditions d'orchestre [br]à l'aveugle ont commencé,

0:11:35.734,0:11:39.178
le nombre de femmes dans les orchestres[br]s'est multiplié par 5.

0:11:40.013,0:11:42.528
Ensuite, nous devons tenir compte[br]de la précision.

0:11:43.183,0:11:47.147
Le modèle de « valeur-ajoutée » pour[br]professeurs échouerait dans ce cas-là.

0:11:47.578,0:11:49.740
Aucun algorithme n'est parfait,[br]évidemment,

0:11:50.620,0:11:54.225
donc nous devons examiner les [br]erreurs de tous les algorithmes.

0:11:54.836,0:11:59.195
Reviennent-elles souvent, [br]et pour qui est-ce que le modèle échoue ?

0:11:59.850,0:12:01.568
Quel est le coût de cet échec ?

0:12:02.434,0:12:04.641
Enfin, nous devons prendre en compte

0:12:05.973,0:12:08.159
l'effet à long terme des algorithmes,

0:12:08.866,0:12:11.073
les boucles de réactions[br]qu'ils engendrent.

0:12:11.586,0:12:12.822
Cela semble abstrait,

0:12:12.846,0:12:15.730
mais imaginez, si les ingénieurs [br]de Facebook y avaient pensé

0:12:16.270,0:12:21.125
avant de décider de nous montrer[br]seulement les publications de nos amis.

0:12:21.761,0:12:24.995
J'ai encore deux messages, un pour [br]les scientifiques de données ici.

0:12:25.450,0:12:28.859
Nous ne devrions pas être[br]les arbitres de la vérité.

0:12:29.520,0:12:33.303
Nous devrions être les traducteurs [br]des discussions d'ordre éthique

0:12:33.327,0:12:34.621
de la société en général.

0:12:35.579,0:12:37.712
(Applaudissements)

0:12:37.736,0:12:39.292
Et pour le reste d'entre vous,

0:12:40.011,0:12:41.407
qui n'êtes pas du milieu,

0:12:41.431,0:12:42.929
ceci n'est pas un test de math.

0:12:43.632,0:12:45.090
C'est une bataille politique.

0:12:46.587,0:12:50.494
Nous devons réclamer des comptes [br]à nos souverains algorithmiques.

0:12:52.118,0:12:53.617
(Applaudissements)

0:12:53.641,0:12:57.866
L'ère de la confiance absolue [br]dans le Big Data doit prendre fin.

0:12:57.890,0:12:59.057
Merci beaucoup.

0:12:59.081,0:13:04.384
(Applaudissements)