0:00:00.739,0:00:04.635
Mon premier travail[br]était programmeuse informatique

0:00:04.635,0:00:06.881
durant ma première année à l'université --

0:00:06.881,0:00:08.372
quand j'étais adolescente.

0:00:08.889,0:00:12.291
Peu après avoir commencé[br]à écrire des programmes en entreprise,

0:00:12.799,0:00:16.434
un responsable de l'entreprise[br]est venu me voir

0:00:16.458,0:00:17.726
et m'a murmuré :

0:00:18.229,0:00:21.090
« Peut-il dire si je mens ? »

0:00:21.806,0:00:23.883
Il n'y avait personne d'autre[br]dans la pièce.

0:00:25.032,0:00:29.421
« Qui peut dire si vous mentez ?[br]Et pourquoi chuchotez-vous ? »

0:00:30.266,0:00:33.373
Le responsable a pointé du doigt[br]l'ordinateur dans la pièce.

0:00:33.397,0:00:36.493
« Peut-il dire si je mens ? »

0:00:37.613,0:00:41.975
Ce responsable avait une aventure[br]avec la réceptionniste.

0:00:41.999,0:00:43.111
(Rires)

0:00:43.135,0:00:44.901
J'étais toujours adolescente.

0:00:45.447,0:00:47.466
J'ai lui ai murmuré-crié :

0:00:47.490,0:00:51.114
« Oui, l'ordinateur peut dire[br]si vous mentez. »

0:00:51.138,0:00:52.944
(Rires)

0:00:52.968,0:00:55.891
J'ai rigolé, mais c'est de moi[br]qu'on peut se moquer.

0:00:55.915,0:00:59.183
Il y a aujourd'hui[br]des systèmes informatiques

0:00:59.207,0:01:02.755
qui peuvent repérer[br]les états émotionnels et les mensonges

0:01:02.779,0:01:04.983
en traitant les informations[br]du visage humain.

0:01:05.248,0:01:09.401
Les publicitaires et les gouvernements[br]sont très intéressés.

0:01:10.319,0:01:12.321
J'étais devenue programmeuse informatique

0:01:12.321,0:01:15.318
car j'étais l'une de ces gamines[br]folles de maths et de sciences.

0:01:15.942,0:01:19.050
Mais, en chemin, j'avais découvert[br]les armes nucléaires

0:01:19.074,0:01:22.026
et je me sentais très concernée[br]par l'éthique de la science.

0:01:22.050,0:01:23.254
J'étais troublée.

0:01:23.278,0:01:25.919
Cependant, du fait[br]de circonstances familiales,

0:01:25.943,0:01:29.241
je devais aussi commencer à travailler[br]aussi vite que possible.

0:01:29.265,0:01:32.564
Je me suis dit :[br]« Choisis un domaine technique

0:01:32.588,0:01:34.384
où tu peux avoir un emploi facilement

0:01:34.408,0:01:38.426
et où je n'ai pas à gérer[br]des questions d'éthique difficiles. »

0:01:39.022,0:01:40.551
J'ai donc choisi l'informatique.

0:01:40.575,0:01:41.679
(Rires)

0:01:41.703,0:01:45.113
Eh bien, ah ah ah ![br]On peut se moquer de moi.

0:01:45.137,0:01:47.951
Aujourd'hui, les informaticiens[br]construisent des plateformes

0:01:47.951,0:01:52.124
qui contrôlent chaque jour[br]ce que voient un milliard de personnes.

0:01:53.052,0:01:56.874
Ils développent des voitures[br]pouvant décider qui écraser.

0:01:57.707,0:02:00.904
Ils construisent même[br]des machines, des armes

0:02:00.904,0:02:03.449
qui pourraient tuer[br]des êtres humains dans une guerre.

0:02:03.449,0:02:06.024
Il y a de l'éthique partout.

0:02:07.183,0:02:09.241
L'intelligence artificielle est arrivée.

0:02:09.823,0:02:13.297
Nous utilisons l'informatique[br]pour prendre toutes sortes de décisions,

0:02:13.321,0:02:15.207
y compris de nouvelles décisions.

0:02:15.231,0:02:17.427
Nous posons à l'informatique

0:02:17.427,0:02:20.427
des questions auxquelles[br]il n'y a pas d'unique bonne réponse,

0:02:20.427,0:02:21.629
qui sont subjectives,

0:02:21.653,0:02:23.978
ouvertes et reposent sur des valeurs.

0:02:24.002,0:02:25.760
Nous posons des questions comme :

0:02:25.784,0:02:27.434
« Qui devrait-on embaucher ? »

0:02:28.096,0:02:30.855
« Quelles nouvelles de quel ami[br]devrait-on vous montrer ? »

0:02:30.879,0:02:33.145
« Quel prisonnier[br]va probablement récidiver ? »

0:02:33.514,0:02:36.568
« Quel nouvel objet ou film[br]devrait être recommandé aux gens ? »

0:02:36.592,0:02:39.964
Cela fait un certain temps[br]que nous utilisons des ordinateurs

0:02:39.988,0:02:41.505
mais c'est différent.

0:02:41.529,0:02:43.596
C'est un changement historique :

0:02:43.620,0:02:48.957
car on ne peut pas utiliser l'informatique[br]pour des décisions si subjectives

0:02:48.981,0:02:54.401
comme on utilise l'informatique[br]pour piloter un avion, construire un pont,

0:02:54.425,0:02:55.684
aller sur la Lune.

0:02:56.449,0:02:59.708
Les avions sont-ils plus sûrs ?[br]Un pont a-t-il bougé et est tombé ?

0:02:59.732,0:03:04.230
Là, nous nous accordons[br]sur des repères assez clairs

0:03:04.254,0:03:06.493
et les lois de la nature nous guident.

0:03:06.517,0:03:09.911
Nous n'avons pas de tels ancres et repères

0:03:09.935,0:03:13.898
pour les décisions[br]des affaires complexes humaines.

0:03:13.922,0:03:18.159
Pour compliquer encore les choses,[br]nos logiciels gagnent en puissance

0:03:18.183,0:03:21.956
mais sont aussi moins transparents[br]et plus complexes.

0:03:22.542,0:03:24.582
Récemment, les dix dernières années,

0:03:24.606,0:03:27.335
les algorithmes complexes[br]ont fait de grandes avancées.

0:03:27.359,0:03:29.479
Ils peuvent reconnaître[br]les visages humains,

0:03:29.985,0:03:32.040
déchiffrer l'écriture,

0:03:32.436,0:03:34.502
détecter la fraude à la carte bancaire,

0:03:34.526,0:03:35.715
bloquer le spam,

0:03:35.739,0:03:37.776
traduire d'une langue à une autre,

0:03:37.800,0:03:40.374
détecter les tumeurs en imagerie médicale,

0:03:40.398,0:03:42.603
battre les humains aux échecs et au go.

0:03:43.264,0:03:46.315
Beaucoup de ces progrès[br]découlent d'une méthode :

0:03:46.315,0:03:48.175
« l'apprentissage de la machine ».

0:03:48.175,0:03:51.362
Cette méthode est différente[br]de la programmation traditionnelle

0:03:51.386,0:03:55.191
où l'on donne des instructions détaillées,[br]exactes, méticuleuses à l'ordinateur.

0:03:55.378,0:03:59.560
Cela ressemble plus[br]à un système nourri de données,

0:03:59.584,0:04:01.240
dont des données non structurées,

0:04:01.264,0:04:03.542
comme celles générées[br]par notre vie numérique.

0:04:03.566,0:04:06.296
Le système apprend[br]en parcourant ces données.

0:04:06.669,0:04:08.195
Et aussi, c'est crucial,

0:04:08.219,0:04:12.599
ces systèmes n'utilisent pas la logique[br]de la réponse unique.

0:04:12.623,0:04:15.712
Ils ne produisent pas une seule réponse,[br]c'est plus probabiliste :

0:04:15.712,0:04:19.089
« Celle-ci est probablement[br]plus proche de ce que vous cherchez. »

0:04:20.023,0:04:23.093
L'avantage est que cette méthode[br]est très puissante.

0:04:23.117,0:04:25.193
Le chef de l'IA chez Google l'a appelée :

0:04:25.217,0:04:27.414
« l'efficacité irraisonnable[br]des données ».

0:04:27.791,0:04:29.144
L'inconvénient est :

0:04:29.738,0:04:32.809
nous ne comprenons pas vraiment[br]ce que le système a appris.

0:04:32.833,0:04:34.420
En fait, c'est sa force.

0:04:34.946,0:04:38.744
C'est moins comme donner[br]des instructions à un ordinateur ;

0:04:39.200,0:04:43.264
plus comme entraîner[br]une machine-chiot-créature

0:04:43.288,0:04:45.809
que nous ne comprenons[br]ni ne contrôlons vraiment.

0:04:46.362,0:04:47.913
Voilà notre problème.

0:04:48.427,0:04:52.689
C'est un problème quand cette intelligence[br]artificielle comprend mal les choses.

0:04:52.713,0:04:56.253
C'est aussi un problème[br]quand elle comprend les choses

0:04:56.277,0:04:59.905
car on ne sait pas différencier[br]ces situations pour un problème subjectif.

0:04:59.929,0:05:02.268
Nous ignorons ce que pense cette chose.

0:05:03.493,0:05:07.176
Considérez un algorithme d'embauche --

0:05:08.123,0:05:12.434
un système utilisé pour embaucher des gens[br]en utilisant l'apprentissage des machines.

0:05:13.052,0:05:16.631
Un tel système aurait été entraîné[br]sur les données des employés

0:05:16.655,0:05:19.246
et chargé de trouver et embaucher

0:05:19.270,0:05:22.308
des gens similaires à ceux[br]les plus performants de l'entreprise.

0:05:22.814,0:05:23.967
Cela semble bien.

0:05:23.991,0:05:25.924
Une fois, j'ai assisté à une conférence

0:05:25.924,0:05:29.209
qui réunissait responsables[br]des ressources humaines et des dirigeants,

0:05:29.209,0:05:30.369
des gens de haut niveau,

0:05:30.393,0:05:31.982
avec de tels systèmes d'embauche.

0:05:31.982,0:05:33.622
Ils étaient très excités.

0:05:33.646,0:05:38.299
Ils pensaient que cela rendrait l'embauche[br]plus objective, moins biaisée

0:05:38.323,0:05:41.323
et donnerait plus de chances[br]aux femmes et minorités

0:05:41.347,0:05:43.535
face à des responsables RH partiaux.

0:05:43.559,0:05:46.402
L'embauche humaine est partiale.

0:05:47.099,0:05:48.284
Je sais.

0:05:48.308,0:05:51.313
Dans l'un de mes premiers postes[br]en tant que programmeuse,

0:05:51.337,0:05:55.205
ma responsable directe[br]venait parfois me voir

0:05:55.229,0:05:58.982
très tôt le matin[br]ou très tard l'après-midi

0:05:59.006,0:06:02.068
et elle disait : « Zeinep,[br]allons déjeuner ! »

0:06:02.724,0:06:04.891
L'heure étrange me laissait perplexe.

0:06:04.915,0:06:07.044
Il est 16h, déjeuner ?

0:06:07.068,0:06:10.292
J'étais fauchée, le déjeuner était gratuit[br]donc j'y allais toujours.

0:06:10.618,0:06:12.685
Plus tard, j'ai réalisé[br]ce qu'il se passait.

0:06:12.709,0:06:17.255
Mes responsables directs[br]n'avaient pas dit à leurs responsables

0:06:17.279,0:06:20.392
qu'ils avaient embauché[br]pour un travail sérieux une adolescente

0:06:20.416,0:06:24.346
qui portait un jeans[br]et des baskets au travail.

0:06:25.174,0:06:27.606
Je faisais du bon travail[br]mais mon allure clochait,

0:06:27.606,0:06:29.139
j'avais les mauvais âge et sexe.

0:06:29.139,0:06:32.469
Embaucher d'une manière[br]aveugle à la couleur et au sexe

0:06:32.493,0:06:34.358
me semble très bien.

0:06:35.031,0:06:38.372
Mais avec ces systèmes,[br]c'est plus compliqué, voici pourquoi :

0:06:38.968,0:06:44.759
actuellement, les systèmes informatiques[br]peuvent déduire beaucoup vous concernant

0:06:44.783,0:06:46.655
grâce à vos miettes numériques,

0:06:46.679,0:06:49.012
même si vous n'avez rien révélé.

0:06:49.506,0:06:52.433
Ils peuvent déduire[br]votre orientation sexuelle,

0:06:52.994,0:06:54.300
vos traits de personnalité,

0:06:54.859,0:06:56.232
vos tendances politiques.

0:06:56.830,0:07:00.515
Ils ont des pouvoirs prédictifs[br]ayant une exactitude élevée.

0:07:01.362,0:07:03.940
Pour des choses[br]que vous n'avez pas révélées.

0:07:03.964,0:07:05.555
C'est de la déduction.

0:07:05.579,0:07:08.840
J'ai une amie qui a développé[br]de tels systèmes informatiques

0:07:08.864,0:07:12.505
pour prévoir la probabilité[br]d'une dépression clinique ou post-partum

0:07:12.529,0:07:13.945
grâce à vos médias sociaux.

0:07:14.676,0:07:16.373
Les résultats sont impressionnants.

0:07:16.492,0:07:19.849
Son système peut prévoir[br]les risques de dépression

0:07:19.873,0:07:23.776
des mois avant l'apparition[br]de tout symptôme --

0:07:23.800,0:07:25.173
des mois avant.

0:07:25.197,0:07:27.443
Aucun symptôme mais une prédiction.

0:07:27.467,0:07:32.279
Elle espère que cela sera utilisé[br]pour des interventions précoces, super !

0:07:32.911,0:07:35.261
Mais mettez cela[br]dans le contexte de l'embauche.

0:07:36.027,0:07:39.073
Lors de cette conférence[br]de responsables des ressources humaines,

0:07:39.097,0:07:43.806
j'ai approché une responsable[br]d'une très grande entreprise

0:07:43.830,0:07:48.408
et lui ai dit : « Et si, à votre insu,

0:07:48.432,0:07:54.981
votre système éliminait les gens[br]avec de forts risques de dépression ?

0:07:55.761,0:07:59.137
Ils ne sont pas en dépression[br]mais ont plus de risques pour l'avenir.

0:07:59.923,0:08:03.329
Et s'il éliminait les femmes[br]ayant plus de chances d'être enceintes

0:08:03.353,0:08:05.939
dans un ou deux ans[br]mais ne le sont pas actuellement ?

0:08:06.844,0:08:12.480
Et s'il embauchait des gens agressifs[br]car c'est la culture de l'entreprise ? »

0:08:13.173,0:08:15.994
On ne peut pas le dire en regardant[br]la répartition par sexe.

0:08:15.994,0:08:17.390
Cela peut être équilibré.

0:08:17.414,0:08:20.971
Puisque c'est de l'apprentissage[br]de la machine, non du code traditionnel,

0:08:20.995,0:08:25.902
il n'y a pas de variables appelées[br]« plus de risques de dépression »,

0:08:25.926,0:08:27.759
« plus de risques d'être enceinte »,

0:08:27.783,0:08:29.517
« échelle d'agressivité d'un mec ».

0:08:29.995,0:08:33.674
Non seulement vous ignorez[br]ce que votre système utilise pour choisir,

0:08:33.698,0:08:36.021
mais vous ignorez où chercher.

0:08:36.045,0:08:37.291
C'est une boîte noire.

0:08:37.315,0:08:40.122
Elle a un pouvoir prédictif[br]mais vous ne le comprenez pas.

0:08:40.486,0:08:42.855
J'ai demandé : « Quelle garantie avez-vous

0:08:42.879,0:08:46.552
pour vous assurer que votre boîte noire[br]ne fait rien de louche ? »

0:08:48.863,0:08:52.741
Elle m'a regardée comme[br]si je venais de l'insulter.

0:08:52.765,0:08:54.013
(Rires)

0:08:54.037,0:08:56.078
Elle m'a fixée et m'a dit :

0:08:56.556,0:09:00.889
« Je ne veux rien entendre de plus. »

0:09:01.458,0:09:03.492
Puis elle s'est tournée et est partie.

0:09:04.064,0:09:05.550
Elle n'était pas impolie.

0:09:05.574,0:09:06.906
C'était clairement du :

0:09:06.906,0:09:11.946
« ce que j'ignore n'est pas mon problème,[br]allez-vous en, regard meurtrier ».

0:09:11.946,0:09:13.152
(Rires)

0:09:13.862,0:09:17.701
Un tel système pourrait être moins biaisé

0:09:17.725,0:09:19.828
que les responsables humains.

0:09:19.852,0:09:21.998
Et il pourrait être monétairement censé.

0:09:22.573,0:09:24.223
Mais il pourrait aussi mener

0:09:24.247,0:09:28.995
à une fermeture du marché du travail[br]stable mais dissimulée

0:09:29.019,0:09:31.312
pour les gens avec[br]plus de risques de dépression.

0:09:31.753,0:09:34.349
Est-ce le genre de société[br]que nous voulons bâtir,

0:09:34.373,0:09:36.658
sans même savoir que nous l'avons fait,

0:09:36.682,0:09:39.405
car nous avons confié[br]la prise de décisions à des machines

0:09:39.405,0:09:41.265
que nous ne comprenons pas vraiment ?

0:09:41.265,0:09:42.723
Un autre problème :

0:09:43.314,0:09:47.766
ces systèmes sont souvent entraînés[br]sur des données générées par nos actions,

0:09:47.790,0:09:49.606
des empreintes humaines.

0:09:50.188,0:09:53.996
Elles pourraient refléter nos préjugés

0:09:54.020,0:09:57.613
et ces systèmes pourraient[br]apprendre nos préjugés,

0:09:57.637,0:09:58.950
les amplifier

0:09:58.974,0:10:00.392
et nous les retourner

0:10:00.416,0:10:01.878
alors que nous nous disons :

0:10:01.902,0:10:05.019
« Nous ne faisons que de l'informatique[br]neutre et objective. »

0:10:06.314,0:10:08.991
Des chercheurs chez Google ont découvert

0:10:10.134,0:10:13.463
qu'on a moins de chances de montrer[br]aux femmes plutôt qu'aux hommes

0:10:13.463,0:10:16.463
des offres d'emploi avec un salaire élevé.

0:10:16.463,0:10:18.993
Et chercher des noms afro-américains

0:10:19.017,0:10:20.747
a plus de chances de retourner

0:10:20.747,0:10:23.747
des publicités suggérant[br]un historique criminel,

0:10:23.747,0:10:25.314
même quand il n'y en a pas.

0:10:26.693,0:10:30.242
De tels préjugés cachés[br]et des algorithmes boîte noire

0:10:30.266,0:10:34.239
qui sont parfois découverts[br]par les chercheurs, parfois non,

0:10:34.263,0:10:36.924
peuvent avoir des conséquences[br]qui changent la vie.

0:10:37.958,0:10:42.117
Dans le Wisconsin, un prévenu[br]a été condamné à 6 ans de prison

0:10:42.141,0:10:43.736
pour avoir échappé à la police.

0:10:44.824,0:10:46.010
Vous l'ignorez peut-être

0:10:46.034,0:10:50.032
mais des algorithmes sont utilisés[br]pour les probations et les condamnations.

0:10:50.056,0:10:53.011
Nous voulions savoir[br]comment ce score était calculé.

0:10:53.795,0:10:55.460
C'est une boîte noire commerciale.

0:10:55.484,0:10:59.689
L'entreprise a refusé que l'on conteste[br]son algorithme en audience publique.

0:11:00.396,0:11:05.928
Mais ProPublica, une organisation[br]d'enquête, a audité cet algorithme

0:11:05.952,0:11:07.968
avec des données publiques

0:11:07.992,0:11:10.308
et a découvert[br]que les résultats étaient biaisés,

0:11:10.332,0:11:13.961
que son pouvoir prédictif était mauvais,[br]à peine meilleur que la chance,

0:11:13.985,0:11:18.401
et qu'il étiquetait les prévenus noirs[br]comme de futurs criminels

0:11:18.425,0:11:22.320
avec un taux deux fois plus élevé[br]que pour les prévenus blancs.

0:11:23.891,0:11:25.455
Considérez ce cas :

0:11:26.103,0:11:29.955
cette femme était en retard[br]pour récupérer sa filleule

0:11:29.979,0:11:32.084
à une école du comté de Broward,[br]en Floride,

0:11:32.757,0:11:35.113
elle courait dans la rue[br]avec une amie à elle.

0:11:35.137,0:11:39.236
Elles ont repéré une bécane et un vélo[br]non attachés sur un porche

0:11:39.260,0:11:40.892
et ont bêtement sauté dessus.

0:11:40.916,0:11:43.585
Alors qu'elles partaient,[br]une femme est sortie et a dit :

0:11:43.585,0:11:45.744
« Hey ! C'est la bécane de mon fils ! »

0:11:45.768,0:11:49.062
Elles l'ont lâchée, sont parties[br]mais ont été arrêtées.

0:11:49.086,0:11:52.723
Elle avait tort, elle a été idiote[br]mais elle n'avait que 18 ans.

0:11:52.747,0:11:55.291
Adolescente, elle avait commis[br]quelques méfaits.

0:11:55.808,0:12:00.993
Pendant ce temps, cet homme a été arrêté[br]pour vol chez Home Depot --

0:12:01.017,0:12:03.941
pour une valeur de 85$,[br]un crime mineur similaire.

0:12:04.766,0:12:09.325
Mais il avait deux condamnations[br]pour vol à main armée.

0:12:09.955,0:12:13.577
L'algorithme l'a considérée elle,[br]comme étant un risque important, pas lui.

0:12:14.746,0:12:18.584
Deux ans plus tard, ProPublica a découvert[br]qu'elle n'avait pas récidivé.

0:12:18.584,0:12:21.234
Son casier judiciaire compliquait[br]sa recherche d'emploi.

0:12:21.234,0:12:23.294
Lui, d'un autre côté, avait récidivé

0:12:23.318,0:12:27.154
et avait été condamné à 8 ans[br]pour un autre crime.

0:12:28.088,0:12:31.457
Clairement, nous devons[br]auditer nos boîtes noires

0:12:31.481,0:12:34.096
et ne pas leur laisser[br]ce genre de pouvoir incontrôlé.

0:12:34.120,0:12:36.999
(Applaudissements)

0:12:38.087,0:12:39.383
Les audits sont importants,

0:12:39.383,0:12:42.353
mais ils ne résolvent pas[br]tous nos problèmes.

0:12:42.353,0:12:45.151
Prenez le puissant algorithme[br]du fil d'actualités Facebook,

0:12:45.151,0:12:49.968
celui qui classe tout[br]et décide quoi vous montrer

0:12:49.992,0:12:52.276
des amis et des pages que vous suivez.

0:12:52.898,0:12:55.243
Devrait-on vous montrer[br]une autre photo de bébé ?

0:12:55.243,0:12:56.393
(Rires)

0:12:56.417,0:12:59.013
Une note maussade d'une connaissance ?

0:12:59.449,0:13:01.305
Une actualité importante mais dure ?

0:13:01.329,0:13:02.811
Il n'y a pas de bonne réponse.

0:13:02.835,0:13:05.494
Facebook optimise[br]pour vous engager envers le site :

0:13:05.518,0:13:07.243
les j'aime, partages, commentaires.

0:13:08.168,0:13:10.818
En août 2014,

0:13:10.818,0:13:13.600
des manifestations ont éclaté[br]à Ferguson, dans le Missouri,

0:13:13.600,0:13:17.991
après qu'un adolescent afro-américain[br]a été tué par un officier de police blanc

0:13:18.015,0:13:19.585
dans des circonstances douteuses.

0:13:19.974,0:13:24.691
La nouvelle des manifestations remplissait[br]mon fil d'actualité Twitter non filtré

0:13:24.714,0:13:26.664
mais n'était pas sur mon Facebook.

0:13:27.182,0:13:28.916
Était-ce mes amis Facebook ?

0:13:28.940,0:13:30.972
J'ai désactivé l'algorithme Facebook,

0:13:31.472,0:13:34.320
ce qui est difficile car Facebook[br]veut vous faire passer

0:13:34.344,0:13:36.380
sous le contrôle de l'algorithme,

0:13:36.404,0:13:38.642
et j'ai vu que mes amis en parlaient.

0:13:38.666,0:13:41.175
C'est juste que l'algorithme[br]ne me le montrait pas.

0:13:41.199,0:13:44.351
Après des recherches, j'ai découvert[br]que le problème est répandu.

0:13:44.351,0:13:48.078
L'histoire de Ferguson[br]ne plaisait pas à l'algorithme.

0:13:48.102,0:13:51.203
Ce n'était pas « aimable »,[br]qui allait cliquer sur « j'aime » ?

0:13:51.500,0:13:53.706
Ce n'est même pas facile à commenter.

0:13:53.730,0:13:55.101
Sans j'aime et commentaires,

0:13:55.125,0:13:58.417
l'algorithme allait le montrer[br]à un nombre décroissant de gens,

0:13:58.441,0:13:59.983
donc nous ne pouvions le voir.

0:14:00.946,0:14:02.174
Cette semaine-là,

0:14:02.198,0:14:04.496
Facebook a plutôt souligné ceci,

0:14:04.520,0:14:06.746
le Ice Bucket Challenge.

0:14:06.770,0:14:10.512
Cause méritante, lâcher d'eau glacée,[br]donner à une charité, très bien.

0:14:10.536,0:14:12.440
Cela plaisait beaucoup à l'algorithme.

0:14:13.219,0:14:15.832
La machine a pris[br]cette décision pour nous.

0:14:15.856,0:14:19.353
Une conversation[br]très importante mais difficile

0:14:19.377,0:14:20.932
aurait pu être étouffée

0:14:20.956,0:14:23.652
si Facebook avait été le seul canal.

0:14:24.117,0:14:27.914
Finalement, ces systèmes[br]peuvent aussi avoir tort

0:14:27.938,0:14:30.674
de façons qui ne ressemblent pas[br]aux systèmes humains.

0:14:30.698,0:14:33.620
Vous souvenez-vous de Watson,[br]le système d'IA d'IBM

0:14:33.644,0:14:36.772
qui a éliminé les participants humains[br]dans Jeopardy ?

0:14:37.131,0:14:38.559
C'était un super joueur.

0:14:38.583,0:14:42.152
Mais, pour la finale de Jeopardy,[br]on a posé cette question à Watson :

0:14:42.659,0:14:45.565
« Le plus grand aéroport[br]ayant le nom d'un héros de 39-45,

0:14:45.565,0:14:47.897
le second plus grand[br]pour une bataille de 39-45. »

0:14:47.897,0:14:49.269
(Signal sonore de fin)

0:14:49.582,0:14:50.764
Chicago.

0:14:50.788,0:14:52.438
Les deux humains avaient raison.

0:14:52.697,0:14:57.045
Watson, par contre,[br]a répondu « Toronto » --

0:14:57.069,0:14:59.557
à une question[br]sur les villes des États-Unis !

0:14:59.597,0:15:02.497
L'impressionnant système[br]a aussi fait une erreur

0:15:02.521,0:15:06.172
qu'un humain ne ferait jamais,[br]qu'un CE1 ne ferait jamais.

0:15:06.823,0:15:09.932
Notre intelligence artificielle[br]peut échouer

0:15:09.956,0:15:13.056
de façons ne correspondant pas[br]aux schémas d'erreurs humaines,

0:15:13.080,0:15:16.030
de façons inattendues et imprévues.

0:15:16.054,0:15:19.692
Il serait lamentable de ne pas obtenir[br]un emploi pour lequel on est qualifié

0:15:19.716,0:15:23.443
mais ce serait pire si c'était à cause[br]d'un dépassement de pile

0:15:23.467,0:15:24.899
dans une sous-routine.

0:15:24.923,0:15:26.502
(Rires)

0:15:26.526,0:15:29.312
En mai 2010,

0:15:29.336,0:15:33.380
un crash éclair sur Wall Street[br]alimenté par une boucle de rétroaction

0:15:33.404,0:15:36.432
dans un algorithme de vente de Wall Street

0:15:36.456,0:15:40.640
a fait perdre mille milliards de dollars[br]en 36 minutes.

0:15:41.722,0:15:43.909
Je refuse de penser[br]au sens du mot « erreur »

0:15:43.933,0:15:47.522
dans le contexte des armes[br]mortelles autonomes.

0:15:49.894,0:15:53.684
Oui, les humains[br]ont toujours été partiaux.

0:15:53.708,0:15:55.884
Les preneurs de décision et gardiens,

0:15:55.908,0:15:59.401
dans les tribunaux,[br]les actualités, en guerre...

0:15:59.425,0:16:02.463
Ils font des erreurs ;[br]mais c'est de cela dont je parle.

0:16:02.487,0:16:06.008
Nous ne pouvons pas échapper[br]à ces questions difficiles.

0:16:06.596,0:16:10.112
Nous ne pouvons pas sous-traiter[br]nos responsabilités aux machines.

0:16:10.676,0:16:14.884
(Applaudissements)

0:16:17.089,0:16:21.536
L'intelligence artificielle n'offre pas[br]une carte « sortie de l'éthique ».

0:16:22.742,0:16:26.373
Le scientifique des données Fred Benenson[br]qualifie cela de lavage des maths.

0:16:26.373,0:16:27.536
Il nous faut l'opposé.

0:16:27.560,0:16:32.948
Nous devons cultiver la suspicion,[br]le contrôle et l'enquête de l'algorithme.

0:16:33.380,0:16:36.578
Nous devons nous assurer[br]de la responsabilité des algorithmes,

0:16:36.602,0:16:39.047
les auditer et avoir[br]une transparence significative.

0:16:39.380,0:16:42.614
Nous devons accepter[br]qu'apporter les maths et l'informatique

0:16:42.638,0:16:45.688
dans les affaires humaines[br]désordonnées et basées sur des valeurs

0:16:45.688,0:16:48.016
n'apporte pas l'objectivité

0:16:48.040,0:16:50.448
mais plutôt que la complexité[br]des affaires humaines

0:16:50.448,0:16:52.148
envahit les algorithmes.

0:16:52.148,0:16:55.635
Nous devrions utiliser l'informatique

0:16:55.659,0:16:57.673
pour prendre de meilleures décisions.

0:16:57.697,0:17:03.029
Mais nous devons assumer[br]notre responsabilité morale de jugement

0:17:03.053,0:17:05.871
et utiliser les algorithmes dans ce cadre,

0:17:05.895,0:17:10.830
pas comme un moyen d'abdiquer[br]et sous-traiter nos responsabilités

0:17:10.854,0:17:13.308
d'un humain à un autre.

0:17:13.807,0:17:16.416
L'intelligence artificielle est arrivée.

0:17:16.440,0:17:19.861
Cela signifie que nous devons[br]nous accrocher encore plus

0:17:19.885,0:17:22.032
aux valeurs et éthiques humaines.

0:17:22.056,0:17:23.210
Merci.

0:17:23.234,0:17:28.254
(Applaudissements)