Mon premier travail était programmeuse informatique
durant ma première année à l'université --
quand j'étais adolescente.
Peu après avoir commencé à écrire des programmes en entreprise,
un responsable de l'entreprise est venu me voir
et m'a murmuré :
« Peut-il dire si je mens ? »
Il n'y avait personne d'autre dans la pièce.
« Qui peut dire si vous mentez ? Et pourquoi chuchotez-vous ? »
Le responsable a pointé du doigt l'ordinateur dans la pièce.
« Peut-il dire si je mens ? »
Ce responsable avait une aventure avec la réceptionniste.
(Rires)
J'étais toujours adolescente.
J'ai lui ai murmuré-crié :
« Oui, l'ordinateur peut dire si vous mentez. »
(Rires)
J'ai rigolé, mais c'est de moi qu'on peut se moquer.
Il y a aujourd'hui des systèmes informatiques
qui peuvent repérer les états émotionnels et les mensonges
en traitant les informations du visage humain.
Les publicitaires et les gouvernements sont très intéressés.
J'étais devenue programmeuse informatique
car j'étais l'une de ces gamines folles de maths et de sciences.
Mais, en chemin, j'avais découvert les armes nucléaires
et je me sentais très concernée par l'éthique de la science.
J'étais troublée.
Cependant, du fait de circonstances familiales,
je devais aussi commencer à travailler aussi vite que possible.
Je me suis dit : « Choisis un domaine technique
où tu peux avoir un emploi facilement
et où je n'ai pas à gérer des questions d'éthique difficiles. »
J'ai donc choisi l'informatique.
(Rires)
Eh bien, ah ah ah ! On peut se moquer de moi.
Aujourd'hui, les informaticiens construisent des plateformes
qui contrôlent chaque jour ce que voient un milliard de personnes.
Ils développent des voitures pouvant décider qui écraser.
Ils construisent même des machines, des armes
qui pourraient tuer des êtres humains dans une guerre.
Il y a de l'éthique partout.
L'intelligence artificielle est arrivée.
Nous utilisons l'informatique pour prendre toutes sortes de décisions,
y compris de nouvelles décisions.
Nous posons à l'informatique
des questions auxquelles il n'y a pas d'unique bonne réponse,
qui sont subjectives,
ouvertes et reposent sur des valeurs.
Nous posons des questions comme :
« Qui devrait-on embaucher ? »
« Quelles nouvelles de quel ami devrait-on vous montrer ? »
« Quel prisonnier va probablement récidiver ? »
« Quel nouvel objet ou film devrait être recommandé aux gens ? »
Cela fait un certain temps que nous utilisons des ordinateurs
mais c'est différent.
C'est un changement historique :
car on ne peut pas utiliser l'informatique pour des décisions si subjectives
comme on utilise l'informatique pour piloter un avion, construire un pont,
aller sur la Lune.
Les avions sont-ils plus sûrs ? Un pont a-t-il bougé et est tombé ?
Là, nous nous accordons sur des repères assez clairs
et les lois de la nature nous guident.
Nous n'avons pas de tels ancres et repères
pour les décisions des affaires complexes humaines.
Pour compliquer encore les choses, nos logiciels gagnent en puissance
mais sont aussi moins transparents et plus complexes.
Récemment, les dix dernières années,
les algorithmes complexes ont fait de grandes avancées.
Ils peuvent reconnaître les visages humains,
déchiffrer l'écriture,
détecter la fraude à la carte bancaire,
bloquer le spam,
traduire d'une langue à une autre,
détecter les tumeurs en imagerie médicale,
battre les humains aux échecs et au go.
Beaucoup de ces progrès découlent d'une méthode :
« l'apprentissage de la machine ».
Cette méthode est différente de la programmation traditionnelle
où l'on donne des instructions détaillées, exactes, méticuleuses à l'ordinateur.
Cela ressemble plus à un système nourri de données,
dont des données non structurées,
comme celles générées par notre vie numérique.
Le système apprend en parcourant ces données.
Et aussi, c'est crucial,
ces systèmes n'utilisent pas la logique de la réponse unique.
Ils ne produisent pas une seule réponse, c'est plus probabiliste :
« Celle-ci est probablement plus proche de ce que vous cherchez. »
L'avantage est que cette méthode est très puissante.
Le chef de l'IA chez Google l'a appelée :
« l'efficacité irraisonnable des données ».
L'inconvénient est :
nous ne comprenons pas vraiment ce que le système a appris.
En fait, c'est sa force.
C'est moins comme donner des instructions à un ordinateur ;
plus comme entraîner une machine-chiot-créature
que nous ne comprenons ni ne contrôlons vraiment.
Voilà notre problème.
C'est un problème quand cette intelligence artificielle comprend mal les choses.
C'est aussi un problème quand elle comprend les choses
car on ne sait pas différencier ces situations pour un problème subjectif.
Nous ignorons ce que pense cette chose.
Considérez un algorithme d'embauche --
un système utilisé pour embaucher des gens en utilisant l'apprentissage des machines.
Un tel système aurait été entraîné sur les données des employés
et chargé de trouver et embaucher
des gens similaires à ceux les plus performants de l'entreprise.
Cela semble bien.
Une fois, j'ai assisté à une conférence
qui réunissait responsables des ressources humaines et des dirigeants,
des gens de haut niveau,
avec de tels systèmes d'embauche.
Ils étaient très excités.
Ils pensaient que cela rendrait l'embauche plus objective, moins biaisée
et donnerait plus de chances aux femmes et minorités
face à des responsables RH partiaux.
L'embauche humaine est partiale.
Je sais.
Dans l'un de mes premiers postes en tant que programmeuse,
ma responsable directe venait parfois me voir
très tôt le matin ou très tard l'après-midi
et elle disait : « Zeinep, allons déjeuner ! »
L'heure étrange me laissait perplexe.
Il est 16h, déjeuner ?
J'étais fauchée, le déjeuner était gratuit donc j'y allais toujours.
Plus tard, j'ai réalisé ce qu'il se passait.
Mes responsables directs n'avaient pas dit à leurs responsables
qu'ils avaient embauché pour un travail sérieux une adolescente
qui portait un jeans et des baskets au travail.
Je faisais du bon travail mais mon allure clochait,
j'avais les mauvais âge et sexe.
Embaucher d'une manière aveugle à la couleur et au sexe
me semble très bien.
Mais avec ces systèmes, c'est plus compliqué, voici pourquoi :
actuellement, les systèmes informatiques peuvent déduire beaucoup vous concernant
grâce à vos miettes numériques,
même si vous n'avez rien révélé.
Ils peuvent déduire votre orientation sexuelle,
vos traits de personnalité,
vos tendances politiques.
Ils ont des pouvoirs prédictifs ayant une exactitude élevée.
Pour des choses que vous n'avez pas révélées.
C'est de la déduction.
J'ai une amie qui a développé de tels systèmes informatiques
pour prévoir la probabilité d'une dépression clinique ou post-partum
grâce à vos médias sociaux.
Les résultats sont impressionnants.
Son système peut prévoir les risques de dépression
des mois avant l'apparition de tout symptôme --
des mois avant.
Aucun symptôme mais une prédiction.
Elle espère que cela sera utilisé pour des interventions précoces, super !
Mais mettez cela dans le contexte de l'embauche.
Lors de cette conférence de responsables des ressources humaines,
j'ai approché une responsable d'une très grande entreprise
et lui ai dit : « Et si, à votre insu,
votre système éliminait les gens avec de forts risques de dépression ?
Ils ne sont pas en dépression mais ont plus de risques pour l'avenir.
Et s'il éliminait les femmes ayant plus de chances d'être enceintes
dans un ou deux ans mais ne le sont pas actuellement ?
Et s'il embauchait des gens agressifs car c'est la culture de l'entreprise ? »
On ne peut pas le dire en regardant la répartition par sexe.
Cela peut être équilibré.
Puisque c'est de l'apprentissage de la machine, non du code traditionnel,
il n'y a pas de variables appelées « plus de risques de dépression »,
« plus de risques d'être enceinte »,
« échelle d'agressivité d'un mec ».
Non seulement vous ignorez ce que votre système utilise pour choisir,
mais vous ignorez où chercher.
C'est une boîte noire.
Elle a un pouvoir prédictif mais vous ne le comprenez pas.
J'ai demandé : « Quelle garantie avez-vous
pour vous assurer que votre boîte noire ne fait rien de louche ? »
Elle m'a regardée comme si je venais de l'insulter.
(Rires)
Elle m'a fixée et m'a dit :
« Je ne veux rien entendre de plus. »
Puis elle s'est tournée et est partie.
Elle n'était pas impolie.
C'était clairement du :
« ce que j'ignore n'est pas mon problème, allez-vous en, regard meurtrier ».
(Rires)
Un tel système pourrait être moins biaisé
que les responsables humains.
Et il pourrait être monétairement censé.
Mais il pourrait aussi mener
à une fermeture du marché du travail stable mais dissimulée
pour les gens avec plus de risques de dépression.
Est-ce le genre de société que nous voulons bâtir,
sans même savoir que nous l'avons fait,
car nous avons confié la prise de décisions à des machines
que nous ne comprenons pas vraiment ?
Un autre problème :
ces systèmes sont souvent entraînés sur des données générées par nos actions,
des empreintes humaines.
Elles pourraient refléter nos préjugés
et ces systèmes pourraient apprendre nos préjugés,
les amplifier
et nous les retourner
alors que nous nous disons :
« Nous ne faisons que de l'informatique neutre et objective. »
Des chercheurs chez Google ont découvert
qu'on a moins de chances de montrer aux femmes plutôt qu'aux hommes
des offres d'emploi avec un salaire élevé.
Et chercher des noms afro-américains
a plus de chances de retourner
des publicités suggérant un historique criminel,
même quand il n'y en a pas.
De tels préjugés cachés et des algorithmes boîte noire
qui sont parfois découverts par les chercheurs, parfois non,
peuvent avoir des conséquences qui changent la vie.
Dans le Wisconsin, un prévenu a été condamné à 6 ans de prison
pour avoir échappé à la police.
Vous l'ignorez peut-être
mais des algorithmes sont utilisés pour les probations et les condamnations.
Nous voulions savoir comment ce score était calculé.
C'est une boîte noire commerciale.
L'entreprise a refusé que l'on conteste son algorithme en audience publique.
Mais ProPublica, une organisation d'enquête, a audité cet algorithme
avec des données publiques
et a découvert que les résultats étaient biaisés,
que son pouvoir prédictif était mauvais, à peine meilleur que la chance,
et qu'il étiquetait les prévenus noirs comme de futurs criminels
avec un taux deux fois plus élevé que pour les prévenus blancs.
Considérez ce cas :
cette femme était en retard pour récupérer sa filleule
à une école du comté de Broward, en Floride,
elle courait dans la rue avec une amie à elle.
Elles ont repéré une bécane et un vélo non attachés sur un porche
et ont bêtement sauté dessus.
Alors qu'elles partaient, une femme est sortie et a dit :
« Hey ! C'est la bécane de mon fils ! »
Elles l'ont lâchée, sont parties mais ont été arrêtées.
Elle avait tort, elle a été idiote mais elle n'avait que 18 ans.
Adolescente, elle avait commis quelques méfaits.
Pendant ce temps, cet homme a été arrêté pour vol chez Home Depot --
pour une valeur de 85$, un crime mineur similaire.
Mais il avait deux condamnations pour vol à main armée.
L'algorithme l'a considérée elle, comme étant un risque important, pas lui.
Deux ans plus tard, ProPublica a découvert qu'elle n'avait pas récidivé.
Son casier judiciaire compliquait sa recherche d'emploi.
Lui, d'un autre côté, avait récidivé
et avait été condamné à 8 ans pour un autre crime.
Clairement, nous devons auditer nos boîtes noires
et ne pas leur laisser ce genre de pouvoir incontrôlé.
(Applaudissements)
Les audits sont importants,
mais ils ne résolvent pas tous nos problèmes.
Prenez le puissant algorithme du fil d'actualités Facebook,
celui qui classe tout et décide quoi vous montrer
des amis et des pages que vous suivez.
Devrait-on vous montrer une autre photo de bébé ?
(Rires)
Une note maussade d'une connaissance ?
Une actualité importante mais dure ?
Il n'y a pas de bonne réponse.
Facebook optimise pour vous engager envers le site :
les j'aime, partages, commentaires.
En août 2014,
des manifestations ont éclaté à Ferguson, dans le Missouri,
après qu'un adolescent afro-américain a été tué par un officier de police blanc
dans des circonstances douteuses.
La nouvelle des manifestations remplissait mon fil d'actualité Twitter non filtré
mais n'était pas sur mon Facebook.
Était-ce mes amis Facebook ?
J'ai désactivé l'algorithme Facebook,
ce qui est difficile car Facebook veut vous faire passer
sous le contrôle de l'algorithme,
et j'ai vu que mes amis en parlaient.
C'est juste que l'algorithme ne me le montrait pas.
Après des recherches, j'ai découvert que le problème est répandu.
L'histoire de Ferguson ne plaisait pas à l'algorithme.
Ce n'était pas « aimable », qui allait cliquer sur « j'aime » ?
Ce n'est même pas facile à commenter.
Sans j'aime et commentaires,
l'algorithme allait le montrer à un nombre décroissant de gens,
donc nous ne pouvions le voir.
Cette semaine-là,
Facebook a plutôt souligné ceci,
le Ice Bucket Challenge.
Cause méritante, lâcher d'eau glacée, donner à une charité, très bien.
Cela plaisait beaucoup à l'algorithme.
La machine a pris cette décision pour nous.
Une conversation très importante mais difficile
aurait pu être étouffée
si Facebook avait été le seul canal.
Finalement, ces systèmes peuvent aussi avoir tort
de façons qui ne ressemblent pas aux systèmes humains.
Vous souvenez-vous de Watson, le système d'IA d'IBM
qui a éliminé les participants humains dans Jeopardy ?
C'était un super joueur.
Mais, pour la finale de Jeopardy, on a posé cette question à Watson :
« Le plus grand aéroport ayant le nom d'un héros de 39-45,
le second plus grand pour une bataille de 39-45. »
(Signal sonore de fin)
Chicago.
Les deux humains avaient raison.
Watson, par contre, a répondu « Toronto » --
à une question sur les villes des États-Unis !
L'impressionnant système a aussi fait une erreur
qu'un humain ne ferait jamais, qu'un CE1 ne ferait jamais.
Notre intelligence artificielle peut échouer
de façons ne correspondant pas aux schémas d'erreurs humaines,
de façons inattendues et imprévues.
Il serait lamentable de ne pas obtenir un emploi pour lequel on est qualifié
mais ce serait pire si c'était à cause d'un dépassement de pile
dans une sous-routine.
(Rires)
En mai 2010,
un crash éclair sur Wall Street alimenté par une boucle de rétroaction
dans un algorithme de vente de Wall Street
a fait perdre mille milliards de dollars en 36 minutes.
Je refuse de penser au sens du mot « erreur »
dans le contexte des armes mortelles autonomes.
Oui, les humains ont toujours été partiaux.
Les preneurs de décision et gardiens,
dans les tribunaux, les actualités, en guerre...
Ils font des erreurs ; mais c'est de cela dont je parle.
Nous ne pouvons pas échapper à ces questions difficiles.
Nous ne pouvons pas sous-traiter nos responsabilités aux machines.
(Applaudissements)
L'intelligence artificielle n'offre pas une carte « sortie de l'éthique ».
Le scientifique des données Fred Benenson qualifie cela de lavage des maths.
Il nous faut l'opposé.
Nous devons cultiver la suspicion, le contrôle et l'enquête de l'algorithme.
Nous devons nous assurer de la responsabilité des algorithmes,
les auditer et avoir une transparence significative.
Nous devons accepter qu'apporter les maths et l'informatique
dans les affaires humaines désordonnées et basées sur des valeurs
n'apporte pas l'objectivité
mais plutôt que la complexité des affaires humaines
envahit les algorithmes.
Nous devrions utiliser l'informatique
pour prendre de meilleures décisions.
Mais nous devons assumer notre responsabilité morale de jugement
et utiliser les algorithmes dans ce cadre,
pas comme un moyen d'abdiquer et sous-traiter nos responsabilités
d'un humain à un autre.
L'intelligence artificielle est arrivée.
Cela signifie que nous devons nous accrocher encore plus
aux valeurs et éthiques humaines.
Merci.
(Applaudissements)