L'intelligence artificielle rend la morale humaine plus importante

L'intelligence artificielle est arrivée et nous sommes prêts à l'utiliser pour prendre des décisions subjectives. Mais la façon complexe dont l'IA grossit et s'améliore fait qu'elle est difficile à comprendre et encore plus à contrôler. Dans cet exposé de mise en garde, Zeynep Tufekci explique comment les machines intelligentes peuvent échouer de façons qui ne correspondent pas aux schémas d'erreurs humaines -- et de façons inattendues et imprévues. « Nous ne pouvons pas sous-traiter nos responsabilités aux machines, dit-elle. Nous devons nous accrocher encore plus aux valeurs et éthiques humaines. »

Mon premier travail
était programmeuse informatique

durant ma première année à l'université --

quand j'étais adolescente.

Peu après avoir commencé
à écrire des programmes en entreprise,

un responsable de l'entreprise
est venu me voir

et m'a murmuré :

« Peut-il dire si je mens ? »

Il n'y avait personne d'autre
dans la pièce.

« Qui peut dire si vous mentez ?
Et pourquoi chuchotez-vous ? »

Le responsable a pointé du doigt
l'ordinateur dans la pièce.

« Peut-il dire si je mens ? »

Ce responsable avait une aventure
avec la réceptionniste.

(Rires)

J'étais toujours adolescente.

J'ai lui ai murmuré-crié :

« Oui, l'ordinateur peut dire
si vous mentez. »

(Rires)

J'ai rigolé, mais c'est de moi
qu'on peut se moquer.

Il y a aujourd'hui
des systèmes informatiques

qui peuvent repérer
les états émotionnels et les mensonges

en traitant les informations
du visage humain.

Les publicitaires et les gouvernements
sont très intéressés.

J'étais devenue programmeuse informatique

car j'étais l'une de ces gamines
folles de maths et de sciences.

Mais, en chemin, j'avais découvert
les armes nucléaires

et je me sentais très concernée
par l'éthique de la science.

J'étais troublée.

Cependant, du fait
de circonstances familiales,

je devais aussi commencer à travailler
aussi vite que possible.

Je me suis dit :
« Choisis un domaine technique

où tu peux avoir un emploi facilement

et où je n'ai pas à gérer
des questions d'éthique difficiles. »

J'ai donc choisi l'informatique.

(Rires)

Eh bien, ah ah ah !
On peut se moquer de moi.

Aujourd'hui, les informaticiens
construisent des plateformes

qui contrôlent chaque jour
ce que voient un milliard de personnes.

Ils développent des voitures
pouvant décider qui écraser.

Ils construisent même
des machines, des armes

qui pourraient tuer
des êtres humains dans une guerre.

Il y a de l'éthique partout.

L'intelligence artificielle est arrivée.

Nous utilisons l'informatique
pour prendre toutes sortes de décisions,

y compris de nouvelles décisions.

Nous posons à l'informatique

des questions auxquelles
il n'y a pas d'unique bonne réponse,

qui sont subjectives,

ouvertes et reposent sur des valeurs.

Nous posons des questions comme :

« Qui devrait-on embaucher ? »

« Quelles nouvelles de quel ami
devrait-on vous montrer ? »

« Quel prisonnier
va probablement récidiver ? »

« Quel nouvel objet ou film
devrait être recommandé aux gens ? »

Cela fait un certain temps
que nous utilisons des ordinateurs

mais c'est différent.

C'est un changement historique :

car on ne peut pas utiliser l'informatique
pour des décisions si subjectives

comme on utilise l'informatique
pour piloter un avion, construire un pont,

aller sur la Lune.

Les avions sont-ils plus sûrs ?
Un pont a-t-il bougé et est tombé ?

Là, nous nous accordons
sur des repères assez clairs

et les lois de la nature nous guident.

Nous n'avons pas de tels ancres et repères

pour les décisions
des affaires complexes humaines.

Pour compliquer encore les choses,
nos logiciels gagnent en puissance

mais sont aussi moins transparents
et plus complexes.

Récemment, les dix dernières années,

les algorithmes complexes
ont fait de grandes avancées.

Ils peuvent reconnaître
les visages humains,

déchiffrer l'écriture,

détecter la fraude à la carte bancaire,

bloquer le spam,

traduire d'une langue à une autre,

détecter les tumeurs en imagerie médicale,

battre les humains aux échecs et au go.

Beaucoup de ces progrès
découlent d'une méthode :

« l'apprentissage de la machine ».

Cette méthode est différente
de la programmation traditionnelle

où l'on donne des instructions détaillées,
exactes, méticuleuses à l'ordinateur.

Cela ressemble plus
à un système nourri de données,

dont des données non structurées,

comme celles générées
par notre vie numérique.

Le système apprend
en parcourant ces données.

Et aussi, c'est crucial,

ces systèmes n'utilisent pas la logique
de la réponse unique.

Ils ne produisent pas une seule réponse,
c'est plus probabiliste :

« Celle-ci est probablement
plus proche de ce que vous cherchez. »

L'avantage est que cette méthode
est très puissante.

Le chef de l'IA chez Google l'a appelée :

« l'efficacité irraisonnable
des données ».

L'inconvénient est :

nous ne comprenons pas vraiment
ce que le système a appris.

En fait, c'est sa force.

C'est moins comme donner
des instructions à un ordinateur ;

plus comme entraîner
une machine-chiot-créature

que nous ne comprenons
ni ne contrôlons vraiment.

Voilà notre problème.

C'est un problème quand cette intelligence
artificielle comprend mal les choses.

C'est aussi un problème
quand elle comprend les choses

car on ne sait pas différencier
ces situations pour un problème subjectif.

Nous ignorons ce que pense cette chose.

Considérez un algorithme d'embauche --

un système utilisé pour embaucher des gens
en utilisant l'apprentissage des machines.

Un tel système aurait été entraîné
sur les données des employés

et chargé de trouver et embaucher

des gens similaires à ceux
les plus performants de l'entreprise.

Cela semble bien.

Une fois, j'ai assisté à une conférence

qui réunissait responsables
des ressources humaines et des dirigeants,

des gens de haut niveau,

avec de tels systèmes d'embauche.

Ils étaient très excités.

Ils pensaient que cela rendrait l'embauche
plus objective, moins biaisée

et donnerait plus de chances
aux femmes et minorités

face à des responsables RH partiaux.

L'embauche humaine est partiale.

Je sais.

Dans l'un de mes premiers postes
en tant que programmeuse,

ma responsable directe
venait parfois me voir

très tôt le matin
ou très tard l'après-midi

et elle disait : « Zeinep,
allons déjeuner ! »

L'heure étrange me laissait perplexe.

Il est 16h, déjeuner ?

J'étais fauchée, le déjeuner était gratuit
donc j'y allais toujours.

Plus tard, j'ai réalisé
ce qu'il se passait.

Mes responsables directs
n'avaient pas dit à leurs responsables

qu'ils avaient embauché
pour un travail sérieux une adolescente

qui portait un jeans
et des baskets au travail.

Je faisais du bon travail
mais mon allure clochait,

j'avais les mauvais âge et sexe.

Embaucher d'une manière
aveugle à la couleur et au sexe

me semble très bien.

Mais avec ces systèmes,
c'est plus compliqué, voici pourquoi :

actuellement, les systèmes informatiques
peuvent déduire beaucoup vous concernant

grâce à vos miettes numériques,

même si vous n'avez rien révélé.

Ils peuvent déduire
votre orientation sexuelle,

vos traits de personnalité,

vos tendances politiques.

Ils ont des pouvoirs prédictifs
ayant une exactitude élevée.

Pour des choses
que vous n'avez pas révélées.

C'est de la déduction.

J'ai une amie qui a développé
de tels systèmes informatiques

pour prévoir la probabilité
d'une dépression clinique ou post-partum

grâce à vos médias sociaux.

Les résultats sont impressionnants.

Son système peut prévoir
les risques de dépression

des mois avant l'apparition
de tout symptôme --

des mois avant.

Aucun symptôme mais une prédiction.

Elle espère que cela sera utilisé
pour des interventions précoces, super !

Mais mettez cela
dans le contexte de l'embauche.

Lors de cette conférence
de responsables des ressources humaines,

j'ai approché une responsable
d'une très grande entreprise

et lui ai dit : « Et si, à votre insu,

votre système éliminait les gens
avec de forts risques de dépression ?

Ils ne sont pas en dépression
mais ont plus de risques pour l'avenir.

Et s'il éliminait les femmes
ayant plus de chances d'être enceintes

dans un ou deux ans
mais ne le sont pas actuellement ?

Et s'il embauchait des gens agressifs
car c'est la culture de l'entreprise ? »

On ne peut pas le dire en regardant
la répartition par sexe.

Cela peut être équilibré.

Puisque c'est de l'apprentissage
de la machine, non du code traditionnel,

il n'y a pas de variables appelées
« plus de risques de dépression »,

« plus de risques d'être enceinte »,

« échelle d'agressivité d'un mec ».

Non seulement vous ignorez
ce que votre système utilise pour choisir,

mais vous ignorez où chercher.

C'est une boîte noire.

Elle a un pouvoir prédictif
mais vous ne le comprenez pas.

J'ai demandé : « Quelle garantie avez-vous

pour vous assurer que votre boîte noire
ne fait rien de louche ? »

Elle m'a regardée comme
si je venais de l'insulter.

(Rires)

Elle m'a fixée et m'a dit :

« Je ne veux rien entendre de plus. »

Puis elle s'est tournée et est partie.

Elle n'était pas impolie.

C'était clairement du :

« ce que j'ignore n'est pas mon problème,
allez-vous en, regard meurtrier ».

(Rires)

Un tel système pourrait être moins biaisé

que les responsables humains.

Et il pourrait être monétairement censé.

Mais il pourrait aussi mener

à une fermeture du marché du travail
stable mais dissimulée

pour les gens avec
plus de risques de dépression.

Est-ce le genre de société
que nous voulons bâtir,

sans même savoir que nous l'avons fait,

car nous avons confié
la prise de décisions à des machines

que nous ne comprenons pas vraiment ?

Un autre problème :

ces systèmes sont souvent entraînés
sur des données générées par nos actions,

des empreintes humaines.

Elles pourraient refléter nos préjugés

et ces systèmes pourraient
apprendre nos préjugés,

les amplifier

et nous les retourner

alors que nous nous disons :

« Nous ne faisons que de l'informatique
neutre et objective. »

Des chercheurs chez Google ont découvert

qu'on a moins de chances de montrer
aux femmes plutôt qu'aux hommes

des offres d'emploi avec un salaire élevé.

Et chercher des noms afro-américains

a plus de chances de retourner

des publicités suggérant
un historique criminel,

même quand il n'y en a pas.

De tels préjugés cachés
et des algorithmes boîte noire

qui sont parfois découverts
par les chercheurs, parfois non,

peuvent avoir des conséquences
qui changent la vie.

Dans le Wisconsin, un prévenu
a été condamné à 6 ans de prison

pour avoir échappé à la police.

Vous l'ignorez peut-être

mais des algorithmes sont utilisés
pour les probations et les condamnations.

Nous voulions savoir
comment ce score était calculé.

C'est une boîte noire commerciale.

L'entreprise a refusé que l'on conteste
son algorithme en audience publique.

Mais ProPublica, une organisation
d'enquête, a audité cet algorithme

avec des données publiques

et a découvert
que les résultats étaient biaisés,

que son pouvoir prédictif était mauvais,
à peine meilleur que la chance,

et qu'il étiquetait les prévenus noirs
comme de futurs criminels

avec un taux deux fois plus élevé
que pour les prévenus blancs.

Considérez ce cas :

cette femme était en retard
pour récupérer sa filleule

à une école du comté de Broward,
en Floride,

elle courait dans la rue
avec une amie à elle.

Elles ont repéré une bécane et un vélo
non attachés sur un porche

et ont bêtement sauté dessus.

Alors qu'elles partaient,
une femme est sortie et a dit :

« Hey ! C'est la bécane de mon fils ! »

Elles l'ont lâchée, sont parties
mais ont été arrêtées.

Elle avait tort, elle a été idiote
mais elle n'avait que 18 ans.

Adolescente, elle avait commis
quelques méfaits.

Pendant ce temps, cet homme a été arrêté
pour vol chez Home Depot --

pour une valeur de 85$,
un crime mineur similaire.

Mais il avait deux condamnations
pour vol à main armée.

L'algorithme l'a considérée elle,
comme étant un risque important, pas lui.

Deux ans plus tard, ProPublica a découvert
qu'elle n'avait pas récidivé.

Son casier judiciaire compliquait
sa recherche d'emploi.

Lui, d'un autre côté, avait récidivé

et avait été condamné à 8 ans
pour un autre crime.

Clairement, nous devons
auditer nos boîtes noires

et ne pas leur laisser
ce genre de pouvoir incontrôlé.

(Applaudissements)

Les audits sont importants,

mais ils ne résolvent pas
tous nos problèmes.

Prenez le puissant algorithme
du fil d'actualités Facebook,

celui qui classe tout
et décide quoi vous montrer

des amis et des pages que vous suivez.

Devrait-on vous montrer
une autre photo de bébé ?

(Rires)

Une note maussade d'une connaissance ?

Une actualité importante mais dure ?

Il n'y a pas de bonne réponse.

Facebook optimise
pour vous engager envers le site :

les j'aime, partages, commentaires.

En août 2014,

des manifestations ont éclaté
à Ferguson, dans le Missouri,

après qu'un adolescent afro-américain
a été tué par un officier de police blanc

dans des circonstances douteuses.

La nouvelle des manifestations remplissait
mon fil d'actualité Twitter non filtré

mais n'était pas sur mon Facebook.

Était-ce mes amis Facebook ?

J'ai désactivé l'algorithme Facebook,

ce qui est difficile car Facebook
veut vous faire passer

sous le contrôle de l'algorithme,

et j'ai vu que mes amis en parlaient.

C'est juste que l'algorithme
ne me le montrait pas.

Après des recherches, j'ai découvert
que le problème est répandu.

L'histoire de Ferguson
ne plaisait pas à l'algorithme.

Ce n'était pas « aimable »,
qui allait cliquer sur « j'aime » ?

Ce n'est même pas facile à commenter.

Sans j'aime et commentaires,

l'algorithme allait le montrer
à un nombre décroissant de gens,

donc nous ne pouvions le voir.

Cette semaine-là,

Facebook a plutôt souligné ceci,

le Ice Bucket Challenge.

Cause méritante, lâcher d'eau glacée,
donner à une charité, très bien.

Cela plaisait beaucoup à l'algorithme.

La machine a pris
cette décision pour nous.

Une conversation
très importante mais difficile

aurait pu être étouffée

si Facebook avait été le seul canal.

Finalement, ces systèmes
peuvent aussi avoir tort

de façons qui ne ressemblent pas
aux systèmes humains.

Vous souvenez-vous de Watson,
le système d'IA d'IBM

qui a éliminé les participants humains
dans Jeopardy ?

C'était un super joueur.

Mais, pour la finale de Jeopardy,
on a posé cette question à Watson :

« Le plus grand aéroport
ayant le nom d'un héros de 39-45,

le second plus grand
pour une bataille de 39-45. »

(Signal sonore de fin)

Chicago.

Les deux humains avaient raison.

Watson, par contre,
a répondu « Toronto » --

à une question
sur les villes des États-Unis !

L'impressionnant système
a aussi fait une erreur

qu'un humain ne ferait jamais,
qu'un CE1 ne ferait jamais.

Notre intelligence artificielle
peut échouer

de façons ne correspondant pas
aux schémas d'erreurs humaines,

de façons inattendues et imprévues.

Il serait lamentable de ne pas obtenir
un emploi pour lequel on est qualifié

mais ce serait pire si c'était à cause
d'un dépassement de pile

dans une sous-routine.

(Rires)

En mai 2010,

un crash éclair sur Wall Street
alimenté par une boucle de rétroaction

dans un algorithme de vente de Wall Street

a fait perdre mille milliards de dollars
en 36 minutes.

Je refuse de penser
au sens du mot « erreur »

dans le contexte des armes
mortelles autonomes.

Oui, les humains
ont toujours été partiaux.

Les preneurs de décision et gardiens,

dans les tribunaux,
les actualités, en guerre...

Ils font des erreurs ;
mais c'est de cela dont je parle.

Nous ne pouvons pas échapper
à ces questions difficiles.

Nous ne pouvons pas sous-traiter
nos responsabilités aux machines.

(Applaudissements)

L'intelligence artificielle n'offre pas
une carte « sortie de l'éthique ».

Le scientifique des données Fred Benenson
qualifie cela de lavage des maths.

Il nous faut l'opposé.

Nous devons cultiver la suspicion,
le contrôle et l'enquête de l'algorithme.

Nous devons nous assurer
de la responsabilité des algorithmes,

les auditer et avoir
une transparence significative.

Nous devons accepter
qu'apporter les maths et l'informatique

dans les affaires humaines
désordonnées et basées sur des valeurs

n'apporte pas l'objectivité

mais plutôt que la complexité
des affaires humaines

envahit les algorithmes.

Nous devrions utiliser l'informatique

pour prendre de meilleures décisions.

Mais nous devons assumer
notre responsabilité morale de jugement

et utiliser les algorithmes dans ce cadre,

pas comme un moyen d'abdiquer
et sous-traiter nos responsabilités

d'un humain à un autre.

L'intelligence artificielle est arrivée.

Cela signifie que nous devons
nous accrocher encore plus

aux valeurs et éthiques humaines.

Merci.

(Applaudissements)