Pouvons-nous concevoir une IA sans en perdre le contrôle ?

L'intelligence artificielle vous fait peur ? Vous avez raison, dit le neuroscientifique et philosophe Sam Harris -- et pas juste de manière théorique. Nous allons construire des machines surhumaines, explique-t-il, mais nous ne nous sommes pas encore attelés aux problèmes liés au fait de créer quelque chose qui pourrait nous traiter de la même façon que nous traitons les fourmis.

Je vais vous parler
d'une erreur de jugement

que beaucoup d'entre nous font.

Il s'agit de l'incapacité à détecter
un certain type de danger.

Je vais décrire un scénario

que je pense à la fois terrifiant

et pourtant susceptible d'arriver,

et ce genre de combinaison

n'est pas une bonne chose.

Pourtant, au lieu d'avoir peur,
la plupart d'entre vous penseront

que c'est plutôt cool.

Je vais décrire comment
les avancées que nous faisons

dans l'intelligence artificielle

pourraient finir par nous détruire.

Il semble difficile de voir comment
cela pourrait ne pas nous détruire

ou nous aider à nous détruire.

Pourtant, si vous me ressemblez un peu,

vous allez trouver amusant
de réfléchir à ces choses-là.

Et cette façon de voir les choses
est une partie du problème.

Ce sentiment devrait vous inquiéter.

Et si je devais vous convaincre,
avec cette présentation,

que nous allons probablement
souffrir d'une famine généralisée,

soit à cause du climat
ou de toute autre catastrophe,

et que vos petits-enfants,
ou leurs petits-enfants,

ont de grandes chances de vivre ainsi,

vous ne penseriez pas :

« Intéressant.

Cool, ce TED. »

La famine, ce n'est pas amusant.

La mort en science-fiction,
en revanche, est un concept amusant

et ce qui m'inquiète le plus à propos
du développement de l'IA en ce moment

est le fait que nous semblons
incapables de nous faire une idée

des dangers qui nous attendent.

Je n'ai pas de réponse,
alors que je suis ici, à vous en parler.

C'est comme si nous étions
face à deux portes.

Derrière la porte n°1,

nous arrêtons nos progrès
dans le développement de nos machines.

Hardware et software stagnent,
pour une raison ou pour une autre.

Essayez d'imaginer
ce qui pourrait arrêter ce développement.

Étant donnée l'importance
de l'intelligence

et de l'automatisation

nous allons continuer à améliorer
notre technologie si nous le pouvons.

Qu'est-ce qui nous en empêcherait ?

Une guerre nucléaire mondiale ?

Une pandémie globale ?

Un impact d'astéroïde ?

Justin Bieber président des États-Unis ?

(Rires)

Il faudrait que la civilisation
telle que nous la connaissons

soit détruite.

Il faudrait vraiment imaginer
quelque chose de terrible

pour que nous arrêtions
de développer notre technologie

totalement,

génération après génération.

Par définition,
ce serait la pire chose

qui serait jamais arrivée à l'humanité.

Donc la seule alternative,

et c'est ce qui se trouve
derrière la porte n°2,

est que nous continuions
d'améliorer l'intelligence de nos machines

année après année.

À un moment, nous allons construire
des machines plus intelligentes que nous,

et ces machines
plus intelligentes que nous

vont commencer
à s'améliorer elles-mêmes.

Il y a le risque, théorisé
par le mathématicien I.J. Good,

d'une « explosion d'intelligence »,

un processus qui pourrait nous échapper.

Ce phénomène
est souvent caricaturé, comme ici,

avec des armées de robots malveillants

qui nous attaqueraient.

Mais ce n'est pas
le scénario le plus probable.

Nos machines ne vont probablement pas
devenir spontanément malveillantes.

Le risque est
que nous construisions des machines

tellement plus compétentes que nous

que la moindre divergence
d'intérêt entre elles et nous

pourrait nous détruire.

Pensez aux fourmis.

Nous ne les haïssons pas.

Nous ne cherchons pas à les écraser.

Nous faisons même parfois
l'effort de les éviter.

Nous les enjambons.

Mais dès que leur présence

nous gêne vraiment,

par exemple si nous voulons
construire un bâtiment,

nous les exterminons sans scrupule.

Le risque est que nous construisions
un jour des machines

qui, conscientes ou non,

nous traiteraient
avec la même indifférence.

Cela peut vous sembler capillotracté.

Je parie que certains d'entre vous
doutent qu'une super IA soit possible,

et encore moins inévitable.

Mais dans ce cas vous devez réfuter
une des hypothèses suivantes.

Et il n'y en a que trois.

L'intelligence est le traitement
de l'information dans un système physique.

En fait, c'est un peu plus
qu'une simple hypothèse.

Nous avons déjà construit
des machines vaguement intelligentes,

et nombre d'entre elles font déjà preuve

d'une intelligence surhumaine.

Et nous savons que la matière

peut produire « l'intelligence générale »,

la capacité de réfléchir
de manière croisée,

parce que nos cerveaux
y sont parvenus, n'est-ce pas ?

Après tout, il n'y a que
des atomes là-dedans,

et tant que nous continuerons
à construire des systèmes d'atomes

qui feront montre de plus
en plus d'intelligence,

nous parviendrons,
à moins d'être interrompus,

nous parviendrons à implanter
une « intelligence générale »

au cœur de nos machines.

Il est crucial de comprendre
que la vitesse n'est pas le problème,

car n'importe quelle vitesse
est suffisante pour aller au bout.

Nous n'avons pas besoin
de la loi de Moore

ni d'un progrès exponentiel.

Il suffit de continuer à avancer.

La deuxième hypothèse
est que nous allons continuer.

Nous continuerons d'améliorer
nos machines intelligentes.

Et, vue la valeur de l'intelligence --

l'intelligence est la source
de tout ce qui compte

ou alors elle doit protéger
tout ce qui compte.

C'est notre plus importante ressource.

Donc nous allons continuer.

Nous avons des problèmes
que nous devons absolument résoudre.

Nous voulons vaincre les maladies
comme Alzheimer ou le cancer.

Nous voulons comprendre l'économie.

Nous voulons améliorer le climat.

Donc nous allons continuer,
si nous le pouvons.

Le train a déjà quitté la gare
et il n'y a pas de frein.

Et enfin, l'humain ne se trouve pas
au sommet de l'intelligence,

nous en sommes même très loin.

Et c'est vraiment le point crucial.

C'est ce qui rend
notre situation si précaire

et ce qui fait que notre compréhension
des risques n'est pas fiable.

Prenons l'humain le plus intelligent
qui ait jamais vécu.

Beaucoup de gens penseraient
à John von Neumann.

L'impression que von Neumann
laissait aux gens,

y compris les plus brillants
mathématiciens et physiciens de son temps,

est plutôt bien documentée.

Si ne serait-ce que la moitié
de ce que l'on dit sur lui

est à moitié vraie,

il n'y a aucun doute qu'il soit

l'un des plus brillants esprits
qui aient existé.

Considérons le spectre de l'intelligence.

Voici John von Neumann.

Et nous, nous sommes ici.

Et là nous avons un poulet.

(Rires)

Pardon, un poulet.

(Rires)

Pas besoin de rendre cette présentation
plus déprimante qu'elle ne l'est déjà.

(Rires)

Il semble néanmoins plus que probable
que le spectre de l'intelligence

s'étende beaucoup plus loin
que nous ne pouvons le concevoir,

Si nous construisons
des machines plus intelligentes que nous,

elles vont très probablement
explorer ce spectre,

plus que nous ne pouvons l'imaginer,

et elles nous surpasseront,
plus que nous ne pouvons l'imaginer.

Il est important de noter que c'est vrai
par la seule vertu de la vitesse.

Imaginez que nous construisions
une IA super intelligente

qui ne soit pas plus intelligente
qu'une équipe moyenne de chercheurs

de Stanford ou du MIT.

L'électronique va environ
un million de fois plus vite

que la biochimie,

de sorte que cette machine
penserait un million de fois plus vite

que les humains qui l'auraient créée.

En une semaine,

cette machine réaliserait le même travail
qu'une équipe d'humains en 20 000 ans,

semaine après semaine.

Comment pourrions-nous comprendre,
et encore moins limiter,

un esprit qui irait à une telle vitesse ?

L'autre chose inquiétante, franchement,

est la suivante :
imaginez le meilleur des cas.

Imaginez que nous concevions
une IA super intelligente

qui ne soit pas dangereuse.

Nous trouvons la parfaite solution
du premier coup.

Comme si nous avions
un oracle à disposition

se comportant
exactement comme prévu.

Cette machine nous éviterait
toute forme de travail.

Elle concevrait la machine
qui ferait la machine

qui pourrait faire n'importe quoi,

alimentée par le soleil,

plus ou moins pour le seul coût
des matières premières.

On parle là de la fin
de la pénibilité humaine.

Nous parlons aussi
de la fin du travail intellectuel.

Que feraient des singes comme nous
dans une pareille situation ?

Nous serions libres de jouer au frisbee
et de nous faire des massages.

Avec un peu de LSD
et quelques fringues douteuses,

le monde entier serait
comme le Burning Man.

(Rires)

Bon, tout ça peut sembler plutôt sympa,

mais demandez-vous ce qui arriverait

avec notre système politique
et économique actuel ?

Nous serions les témoins

d'une inégalité des richesses
et d'un taux de chômage

encore jamais vus.

Sans la volonté de mettre
ces nouvelles richesses

au service de toute l'humanité,

quelques milliardaires feraient
les couvertures des revues commerciales

alors que le reste du monde
mourrait de faim.

Et que feraient les Russes ou les Chinois

s'ils apprenaient
qu'une société de la Silicon Valley

était sur le point de créer
une IA super intelligente ?

Cette machine serait capable
de faire la guerre,

qu'elle soit physique ou numérique,

avec une puissance jamais vue.

Le vainqueur emporterait toute la mise.

Avoir six mois d'avance
dans une telle compétition

revient à avoir 500 000 ans d'avance,

au minimum.

Il est donc possible
que la moindre rumeur de ce type de percée

pourrait tous nous rendre
totalement dingues.

L'une des choses les plus effrayantes,

de mon point de vue,

sont les choses
que les chercheurs en IA disent

quand ils veulent nous rassurer.

On nous dit généralement
que nous avons encore le temps.

C'est pour plus tard,
vous pensez bien.

C'est probablement
pour dans 50 ou 100 ans.

Un chercheur a dit :

« S'inquiéter de l'IA,
c'est comme s'inquiéter

de la surpopulation sur Mars. »

La Silicon Valley sait parfois

se montrer condescendante.

(Rires)

Personne ne semble se rendre compte

que dire qu'on a le temps

est totalement fallacieux
dans ce contexte.

Si l'intelligence n'est
que le traitement de l'information

et si l'on continue
d'améliorer nos machines,

alors nous produirons
une forme de super intelligence.

Et nous n'avons pas la moindre idée
du temps qu'il nous faudra

pour trouver comment
le faire sans risques.

Je vais me répéter.

Nous n'avons pas la moindre idée
du temps qu'il nous faudra

pour trouver comment
le faire sans risques.

Au cas où vous n'auriez pas remarqué,
50 ans, ce n'est pas grand chose.

Voici 50 ans, en mois.

Voici l'existence de l'iPhone.

Voici la durée couverte
par « Les Simpsons ».

Cinquante ans,
cela ne laisse guère de temps

pour se préparer à l'un
des plus grands défis de tous les temps.

Une fois encore, nous semblons
incapables de nous préparer

à ce qui, selon toute probabilité,
va arriver.

L'informaticien Stuart Russel
propose une belle analogie à ce sujet.

Il dit : « Imaginez que nous recevions
un message des aliens

qui dirait :

' Habitants de la Terre,

nous arriverons chez vous dans 50 ans.

Soyez prêts. '

Et on ne ferait que regarder
le compte à rebours ?

Non, nous nous sentirions
un peu plus concernés que ça. »

Une autre raison de ne pas s'inquiéter

serait que ces machines
partageraient notre sens des valeurs

parce qu'elles seraient
des extensions de nous-mêmes.

Elles seraient greffées sur nos cerveaux,

nous serions leur système limbique.

Réfléchissez un peu

que le moyen le plus sûr,

recommandé,

serait de brancher cette technologie
directement sur nos cerveaux.

Cela peut sembler
être la meilleure option,

mais généralement, on essaie
d'être sûr de son coup

avant de s'enfoncer
quelque chose dans le cerveau.

(Rires)

Le vrai problème est
que simplement concevoir

une IA super intelligente

semble plus facile

que de concevoir
une IA super intelligente

tout en maîtrisant les neurosciences

pour connecter cette IA à nos cerveaux.

Si l'on tient compte du fait
que les entreprises et gouvernements

se sentent probablement en concurrence,

et, puisque remporter cette course
revient à conquérir le monde,

pourvu que vous
ne le détruisiez pas juste après,

il semble probable que l'on commence

par le plus facile.

Malheureusement,
je n'ai pas la solution de ce problème,

à part recommander que
nous soyons plus nombreux à y réfléchir.

Il nous faudrait une sorte
de Projet Manhattan

à propos de l'intelligence artificielle.

Pas pour la concevoir,
car nous y parviendrons,

mais pour réfléchir à comment
éviter une course aux armements

et pour la concevoir d'une façon
en accord avec nos intérêts.

Quand vous parlez
d'une IA super intelligente

qui pourrait se modifier elle-même,

il semblerait que nous n'ayons qu'une
seule chance de faire les choses bien

et encore, il nous faudra gérer

les conséquences
politiques et économiques.

Mais à partir du moment où nous admettons

que le traitement de l'information
est la source de l'intelligence,

qu'un système de calcul
est la base de l'intelligence,

et que nous admettons que nous allons
continuer d'améliorer ce type de système

et que nous admettons que l'horizon

de l'intelligence dépasse totalement

ce que nous savons aujourd'hui,

nous devons admettre

que nous sommes engagés
dans la conception d'un pseudo-dieu.

Il nous faut donc vérifier

que c'est un dieu compatible
avec notre survie.

Merci beaucoup.

(Applaudissements)