Et si les ordinateurs devenaient plus intelligents que nous?

L'intelligence artificielle (IA) devient de plus en plus intelligente. Des recherches suggèrent qu'au cours de notre siècle, une IA pourrait être aussi intelligente qu'un humain. Alors, dit Nick Bostrom, elle pourrait nous diriger: « L'intelligence artificielle est la dernière invention que devra créer l'humanité. » Le philosophe et technologue, Nick Bostrom nous demande de réfléchir au monde que nous sommes en train de construire, un monde rempli de machines intelligentes. Ces dernières nous aideront-elles à préserver l'humanité avec nos valeurs, ou auront-elles leurs propres objectifs?

Je travaille avec des mathématiciens, des
philosophes et des informaticiens,

et, ensemble, nous réfléchissons sur le
futur des machines intelligentes,

entre autres.

Certains pensent que ces sujets sont
de la pure science-fiction,

irréels et fous.

Mais j'aime leur répondre:

« Ok, regardons un instant les
conditions humaines modernes. »

(Rire)

Ceci est ce qu'on considère comme normal.

Mais quand on y pense,

nous, l'espèce humaine,
ne sommes apparus sur cette planète

que très récemment.

Si la Terre avait été créée
il y un an,

les humains ne seraient âgés
que de 10 minutes.

L'ère industrielle n'aurait commencé
qu'il y a deux secondes.

Un autre point de vue consiste à regarder
le PIB des 10 000 dernières années.

J'ai fait l'effort de synthétiser ces
données en un tableau.

Ça ressemble à ça.

(Rire)

Drôle de forme pour
une condition « normale ».

Je ne voudrais pas m'asseoir dessus.

(Rire)

Demandons-nous: quelle est
la cause de cette anomalie?

Certains disent que c'est la technologie.

Il est vrai que les technologies se sont
accumulées au cours de l'histoire humaine

et qu'en ce moment, elles se développent
extrêmement rapidement.

C'est relié à la vraie cause,

car c'est ce qui nous permet
d'être si productifs.

Mais j'aime à penser que la cause ultime
réside plus loin dans le temps.

Regardez ces deux messieurs
hautement distingués.

Il y a Kanzi:

il maîtrise 200 unités lexicales,
un exploit incroyable.

Et Ed Witten, qui a mené à la 2e
révolution de la théorie des supercordes.

Si l'on regarde sous le capot,
voici ce que l'on voit:

pratiquement la même chose.

Un est un peu plus gros

et a peut-être quelques
différences dans sa connexion.

Mais ces différences invisibles ne peuvent
pas être si compliquées,

car il y a seulement
250 000 générations,

nous avions le même ancêtre.

Nous savons que les mécanisme complexes
prennent longtemps à évoluer.

Donc, une série de petits changements

nous amène
de Kanzi à Witten,

de branches cassés à des
missiles balistiques intercontinentaux.

Il semble donc évident que tout ce
que l'on a créé,

et tout ce à quoi l'on tient,

dépend à la base de quelques relativement
petits changements dans le cerveau humain.

Et, corolairement, bien sûr,
n'importe quel changement

qui pourrait affecter
l'essence de la pensée

pourrait potentiellement avoir
d'énormes conséquences.

Certains de mes collègues
pensent que nous sommes

près de quelque chose qui pourrait créer
un profond changement dans cette essence:

les machines à intelligence artificielle.

Avant, l'intelligence artificielle (IA)
consistait à créer des commandes.

Des programmeurs humains
inséraient avec difficultés

des éléments d'information
dans une boîte.

On construisait des machines expertes qui

étaient utiles pour certaines choses,
mais qui étaient très restreintes.

On ne pouvait les faire à grande échelle.

On en retirait que ce
que l'on avait mis.

Mais depuis,

un changement de paradigme à eu lieu dans
le domaine de l'intelligence artificielle.

Aujourd'hui, on se concentre sur
les machines qui apprennent.

Donc, au lieu d'insérer
manuellement de l'information,

on crée des algorithmes qui apprennent,
souvent à partir de donnés perceptives.

Essentiellement, ils font la même
chose que des enfants humains.

Il en résulte des IA qui ne sont
pas limitées à un seul domaine;

le même système peut apprendre
à traduire n'importe quelle langue

et à jouer tous les jeux
sur la console Atari.

Bien sûr,

l'IA est loin d'avoir la même
puissance universelle

d'apprentissage et de planification
que l'être humain.

Le cortex a encore quelques
ruses algorithmiques

que l'on arrive pas à créer
dans des machines.

La question est donc:

dans combien de temps
réussirons-nous à les créer?

Il y a quelques années,

nous avons fait un sondage auprès
d'experts de l'IA mondialement reconnus

pour avoir leur opinion.

Une des questions posées était:
« À quand, selon vous, un 50% de chance

d’avoir créé une intelligence artificielle
équivalente à celle de l’humain? »

Nous avons définis cette dernière comme
l'habileté de faire n'importe quel travail

aussi bien, voire mieux,
qu'un humain adulte,

au niveau d’une intelligence humaine,
qui n'est pas restreinte à un seul domaine.

Et la réponse médiane a été 2040 ou 2050,

selon les groupes d'experts questionnés.

Bien sûr, cela pourrait se produire bien
plus tard, ou plus tôt;

la vérité, c'est que personne ne le sait.

Ce que l'on sait, par contre, c'est que
la capacité de traitement de l'information

est beaucoup plus grande pour
une machine que pour un humain.

C'est simplement de la physique.

Un neurone biologique décharge, environ, à
200 Hertz, 200 fois/sec,

alors qu'un transistor, de nos jours,
fonctionne en Gigahertz.

Les neurones se propagent en axons à une
vitesse de 100 m/sec, max,

alors que les signaux des ordinateurs
peuvent voyager à la vitesse de la lumière

Il y a aussi des
différences de grandeur:

un cerveau humain doit entrer à
l’intérieur d'un crâne,

alors qu'un ordinateur peut avoir la
taille d'un entrepôt, et même plus.

Donc, le potentiel de la
super-intelligence est en attente,

tout comme celui du pouvoir de l'atome
l'était au cours de l'histoire,

attendant patiemment jusqu'en 1945.

Au cours de notre siècle,

les scientifiques réussiront peut-être à
exploiter le pouvoir de l'I.A.

Et alors, selon moi, nous verrons
une explosion de l'intelligence.

Je crois que lorsque quelqu'un s'imagine
ce qu'est être intelligent ou idiot,

il a en tête une image comme celle-ci.

À un bout, il y a l’idiot du village,

et très loin à l'autre bout,

il y a Ed Witten, ou Albert Einstein, ou
peu importe qui est votre génie préféré.

Mais du point de vue de
l'intelligence artificielle,

la vraie image ressemble plutôt à ceci.

L'IA a commencé au bout,
avec zéro intelligence,

puis, après plusieurs années de travail,

nous arriverons peut-être à la rendre
au niveau de la souris,

c'.-à-d. qu'elle pourra naviguer
dans des environnements encombrés,

tout comme une souris.

Puis, après plusieurs autres années
de travail, beaucoup d'investissements,

nous arriverons peut-être au niveau
d'intelligence des chimpanzés.

Puis, après encore plusieurs autres années
de travail très acharné,

nous arriverons au
niveau de l’idiot du village.

Puis, à peine un moment plus tard,
nous serons au-delà d'Ed Witten,

car le train ne s'arrête pas
à la station Humain.

Il y a de bonne chance qu'il
passe tout droit.

Cela aura des conséquences importantes,

en particulier lorsqu'il est
question du pouvoir.

Par exemple, les chimpanzés sont forts,

— livre pour livre, ils sont environ 2 fois
plus fort qu'un humain bien bâti —

Pourtant, le destin de Kanzi et de ses
amis dépend bien plus

des activités des humains que de leurs
propres activités.

Une fois qu'il y aura
une super-intelligence,

le destin des humains dépendra peut-être
uniquement des activités de celle-ci.

Pensez-y:

L'IA est la dernière invention que les
humains auront jamais à créer.

Les machines seront de meilleurs
créateurs que nous,

et ils le feront à une vitesse
à l'échelle numérique.

Cela signifie que le futur
va arriver avant son temps.

Pensez à toutes les technologies
audacieuses possibles

que les humains auraient peut-être
réussi à créer avec le temps:

la fontaine de jouvence,
la colonisation de l'espace,

des nanorobots autoréplicatifs,
des esprits intégrés à des ordinateurs,

toutes sortes de choses de science-fiction

qui sont tout de même compatibles
avec les lois de la physique.

Tout cela pourrait être créé par la
super-intelligence, sans doute rapidement.

Une super-intelligence à
un niveau aussi élevé

serait extrêmement puissante,

et, dans certains scénarios,
elle aurait tout ce qu'elle veut.

Notre futur serait donc
construit selon ses préférences.

Une bonne question à se poser est:
mais quelles sont ces préférences?

C'est là que ça devient plus compliqué.

Pour avancer sur ce sujet,

il faut avant tout éviter
l'anthropomorphisme.

C'est ironique, car chaque article de
journal à ce propos offre cette image.

Donc, ce que je pense qu'on doit faire,
c'est penser de façon plus abstraite,

et non pas selon les
scénarios hollywoodiens.

Nous devons penser à l'intelligence
comme un processus d'amélioration

qui dirige le futur selon certaines
configurations précises.

Une super-intelligence est un processus
d'amélioration excellent.

Il est très bon pour utiliser tous
les moyens disponibles

pour arriver à son but.

Cela signifie qu'il n'y a
pas nécessairement de lien

entre avoir une haute intelligence

et avoir un objectif que les humains
trouvent digne d'intérêt ou significatif.

Par exemple, l'IA pourrait avoir comme
objectif de faire sourire les humains.

Au début, l'IA n'étant pas encore très
développée, elle fera sans doute

des actions qui feront
sourire l'utilisateur.

Puis, quand elle
deviendra super-intelligente,

elle découvrira qu'il y a une autre
façon plus efficace d'arriver à son but:

prendre contrôle de la planète

et coller des électrodes aux muscles
faciaux des humains

afin que, constamment, ils
aient un large sourire.

Un autre exemple.

Nous donnons à l'IA un problème
mathématique complexe à résoudre.

Lorsque l'IA devient super-intelligent,

il découvre que la façon la plus
efficace pour le résoudre

est de transformer la planète en un
immense ordinateur

afin d'augmenter sa capacité de penser.

L'IA se retrouve donc avec
une raison instrumentale

de nous faire subir des choses
que nous n'approuvons pas.

Dans cet exemple, les humains
sont des menaces;

nous pourrions empêcher que
le problème soit résolu.

Bien sûr, les choses ne se passeront
pas nécessairement de cette façon là:

ce sont des caricatures.

Mais ce qui est important
à retenir est ceci:

si l'on crée une machine très puissante

afin d'atteindre l'objectif X,

on est mieux de s'assurer que
la définition de X

comprend tout ce à quoi l'on tient.

C'est une morale qui est aussi racontée
à travers plusieurs mythes.

Le Roi Midas souhaite que tout ce qu'il
touche devienne de l'or.

Il touche sa fille,
elle se transforme en or.

Il touche sa nourriture,
elle se transforme en or.

Ceci est pertinent non seulement pour
créer une métaphore sur l'envie,

mais aussi pour illustrer ce qui arrive
si l'on crée une super-machine

et qu'on lui donne des buts inadaptés
ou mal spécifiés.

On peut penser: « Si l'ordinateur commence
à coller des électrodes sur les gens,

on n'aura qu'à l'éteindre. »

1. Ce n'est pas nécessairement facile
si nous sommes dépendants du système

— Où est le bouton off d'Internet? —

2. Pourquoi les chimpanzés n'ont pas
« éteint » les humains

ou les Néandertaliens?

Ils avaient sans doute des raisons,

car nous pouvons être éteints,
par exemple, par ici.

— Étouffant —

La raison est que nous sommes
des adversaires intelligents.

Nous pouvons anticiper les menaces
et planifier en conséquence.

Et c'est ce que ferait un ordinateur
super-intelligent,

et bien mieux que nous en plus.

Le fait est que nous ne devrions pas
penser que nous maîtrisons la situation.

Nous pourrions essayer de faciliter
notre travail

en mettant l'IA dans une boîte,

tel un environnement
numérique sécuritaire,

une réalité virtuelle de laquelle il ne
pourrait s'échapper.

Mais pouvons-nous vraiment être sûr que
l'IA ne trouvera pas de bogues,

surtout considérant que les hackers
humains y arrivent sans arrêt?

Je ne crois pas.

Donc nous débranchons les câbles ethernets
afin de créer un manque d'air,

mais là encore, les hackers humains

passent de manière routinière par-dessus
ces problèmes grâce à l’ingénierie.

Au moment où je vous parle,

je suis sûr qu'il y a un employé,
quelque part,

que l'on a convaincu de divulguer
les détails de son compte

en prétendant être du
département de soutien informatique.

Des scénarios plus créatifs
sont aussi possibles.

Par exemple, si vous êtes l'IA,

vous pouvez vous imaginer remuant des
électrodes dans votre circuit interne

afin de créer des ondes radios
pour communiquer.

Ou, vous pourriez prétendre
ne plus fonctionner,

et, lorsque les programmeurs vous ouvrent
afin de voir quel est le problème,

il regarde le code source, et BAM!,

la manipulation peut commencer.

Ou il pourrait changer les plans
avec une technologie astucieuse

de tel sorte que
lorsqu'on les implante,

un effet secondaire
prévu par l'IA se produit.

Ce qu'il faut retenir, c'est qu'on ne
devrait pas avoir trop confiance

en notre capacité à maintenir
un génie dans une lampe pour toujours.

Tôt ou tard, il en sortira.

Je crois que la solution
est de trouver une façon

de créer une IA qui, même si elle
s'échappe, sera toujours sécuritaire:

une IA qui sera toujours de notre bord,
car elle partagera nos valeurs.

Je ne vois aucun moyen
de contourner ce problème.

Mais je suis plutôt optimiste et
je crois qu'on peut trouver la solution.

Nous n'aurions pas à faire une longue
liste de tout ce à quoi l'on tient,

ou, pire encore, transformer celle-ci
en langage informatique

tel C++ ou Python;

ce serait une tâche désespérée.

Il faudrait plutôt créer une IA
qui utilise son intelligence

pour apprendre ce à quoi l'on tient

et qui est construit de tel sorte que
sa motivation consiste à défendre

nos valeurs ou à faire des actions
seulement s'il pense qu'on les approuve.

Nous utiliserions donc son
intelligence autant que possible

afin qu'elle résolve le problème
d’implantation de la liste de valeurs.

Cela est possible

et le résultat pourrait être
incroyable pour l'humanité.

Mais ça ne se passera pas
comme ça obligatoirement.

Il faut que les conditions initiales,
lors de l'explosion de l'intelligence,

soient créées d'une façon spécifique afin
que nous ayons un détonation contrôlée.

Les valeurs de l'IA doivent être
les mêmes que les nôtres

non seulement dans le
contexte que l'on connaît

où l'on peut contrôler
son comportement,

mais aussi dans des contextes nouveaux
que l'IA peut rencontrer

dans un futur indéfini.

Il y a aussi quelques problèmes
ésotériques qui devraient être réglés:

le détail de sa méthode pour
prendre des décisions,

sa façon de gérer les
incertitudes logiques, etc.

Donc, les problèmes techniques qui
doivent être résolus semblent difficiles,

pas autant que créer
une IA super-intelligente,

mais assez difficiles quand même.

Voici ce qui est inquiétant:

Créer une IA super-intelligente
est un défi colossal.

Créer une IA super-intelligente
qui, en plus, est sécuritaire

rajoute un niveau de difficulté.

Le risque réside dans la possibilité que
quelqu'un surmonte le premier défi,

sans avoir surmonté le deuxième,
celui de la sécurité.

Donc, je crois qu'on devrait surmonter
le deuxième défi en avance

afin qu'il soit prêt lorsqu'on
en a besoin.

Peut-être ne pourrons-nous pas le
surmonter entièrement en avance,

car certains éléments
ne peuvent être créés

seulement lorsque l'on connaîtra les
détails techniques de l'IA en question.

Mais plus nous commencerons à travailler
sur ce problème de contrôle en avance,

plus nous augmenterons nos chances
de passer dans cette nouvelle ère

en tout sécurité.

Selon moi, ceci est la chose
la plus importante à faire.

Je suis sûr que si on y parvient,

les humains dans des millions d'années
qui se pencheront sur notre siècle

diront que la seule chose que nous avons
fait qui avait vraiment de l'importance

était de réussir à surmonter ce défi.

Merci

(Applaudissements)