Distinguer des mouvements invisibles, entendre des sons silencieux. Est-ce cool ou monstrueux ? Cela dépend de vous.

Découvrez le « microscope du mouvement », un instrument de traitement de vidéos qui amplifie les petits changements de mouvement et couleur impossibles à voir à l'œil nu. Le chercheur vidéo Michael Rubinstein nous fait voir des clips incroyables, en nous montrant comment cette technologie peut reconstruire le pouls ou le rythme cardiaque d'un individu simplement à partir d'un extrait vidéo. Regardez comment il reconstruit une conversation en amplifiant les mouvements créés par des ondes sonores qui rebondissent sur un sachet de chips. Ces applications extraordinaires et sinistres de cette technologie, on doit les voir pour y croire.

Ces derniers siècles, les microscopes
ont révolutionné notre monde.

Ils nous ont révélé un monde minuscule
d'objets, de vies et de structures

qui sont trop petits
pour être vus à l'œil nu.

Ils contribuent incroyablement
à la science et la technologie.

Aujourd'hui, je veux vous présenter
un nouveau type de microscope :

un microscope pour les changements.

Il n'utilise pas l'optique,
pour agrandir les petits objets,

comme un microscope habituel.

Au lieu de ça, il utilise une caméra
et du traitement d'images

pour nous révéler
les mouvements les plus infimes

et les changements de couleur
des objets et des gens.

Des changements impossibles
à voir pour nous à l'œil nu.

Et ça nous permet de voir notre monde
d'une façon complètement nouvelle.

Qu'est-ce qu'un changement de couleur ?

Notre peau, par exemple,
change légèrement de couleur

quand le sang
s'écoule sous sa surface.

Ce changement est
incroyablement léger,

c'est pourquoi quand
on regarde les autres,

ou même celui qui est assis
à côté de nous,

on ne voit pas leur peau ou leur visage
changer de couleur.

Si on regarde cette vidéo de Steve,
il semble immobile.

Mais si on regarde cette vidéo
avec notre nouveau microscope spécial,

soudain on voit une image
complètement différente.

Là, on voit des petits changements
dans la couleur de la peau de Steve,

agrandis par un facteur 100
pour les rendre visibles.

On peut tout à fait voir
un pouls humain.

On peut voir la vitesse
des battements cardiaques de Steve.

On peut aussi voir la façon effective
dont le sang s'écoule dans son visage.

On peut faire ça non seulement
pour visualiser le pouls,

mais aussi pour récupérer
le rythme cardiaque, et le mesurer.

On le fait avec des caméras normales
et sans toucher les patients.

Là, on voit le pouls et le rythme
cardiaque d'un nouveau-né mesuré

à partir d'une vidéo réalisée
avec une caméra DSLR normale.

Le rythme cardiaque obtenu

est aussi précis que celui qu'on obtient
avec le moniteur standard d'un hôpital.

Ce n'est pas forcément
une vidéo enregistrée par nous.

Fondamentalement, on peut le faire
avec d'autres vidéos aussi.

Donc là, j'ai pris un petit extrait
du film « Batman : Le Commencement »,

pour vous montrer le pouls
de Christian Bale.

(Rires)

On sait tous qu'il est maquillé,

le réglage de la lumière
pose problème,

néanmoins, on peut extraire son pouls
à partir de cet extrait,

et le montrer clairement.

Comment fait-on tout ça ?

Fondamentalement, on analyse
les changements de lumière enregistrés

à chaque pixel de la vidéo dans le temps,

et puis on amplifie ces changements.

On les agrandit
pour pouvoir les observer.

La partie compliquée est que ces signaux,

ces changements qu'on cherche
sont minuscules,

on doit donc faire très
attention quand on essaie

de les séparer du bruit
présent dans toutes les vidéos.

On utilise des techniques
de traitement d'images astucieuses

pour obtenir une mesure très précise
de la couleur de chaque pixel de la vidéo,

et de la manière dont la couleur
change avec le temps,

et puis on amplifie ces variations.

On les agrandit pour créer
de telles vidéos accrues, ou amplifiées.

qui nous montrent clairement
ces changements.

En fait, on peut faire ça non seulement
pour les changements de couleur,

mais aussi pour les micro-mouvements,

parce que la lumière
enregistrée dans nos caméras

varie non seulement
quand la couleur de l'objet change,

mais aussi quand l'objet bouge.

Voici ma fille à deux mois.

C'est une vidéo que j'ai enregistrée
il y a environ trois ans.

Et, comme tout parent, on veut s'assurer

que nos enfants sont en bonne santé,
qu'ils respirent et qu'ils sont vivants.

Donc j'ai acheté un babyphone

pour observer ma fille
dans son sommeil.

Voici le résultat obtenu habituellement
avec un babyphone standard.

On peut voir le bébé qui dort,
mais sans plus.

Il n'y a pas grand chose à voir.

Ne serait-il pas mieux,
plus informatif, ou plus utile,

si, au lieu de ça, on pouvait
voir la scène comme ça.

J'ai analysé les mouvements
et je les ai amplifiés d'un facteur 30,

et j'ai pu clairement voir que ma fille
respirait toujours.

(Rires)

Voilà les vidéos côte à côte.

Dans la vidéo originelle,

il n'y a pas grand chose à voir,

mais si on amplifie les mouvements,
la respiration devient plus visible.

Il y a en fait beaucoup de phénomènes

qu'on peut révéler et agrandir avec
notre nouveau microscope du mouvement.

On peut voir comment nos veines et artères
pulsent dans notre corps.

On peut voir que nos yeux
sont constamment en mouvement,

un peu tremblants.

C'est mon œil sur cette vidéo.

J’ai enregistré cette vidéo
juste après la naissance de ma fille.

Vous pouvez donc remarquer
que je manquais de sommeil.

(Rires)

Même lorsque quelqu'un
est assis, immobile,

on peut extraire beaucoup d'informations

sur son rythme de respiration,
ses petites expressions faciales.

Peut-être que ces mouvements

peuvent nous révéler quelque chose
sur nos pensées, nos émotions.

On peut aussi amplifier
les petits mouvements mécaniques,

comme les vibrations d'un moteur.

Ça pourrait aider les ingénieurs
à identifier des problèmes mécaniques,

ou observer comment nos constructions
réagissent aux forces et au vent.

Ce sont des choses que notre société
sait mesurer de plusieurs manières.

Mais mesurer ces mouvements,

et les observer quand ils se produisent

sont deux choses complètement différentes.

Et depuis qu'on a découvert
cette nouvelle technologie,

on a mis notre code en ligne pour qu'il
puisse être utilisé et expérimenté.

Il est très simple à utiliser.

Il peut être utilisé sur
vos propres vidéos.

Nos collaborateurs de Quanta Research
ont même créé un beau site

où vous pouvez télécharger des vidéos
et les modifier.

Donc même si on n'a pas d'expérience
en informatique ou en programmation,

on peut facilement expérimenter
avec ce nouveau microscope.

Et je voudrais vous montrer
quelques exemples

de ce qui a été fait avec ça.

Ceci a été fait par un utilisateur
de YouTube qui s'appelle Tamez85.

Je ne le connais pas,

mais il, ou elle, a utilisé notre code

pour agrandir les petits mouvements
du ventre durant une grossesse.

C'est un peu effrayant.

(Rires)

Certains l'ont utilisé pour agrandir
les pulsations des veines dans les mains.

Et vous savez que ce n'est pas de la
vraie science sans des cobayes.

Apparemment ce cobaye
s'appelle Tiffany

et cet utilisateur de YouTube dit que
c'est le premier rongeur

dont les mouvements ont été
agrandis avec cette méthode.

On peut même en faire de l'art.

Ce vidéo m'a été envoyé par
une étudiante en graphisme à Yale.

Elle voulait voir
s'il y avait des différences

dans les mouvements de ses copains.

Elle leur a demandé de rester immobiles
et a agrandi leurs mouvements.

C'est comme voir
des photos immobiles prendre vie.

Ce qui est remarquable
dans tous ces exemples,

c'est qu’ils sont entièrement autonomes.

Nous avons mis la technologie, un nouveau
regard sur le monde, à disposition.

et puis les gens ont trouvé
d'autres utilisations

intéressantes, nouvelles et créatives.

Mais on ne s'est pas arrêté là.

Cet instrument nous permet
non seulement de regarder le monde

d'une nouvelle façon,
mais il redéfinit ce qu'on peut faire,

il repousse les limites
du possible avec nos caméras.

Alors, en tant que scientifiques,
on s'est demandé

quels autres phénomènes physiques
produisent des petits mouvements

que nos caméras pourraient mesurer ?

Et l'un de ces phénomènes sur lequel
on s'est concentrés est le son.

Le son, comme nous le savons tous,

est une variation de la pression de l'air.

Ces ondes de pression frappent les objets
et créent de petites vibrations.

C'est ainsi qu'on entend
et enregistre le son.

Il s’avère que le son produit
des mouvements visuels.

Ces mouvements ne sont pas
visibles à l'œil nu,

mais pour une caméra munie
du traitement d'images adéquat.

Voici deux exemples.

Je vous présente
mes grandes capacités en chant.

(Vocalisation)

(Rires)

En même temps, j'ai pris un vidéo
à haute vitesse de ma gorge.

Si vous observez cette vidéo,

il n'y a pas grand chose à voir,

mais en amplifiant les mouvements
d'un facteur 100,

on voit les ondulations dans la gorge
qui contribuent à la production du son.

Ce signal est là, dans cette vidéo.

On sait aussi que les chanteurs
peuvent briser un verre

s'ils chantent la note juste.

Ici, on va donc jouer une note

dans la fréquence de résonance
de ce verre.

avec un haut-parleur à côté.

Quand on joue cette note et
qu'on amplifie par un facteur 250,

on peut voir nettement
comment le verre vibre

et résonne en réaction au son.

Ce n'est pas une chose
qu'on voit tous les jours.

Mais ça nous a fait réfléchir,
et ça nous a donné une idée folle.

Est-ce qu'on peut inverser le processus
et récupérer du son à partir des vidéos,

en analysant les micro-vibrations créées
par les ondes sonores sur les objets,

et en les convertissant en son ?

On pourrait transformer
des objets usuels en micros.

C'est exactement ce qu'on a fait.

Là on voit un sachet de chips vide
sur une table,

et on va le transformer en micro,

en l'enregistrant avec une caméra

et en analysant les petits mouvements
que les ondes sonores y créent.

Voici le son
qu'on a joué dans la pièce.

(Musique: « Marie avait un petit agneau »)

Et voilà une vidéo à haute vitesse
du paquet de chips.

On rejoue notre morceau.

Il n'y a aucune chance de remarquer
quoi que ce soit dans cette vidéo.

Voilà le son qu'on a pu récupérer

en analysant les mouvements
dans la vidéo.

(Musique: « Marie avait un petit agneau »)

Moi, j'appelle ça - Merci.

(Applaudissements)

J'appelle ça le micro visuel.

On extrait des signaux
acoustiques à partir de signaux visuels.

Et pour vous donner une idée
de l'échelle de ces mouvements,

un son très bruyant fait bouger ce sachet
de moins d'un micromètre.

C'est-à-dire
un millième d'un millimètre.

Voilà la taille microscopique
des mouvements extraits

par la simple observation
de la lumière sur les objets,

et est enregistrée par nos caméras.

On peut reconstruire le son
à partir d'autres objets : les plantes.

(Musique: «Marie avait un petit agneau»)

On peut même reconstruire
des paroles.

Voilà une personne qui parle
dans une pièce.

Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,

et partout où Marie allait,
l'agneau bien sûr suivait.

MR : Et voilà ces mêmes paroles,

reconstruites à partir
de ce même paquet de chips.

Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,

et partout où Marie allait,
l'agneau bien sûr suivait.

MR : On a utilisé
« Marie avait un petit agneau »

car ce serait les premiers mots

que Thomas Edison aurait prononcés
dans son phonographe en 1877.

C'était l'un des premiers
enregistreurs de l'histoire.

Fondamentalement il projetait
les sons sur un diaphragme

qui faisait vibrer une aiguille
qui gravait le son

sur une feuille d'aluminium enroulée
autour d'un cylindre.

Voilà une démonstration du phonographe.

(Vidéo) Voix :
Test, test, un. deux, trois.

Marie avait un petit agneau,
blanc comme neige, il était beau,

et partout où Marie allait,
l'agneau bien sûr suivait.

Test, test, un, deux, trois.

Marie avait un petit agneau,
blanc comme neige, il était beau,

et partout où Marie allait,
l'agneau bien sûr suivait.

MR : Et maintenant, 137 ans après,

on peut reconstruire du son
de qualité très similaire

en regardant avec des caméras
des objets qui vibrent avec le son.

On peut même faire ça
quand la caméra

est à 4 mètres de distance de l'objet,
derrière du verre insonorisé.

Voilà le son qu'on peut
reconstruire dans ce cas-là.

Voix : Marie avait un petit agneau,
blanc comme neige, il était beau,

et partout où Marie allait,
l'agneau bien sûr suivait.

MR : Bien sûr, surveillance est la
première utilisation qui vient à l'esprit.

(Rires)

Mais cela pourrait être utile
pour d'autres choses.

Peut-être que dans le futur
on pourra l'utiliser, par exemple,

pour reconstruire le son dans l'espace,

parce que le son ne voyage pas
dans l'espace, mais la lumière peut.

On ne fait que commencer à explorer

d'autres applications possibles
de cette nouvelle technologie.

Ça nous permet de voir
des processus que nous savons exister,

mais qu'on n'a jamais pu
voir à l’œil nu jusqu'à maintenant.

Voilà notre équipe.

Tout cela est
le résultat d'une collaboration

avec ce magnifique
groupe de personnes-là.

Je vous encourage
à visiter notre site Web,

à tester notre technologie,

à nous rejoindre pour explorer
ce monde des micro-mouvements.

Merci.

(Applaudissements)