Des nouvelles technologies vidéo qui dévoilent les propriétés cachées des objets

Des mouvements subtils ont lieu autour de nous continuellement, comme les vibrations infimes causées par le son. De nouvelles technologies prouvent que nous pouvons capter ces vibrations et recréer le son et les conversations à partir d'une vidéo d'objets apparemment immobiles. Abe Davis va un pas plus loin : regardez la démonstration de son logiciel qui permet à tout le monde d'interagir avec ces propriétés cachées, à partir d'une simple vidéo.

La plupart d'entre nous associe
le mouvement au visuel.

Si je traverse cette scène
ou bouge mes mains alors que je parle,

ce mouvement est quelque chose
que vous pouvez observer.

Mais il y a un monde de gestes importants
qui sont imperceptibles à l’œil humain,

et au cours de ces dernières années,

on s'est rendu compte que les cameras

peuvent détecter ces mouvements
même quand l’être humain en est incapable.

Laissez-moi donc vous montrer.

Sur la gauche, vous voyez la vidéo
du poignet d'une personne,

et à droite, vous voyez la vidéo
d'un bébé endormi.

Mais si je ne vous avais pas dit
qu'il s'agissait de vidéos,

vous auriez pu penser que vous regardiez
deux images tout à fait normales.

Car dans les deux cas,

ces vidéos semblent
presque complètement immobiles.

Mais il y a en fait beaucoup
de mouvement imperceptibles.

Et si vous touchiez
le poignet sur la gauche,

vous sentiriez un pouls

et si vous teniez
le bébé sur l'image de droite,

vous sentiriez la montée
et la descente de sa poitrine

à chacune de ses respirations.

Et ces mouvements sont lourds de sens

mais ils sont souvent
trop subtils pour que nous les voyions.

Donc à la place, nous devons les observer

au travers d'un contact direct,
au travers du toucher.

Il y a quelques années,

mes collègues du MIT ont développé
un microscope amplificateur de mouvement.

C'est en fait un logiciel qui repère
ces mouvements imperceptibles en vidéo

et les amplifie de manière à les grossir
suffisamment pour qu'on puisse les voir.

Si bien que, si l'on utilise ce logiciel
sur la vidéo de gauche,

ça nous permet de voir le pouls
à l’intérieur du poignet.

Si nous devions compter ce pouls,

nous pourrions même obtenir
le rythme cardiaque de la personne.

Si nous utilisons le même logiciel
sur la vidéo de droite,

nous pouvons voir chacune
des respirations de ce bébé,

et l'utiliser comme un moyen sans contact
pour surveiller sa respiration.

Et donc cette technologie
est réellement puissante

puisqu'elle repère ces phénomènes

que nous ne pouvons
sentir qu'avec le toucher,

et elle les enregistre
visuellement de façon non invasive.

Il y a deux ans, j'ai rejoint l'équipe
qui a créé ce logiciel

et nous avons décidé de poursuivre
une idée folle.

On s'est dit, c'est génial
d'utiliser un logiciel

pour visualiser ainsi
de tout petits mouvements

et on peut presque le voir comme un
moyen d’améliorer notre sens du toucher.

Mais qu'en serait-il si on pouvait en
faire de même avec notre audition?

Et si on pouvait utiliser la vidéo
pour capturer les vibrations sonores,

un autre type de mouvements en fait,

et faire passer ce que l'on voit
dans un microphone?

C'est une idée un peu étrange.

Laissez-moi donc mettre cela
en perspective pour vous.

Un microphone traditionnel fonctionne
en convertissant le mouvement

d'un diaphragme interne
en un signal électrique,

et ce diaphragme est conçu
pour bouger facilement avec le son,

pour que ce mouvement puisse être
enregistré et interprété comme de l'audio.

Mais le son fait vibrer tous les objets !

Ces vibrations sont trop subtiles,
trop rapides pour qu'on puisse les voir.

Et si on les enregistrait
avec une caméra haute vitesse,

on pourrait utiliser un logiciel
pour extraire les tout petits mouvements

de notre vidéo en ralenti,

et analyser ces mouvements
pour comprendre quel son les a créés.

On pourrait alors transformer
les objets visibles

en microphones visuels à distance.

On a donc essayé,

et voici une de nos expériences.

Ici nous avons pris cette plante
que vous voyez sur la droite,

et l'avons filmée
avec une caméra haute vitesse,

pendant qu'un caisson de basse
jouait ce son à côté.

(Musique: « Mary had a little lamb »)

Et voilà la vidéo
que nous avons enregistrée.

Nous l'avons enregistrée
à des milliers d'images par seconde.

Même si vous y regardez de très près,

vous ne pouvez voir que des feuilles

qui ne bougent presque pas.

Car en effet, notre son a fait bouger
ces feuilles d’à peine un micromètre.

C'est un dix-millième de centimètre,

ce qui place cela quelque part entre
un centième et un millième

de pixel dans cette image.

Donc vous pouvez loucher
autant que vous voulez,

un mouvement si petit
est quasiment invisible.

Mais en fait, un mouvement
invisible à l'oeil

peut avoir du sens numériquement parlant.

Parce qu'avec les bons algorithmes,

on peut utiliser cette vidéo
silencieuse et apparemment immobile

pour en extraire le son.

(Musique: «Mary had a little lamb.»

(Applaudissements)

Comment est-ce possible ?

Comment retirons-nous tant d'informations
à partir de mouvements si infimes ?

Disons que ces feuilles bougent
d'un seul micromètre,

et que ça modifie notre image
d'un millième de pixel.

Ça peut paraître peu,

mais un seul plan dans une vidéo

contient des centaines
de milliers de pixels.

En combinant tous ces infimes mouvements

sur une image entière,

un millième de pixel

finit par former
quelque chose d'important.

Sur le plan personnel, réaliser ça
nous a tous bouleversés !

(Rires)

Mais même avec le bon algorithme,

il nous manquait
une pièce importante du puzzle.

Vous voyez, il y a beaucoup de facteurs
qui influencent comment

et quand cette technique fonctionne.

L'objet lui-même et la distance,

la caméra, et l'objectif
que vous utilisez,

la lumière sur l'objet
et le volume du son.

Même avec le bon algorithme,

il nous a fallu être prudents
dans nos premières expériences

parce qu'il était impossible
de dire ce qui n'allait pas,

si un seul de ces facteurs était biaisé.

Le résultat était du bruit.

Beaucoup de nos premières expériences
ressemblent à ceci.

Me voilà,

et en bas à gauche, on devine
la caméra haute vitesse,

qui cadre un paquet de chips.

Deux spots illuminent toute la scène.

Nous devions donc être très prudents
durant ces premières expériences.

Voici leur déroulement :

(Vidéo) Abe Davis: un, deux, trois, go !

Mary had a little lamb !
Little lamb ! Little lamb !

(Rires)

AD : Ça a l'air complètement ridicule !

(Rires)

Après tout, je suis en train de crier
sur un paquet de chips.

(Rires)

Et il y a tant de spots

que les premiers sachets ont
littéralement fondu sous la chaleur.

Mais aussi ridicule
que ça puisse avoir l'air,

c'était très important.

Parce que nous avons pu récupérer le son.

(Audio) Mary had a little lamb !
Little lamb ! Little lamb !

(Applaudissements)

AD : Ce fut une expérience-clef,

parce que ce fut la première restitution
d'un discours intelligible,

à partir d'une vidéo muette d'un objet.

Ça nous a permis de créer une référence.

On a pu progressivement
modifier les paramètres :

utiliser des objets différents,
les éloigner,

utiliser des éclairages moins puissants,
ou réduire le volume du son.

On a analysé toutes ces expériences,

jusqu'à ce que nous ayons compris
les limites de notre technologie.

Parce qu'une fois
ses limites déterminées,

on a pu trouver des moyens
de les repousser.

Par exemple, à travers cette expérience,

où je vais encore parler
au paquet de chips.

Mais cette fois, la caméra est à 5 mètres,

à l'extérieur,
derrière une fenêtre insonorisée,

avec la seule lumière naturelle.

Voilà la vidéo.

Voilà la bande-son à l'intérieur,
à côté du paquet de chips.

(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,

partout où Marie se rendait,
l'agneau sûrement l'accompagnait.

AD : Et voici ce que nous avons récupéré
de notre vidéo muette,

prise à travers cette fenêtre.

(Audio) Marie avait un petit agneau,
à la laine blanche comme de la neige,

partout où Marie se rendait,
l'agneau sûrement l'accompagnait.

(Applaudissements)

AD : Nous pouvons repousser les frontières
d'autres manières.

Voici une expérience plus calme.

On a filmé des écouteurs
connectés à un portable.

Ici, notre objectif est de récupérer
la musique de l'ordinateur,

à partir de la vidéo muette

de ces deux petits écouteurs en plastique.

Les résultats furent si concluants,

qu'on a même pu les vérifier sur Shazam.

(Rires)

(Musique: « Under Pressure », Queen)

(Rires) (Applaudissements)

On peut aussi repousser les limites
en changeant de matériel.

Toutes ces expériences ont été réalisées

avec une caméra haute vitesse,

qui enregistre 100 fois plus d'images

qu'un smartphone normal.

On a donc aussi développé une technique

qui permet d'utiliser
des caméras normales.

On y arrive en utilisant
l'obturateur automatique.

En fait, la plupart des caméras
enregistrent les images de haut en bas.

Si l'objet bouge pendant l'enregistrement
d'une seule image,

il y a un léger délai
entre chaque ligne d'enregistrement.

Ça provoque d'imperceptibles artéfacts

qui sont encodés
dans chaque plan de la vidéo.

En analysant ces artéfacts,

on peut récupérer le son en utilisant
une version modifiée de notre algorithme.

Voici une autre expérience.

Nous avons filmé un sachet de bonbons,

à côté d'un ampli
qui joue la même chanson :

« Mary Had a Little Lamb »

Mais cette fois-ci, nous avons utilisé
une caméra ordinaire.

Je vais vous laisser écouter le son
que nous avons récupéré.

Le son sera un peu distordu,

mais essayez quand même de voir
si vous pouvez reconnaître la musique.

(Audio: « Mary Had a Little Lamb »)

Certes, le son est déformé.

Mais ce qui est extraordinaire,
c'est que nous avons pu réaliser cela

avec un appareil disponible
en grande surface

et utiliser facilement.

À ce stade,

les gens qui découvrent notre travail,

pensent souvent à la surveillance.

En étant honnête,
ce n'est pas difficile d'imaginer

comment utiliser cette technologie
pour espionner autrui.

Mais il y a déjà sur le marché
beaucoup de technologies matures

dans le domaine de la surveillance.

On utilise des lasers

pour intercepter des conversations
via des objets, depuis des décennies.

Ce qui est fondamentalement nouveau ici,

et qui distingue notre technologie,

c'est notre capacité à percevoir
les vibrations des objets.

Ça nous donne un nouvel objectif
pour observer le monde.

Et on peut l'utiliser

pour étudier les forces comme le son
qui causent des vibrations sur un objet,

mais on peut aussi
étudier l'objet lui-même.

Je vais prendre un peu de recul

pour réfléchir en quoi ça peut modifier
les manières dont nous utilisons la vidéo.

En général, on utilise la vidéo
pour regarder des choses.

Mais je viens de vous montrer
comment l'utiliser

pour écouter des choses.

Il y a une autre manière importante
d'étudier le monde :

en interagissant avec lui.

On appuie, on tire,
ou donne des petits coups sur les objets.

On peut les secouer
et voir ce qui se passe.

La vidéo ne nous permet pas encore
de faire tout ça.

En tout cas, de manière traditionnelle.

Je vous montre mes nouveaux travaux.

Ils reposent sur une idée que j'ai eue
il y a quelques mois.

C'est la première fois
que je les dévoile en public.

L'idée de base est d'utiliser
les vibrations dans la vidéo

pour saisir des objets
de manière à interagir avec eux,

et voir comment ils réagissent.

Voilà un objet.

C'est une statue en fil de fer,
qui a la forme d'un humain.

On va la filmer avec une caméra normale.

La caméra n'a rien de spécial.

J'ai même essayé avec la caméra
de mon smartphone.

Nous voulons observer
les vibrations de l'objet.

Et pour cela,

on va donner des petits coups
sur la surface où elle est déposée,

pendant l'enregistrement.

C'est tout. 5 secondes de vidéo normale,

on donne des coups sur le plan,

et on va utiliser les vibrations
enregistrées par la vidéo

pour étudier les propriétés
structurelles et matérielles de l'objet.

On va ensuite les utiliser pour créer
quelque chose de neuf et interactif.

En voici le résultat.

On dirait une image normale.

Mais ce n'est pas le cas.
Ce n'est pas non plus une vidéo,

parce que maintenant,
je peux prendre ma souris,

et interagir avec l'objet.

Ce que vous voyez ici,

c'est une simulation
des réactions de cet objet

lorsqu'il subit des forces
qu'on n'a pas encore vues.

Nous avons créé cela
à partir d'une vidéo de 5 secondes.

(Applaudissements)

C'est un moyen puissant
d'observer le monde,

parce qu'il nous permet de prédire
comment les objets vont réagir

dans des situations nouvelles.

On pourrait imaginer, par exemple,
regarder un vieux pont,

en se demandant ce qui va se passer,
quand je vais le traverser en voiture.

Le pont va-t-il supporter ce poids ?

Et vous vous poseriez cette question,
sans doute,

avant de devoir traverser
un tel vieux pont.

Bien entendu,
la technologie a ses limites,

tout comme celle
avec le microphone visuel.

Mais nous avons constaté
que ça fonctionne dans beaucoup de cas,

même des cas inattendus,

surtout si on utilise
des vidéos plus longues.

Par exemple,
voici une de mes vidéos.

C'est un arbuste
à côté de mon appartement.

Je n'ai pas touché à l'arbuste.

J'ai pris une vidéo d'une minute.

Un vent léger a provoqué
suffisamment de vibrations

pour nous permettre
de développer cette simulation.

(Applaudissements)

On pourrait aussi imaginer
qu'un réalisateur

utilise cette technique pour contrôler,
par exemple,

la force ou la direction du vent
après avoir tourné la scène.

Dans ce cas-ci,
on a filmé une tenture.

Il n'y a aucun mouvement perceptible
dans cette vidéo.

Mais un enregistrement de deux minutes,

a permis d'analyser suffisamment
de mouvements imperceptibles

causés par des courants d'air
naturels dans la pièce

pour créer cette simulation.

Paradoxalement,

on est habitué à ce genre d'interactions

avec des objets virtuels,

dans les jeux vidéo ou les modèles 3D.

Mais pouvoir capter des informations
sur des objets réels, dans le monde réel

en utilisant une vidéo normale,

est quelque chose de tout à fait innovant,
avec un grand potentiel.

Voici les membres formidables
qui ont contribué à ces projets.

(Applaudissements)

Ce que je vous ai montré aujourd'hui
n'est que le début.

On vient juste de commencer

à découvrir ce qui est possible
de réaliser avec ce genre d'images.

Ça nous donne de nouvelles méthodes

pour filmer notre environnement
avec des technologies accessibles.

À l'avenir,

ces technologies pourront nous enseigner

des choses fascinantes sur le monde.

Merci.

(Applaudissements)