Neue Video-Technologie enthüllt versteckte Eigenschaften von Objekten

Um uns herum gibt es ständig kaum sichtbare Bewegungen, wie z. B. winzige Schwingungen, die durch Schall verursacht werden. Eine neue Technologie zeigt, dass wir diese Schwingungen aufzeichnen und Töne und Gespräche wiederherstellen können, und das nur aus einem Video eines scheinbar unbewegten Gegenstandes. Aber Abe Davis geht noch einen Schritt weiter: Sehen Sie sich seine Demonstration einer Software an, die jeden nur durch ein ganz normales Video mit versteckten Eigenschaften eines Objekts interagieren lässt.

Die meisten halten Bewegung
für etwas Visuelles.

Wenn ich über diese Bühne laufe

oder beim Sprechen
Gesten mit den Händen mache,

ist das eine Bewegung,
die Sie sehen können.

Aber es gibt wichtige Bewegungen,
die das menschliche Auge nicht sieht.

In den letzten paar Jahren
haben wir herausgefunden,

dass Kameras diese
Bewegungen sehen können,

auch wenn es die Menschen nicht können.

Ich möchte Ihnen zeigen,
was ich meine.

Links sehen Sie
das Video eines Handgelenks

und rechts das Video
eines schlafenden Kleinkinds,

aber wenn ich Ihnen nicht gesagt hätte,
dass das Videos sind,

hätten Sie vielleicht angenommen,
Sie würden zwei normale Bilder anschauen,

denn in beiden Fällen

scheinen diese Videos
völlig still zu stehen.

Aber in Wirklichkeit ist hier jede Menge
subtile Bewegung im Gange

und wenn Sie das Handgelenk
links berühren könnten,

dann würden Sie den Pulsschlag spüren,

und wenn Sie das Kleinkind
rechts halten würden,

dann würden Sie das Heben
seiner Brust spüren,

wenn es atmet.

Diese Bewegungen sind
von großer Bedeutung,

aber normalerweise
für uns nicht sichtbar.

Also müssen wir sie

durch direkten Kontakt,
durch Berührung, feststellen.

Aber vor ein paar Jahren

haben meine Kollegen am MIT

ein sogenanntes
Bewegungs-Mikroskop entwickelt,

eine Software, die diese subtilen
Bewegungen in einem Video finden

und verstärken kann, sodass sie groß genug
für das menschliche Auge sind.

Wenn wir also diese Software
auf das Video links anwenden,

können wir den Pulsschlag
am Handgelenk erkennen

und wenn wir den Puls zählen würden,

könnten wir sogar die Herzfrequenz
dieser Person herausfinden.

Wenn wir die Software
auf das Video rechts anwenden würden,

können wir jeden Atemzug erkennen,
den das Kleinkind macht,

und wir könnten ohne Berührung
seine Atmung überwachen.

Diese Technologie ist sehr beeindruckend,
da wir diese Phänomene,

die wir bisher durch
Berührung erfahren mussten,

nun visuell non-invasiv erfassen können.

Vor ein paar Jahren begann ich, mit
den Erfindern der Software zu arbeiten

und wir beschlossen,
eine verrückte Idee zu verfolgen.

Wir fanden es cool,
mit Hilfe einer Software

winzige Bewegungen wie diese
sichtbar zu machen

und es beinahe als eine Erweiterung
unseres Tastsinnes zu sehen.

Aber könnten wir auch das Gleiche
mit unserem Hörvermögen machen?

Was, wenn wir mit einem Video
Schallschwingungen aufzeichnen könnten,

die einfach eine andere Form
von Bewegung sind,

und alles was wir sehen,
in ein Mikrofon verwandeln?

Das mag eine seltsame Idee sein,

also möchte ich
den Zusammenhang erklären.

Klassische Mikrofone konvertieren Bewegung

einer inneren Membran
in ein elektrisches Signal.

Diese Membran
bewegt sich bei jedem Laut,

sodass seine Bewegung
als Ton aufgezeichnet werden kann.

Aber Schall regt alle Gegenstände
zur Vibration an.

Diese Vibrationen sind gewöhnlich zu
subtil und schnell für unser Auge.

Was aber, wenn wir sie mit einer
Hochgeschwindigkeitskamera aufzeichnen

und eine Software benutzen,
um winzige Bewegungen

aus unserem Video zu entnehmen

und diese Bewegungen zu analysieren,
um den auslösenden Ton zu entdecken?

So könnten wir sichtbare Gegenstände
in visuelle Mikrofone umwandeln.

Also wir haben wir das ausprobiert

und das war eines unserer Experimente.

Wir filmten eine Topfpflanze,
die Sie hier rechts sehen,

mit einer Hochgeschwindigkeitskamera,

während aus einem Lautsprecher
das folgende Lied spielte:

(Musik: "Mary Had a Little Lamb")

Das ist das Video,
das wir aufgezeichnet haben.

Wir haben es mit 1 000 Bildern
pro Sekunde aufgezeichnet,

aber selbst wenn Sie
sehr genau hinschauen,

sehen sie nur ein paar Blätter,

die einfach dort sind und nichts tun,

weil unser Schall diese Blätter
gerade mal einen Mikrometer bewegt hat.

Das ist ein Zehntausendstel
eines Zentimeters,

das umfasst etwas zwischen einem
Hundertstel und einem Tausendstel Pixel

in diesem Bild.

Sie können also so viel blinzeln
wie Sie wollen,

aber diese kleine Bewegung
ist so gut wie unsichtbar.

Aber in Wahrheit kann etwas unsichtbar

und dennoch numerisch bedeutend sein,

denn mit den richtigen Algorithmen

können wir bei diesem stummen,
scheinbar bewegungslosen Video

den Ton wiederherstellen.

(Musik: "Mary Had a Little Lamb")

(Applaus)

Wie ist das möglich?

Wie können wir so viele Informationen
aus so wenig Bewegung herausbekommen?

Nehmen wir an, dass diese Blätter sich
nur einen einzigen Mikrometer bewegen

und dass das unser Bild nur
um ein tausendstel Pixel bewegt.

Das mag nicht viel erscheinen,

doch ein einziges Bild eines Videos

besteht aus hunderttausenden Pixeln

und wenn wir all diese
winzigen Bewegungen

aus dem ganzen Bild kombinieren,

kann sich ein tausendstel Pixel auf einmal

zu etwas Bedeutendem aufaddieren.

Ehrlich gesagt waren wir bei
dieser Entdeckung völlig aus dem Häuschen.

(Gelächter)

Aber sogar mit dem richtigen Algorithmus

fehlte uns immer noch
ein sehr wichtiges Puzzlestück.

Es gibt sehr viele Parameter,
die einen Einfluss darauf haben,

wie gut diese Technik funktioniert.

Es hängt von dem Gegenstand
und seiner Entfernung ab,

von der Kamera und der benutzten Linse,

wie viel Licht auf den Gegenstand fällt
und wie laut der Ton ist.

Und sogar mit dem richtigen Algorithmus

mussten wir sehr vorsichtig
in unseren ersten Experimenten sein,

denn bei nur einem falsch
eingestellten Parameter

gibt es keine Möglichkeit,
die Fehlerquelle zu finden.

Wir hätten nur Rauschen gehört.

Viele unserer ersten
Experimente sahen so aus.

Hier bin ich

und unten links können Sie unsere
Hochgeschwindigkeitskamera sehen,

die auf eine Tüte Chips zeigt

und das Ganze wird
mit hellen Lampen beleuchtet.

Wie bereits gesagt, mussten wir
zu Beginn sehr vorsichtig sein,

und so ging es dann weiter:

(Video) Abe Davis: 3, 2, 1, los.

Mary had a little lamb!
Little lamb! Little lamb!

(Gelächter)

Dieses Experiment
sieht völlig lächerlich aus.

(Gelächter)

Also, ich schreie eine Tüte Chips an --

(Gelächter)

und wir strahlen sie mit so viel Licht an,

dass wir die erste Tüte buchstäblich
geschmolzen haben.

Aber so lächerlich das Experiment scheint,

es war tatsächlich sehr wichtig,

denn wir waren in der Lage,
diese Laute wiederherzustellen.

(Ton) Mary had a little lamb!
Little lamb! Little lamb!

(Applaus)

Das war sehr bedeutend,

weil wir zum ersten Mal
eine verständliche menschliche Sprache

aus einem stummen Video eines Gegenstandes
wiederherstellen konnten.

Das gab uns einen Anhaltspunkt

und wir konnten das Experiment
schrittweise verändern,

indem wir andere Gegenstände benutzten
oder sie weiter weg bewegten

und weniger Licht
oder leisere Töne benutzten.

Wir analysierten alle diese Experimente,

bis wir die Grenzen
unserer Technik begriffen,

denn dann wussten wir,
wie wir sie überschreiten konnten.

Das führte zu folgendem Experiment,

bei dem ich wieder
zu einer Tüte Chips spreche,

aber dieses Mal haben wir die Kamera
etwa 5 Meter wegbewegt,

nach draußen hinter
eine schalldichte Scheibe

und das Ganze wird nur
von Sonnenlicht beleuchtet.

Hier das Video,
das wir aufgezeichnet haben.

So hat es sich in der Nähe
der Tüte Chips angehört:

(Ton) Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

AD: Das haben wir aus dem
stummen Video wiedergewonnen,

das wir außerhalb des Fensters
aufgezeichnet hatten.

(Ton) Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

(Applaus)

AD: Es gibt noch andere Möglichkeiten,
die Grenzen zu erweitern.

Das ist ein ruhigeres Experiment,

bei dem wir Kopfhörer filmten,

die in einen Laptop eingesteckt waren,

mit dem Ziel, die Musik wieder
herzustellen, die auf dem Laptop lief,

nur von diesem stummen Video

dieser zwei Mini-Kopfhörer.

Auch das gelang uns so gut,

dass das Ergebnis sogar von
einer Musiksoftware erkannt wurde.

(Gelächter)

(Musik: "Under Pressure" von Queen)

(Applaus)

Wir können die Dinge vorantreiben,
in dem wir die Hardware ändern.

Denn die bisher gezeigten Experimente

waren mit einer
Hochgeschwindigkeitskamera aufgezeichnet,

die ein Video 100-mal schneller
aufzeichnen kann

als die meisten Handys,

aber wir haben auch einen Weg gefunden,

diese Technik mit
normaleren Kameras zu nutzen.

Wir nutzen den sogenannten
Rolling-Shutter-Effekt aus.

Die meisten Kameras zeichnen
Bilder zeilenweise auf

und wenn sich ein Objekt
gleichzeitig bewegt,

gibt es eine kurze Verzögerung
zwischen den einzelnen Zeilen,

was leichte Bildstörungen verursacht,

die in den Einzelbildern
eines Videos kodiert werden.

Wir fanden heraus, dass wir beim
Analysieren der Bildstörungen

den Ton mit einem angepassten Algorithmus
wiederherstellen können.

Das ist unser Experiment,

bei dem wir eine Tüte
Süßigkeiten gefilmt haben,

während ein Lautsprecher das Lied

"Mary Had a Little Lamb" spielte.

Aber dieses Mal benutzen wir
nur eine alltägliche Kamera

und ich werde Ihnen den Klang vorspielen,
den wir wiederherstellen konnten.

Es wird dieses Mal verzerrt klingen,

aber vielleicht können Sie
das Lied noch erkennen.

(Ton: "Mary Had a Little Lamb")

Zugegeben, es klingt verzerrt,

aber das Beeindruckende hier ist,

dass wir das mit Geräten gemacht haben,

die Sie ganz normal in einem
Elektronik-Fachgeschäft kaufen können.

An dieser Stelle

sehen viele Leute diese Arbeit

und denken sofort an Überwachung.

Und um ehrlich zu sein,
ist es leicht vorstellbar,

wie man diese Technik
zum Ausspionieren nutzen könnte.

Aber Sie sollten bedenken,

dass es bereits sehr gute
Überwachungstechniken gibt.

Tatsächlich benutzt man
schon seit Jahrzehnten Laser,

um Objekte aus Entfernung abzuhören.

Aber wirklich neu und anders
an dieser Technik ist,

dass wir die Vibrationen eines
Gegenstandes verbildlichen können,

was uns eine neue Linse gibt,
durch die wir die Welt betrachten können.

Mit dieser Linse können wir

nicht mehr nur über Kräfte wie Schall
lernen, die Gegenstände vibrieren lassen,

sondern auch mehr
über den Gegenstand selbst.

Deshalb möchte ich
einen Schritt zurückgehen

und darüber nachdenken,

wie das unsere Nutzung von Videos
verändern könnte.

Normalerweise verwenden wir Videos,
um Dinge anzuschauen,

und ich habe Ihnen gerade gezeigt,

wie wir mit ihnen Dingen zuhören können.

Aber wir lernen auch viel über die Welt,

indem wir mit ihr interagieren.

Wir ziehen, drücken,
stoßen und stupsen Dinge.

Wir schütteln Dinge und
warten ab, was passiert.

Mit einem Video können wir das nicht tun,

zumindest nicht bisher.

Deshalb möchte ich Ihnen
unsere neuste Arbeit zeigen,

die auf einer Idee basiert, die
ich vor wenigen Monaten hatte

und hier zum ersten Mal
in der Öffentlichkeit zeige.

Die Grundidee ist, dass wir die
Vibrationen in einem Video nutzen,

um Objekte so aufzuzeichnen,
dass wir mit ihnen interagieren können

und sehen, wie sie auf uns reagieren.

Das hier ist ein Gegenstand,

in diesem Fall eine
menschenförmige Drahtfigur,

und wir zeichnen den Gegenstand
mit einer normalen Kamera auf.

Die Kamera ist nichts Besonderes.

Um ehrlich zu sein, habe ich das zuvor
mit meiner Handykamera gemacht.

Aber wir wollen den Gegenstand
schwingen sehen,

deshalb schlagen wir einfach leicht
auf die Oberfläche, auf der er steht,

während wir das Video aufzeichnen.

Das ist alles: fünf Sekunden
eines normalen Videos,

während wir auf die Oberfläche schlagen

und wir nutzen
die Schwingungen im Video,

um etwas über die Eigenschaften
unseres Gegenstandes zu lernen,

und mit diesen Informationen schaffen wir
etwas Neues und Interaktives.

Das ist dabei herausgekommen.

Es sieht wie ein gewöhnliches Bild aus,

aber es ist weder ein Bild noch ein Video,

denn ich kann jetzt meine Maus nehmen

und anfangen, mit dem Gegenstand
zu interagieren.

Hier sehen Sie eine Simulation,

wie dieses Objekt auf
neue Kräfte reagieren würde,

auf die es noch nie getroffen ist,

und all das haben wir nur aus
diesem 5-Sekunden-Video geschaffen.

(Applaus)

Dieser Blick auf die Welt
gibt uns viele Möglichkeiten,

denn er erlaubt uns vorherzusagen,

wie Gegenstände auf
neue Situationen reagieren werden.

Es ist vorstellbar, dass man sich
bei einer alten Brücke fragt,

was passieren würde,
wie sie standhalten würde,

wenn ich mit meinem Auto darüber fahre.

Auf diese Frage wüssten Sie
vermutlich gerne die Antwort,

bevor Sie über die Brücke fahren.

Natürlich wird diese Technik
ihre Grenzen haben,

genauso wie bei dem visuellen Mikrofon,

aber wir fanden heraus, dass es
in vielen Situationen funktioniert,

in denen man es nicht erwarten würde,

besonders wenn man längere Videos benutzt.

Das ist zum Beispiel ein Video,

das ich von einem Busch vor
meiner Wohnung gefilmt habe,

und ich habe nichts mit dem Busch gemacht,

außer dass ich ein einminütiges Video
aufgezeichnet habe.

Ein leichtes Lüftchen hat genug
Schwingungen verursacht,

dass wir genug Informationen hatten,
um diese Simulation zu erstellen.

(Applaus)

Man könnte nun das Video
einem Filmregisseur geben,

damit er die Stärke und
Richtung des Windes

nach einer Aufnahme steuern kann.

Oder in diesem Fall hier richteten
wir unsere Kamera auf einen Vorhang

und man kann überhaupt
keine Bewegung im Video erkennen,

aber während des zweiminütigen Videos

sorgte normale Luftzirkulation
für ausreichend subtile,

nicht wahrnehmbare
Bewegungen und Schwingungen,

dass wir genug Informationen hatten,
um diese Simulation zu kreieren.

Und ironischerweise

sind wir es gewöhnt,
diese Art der Interaktion

bei virtuellen Gegenständen zu erleben,

zum Beispiel in Videospielen
und 3D-Modellen,

aber diese Informationen von einem
Gegenstand in der wirklichen Welt

mit einem gewöhnlichen Video
aufzuzeichnen,

ist etwas Neues mit viel Potential.

Das hier sind die beeindruckenden Leute,

die mit mir an diesen Projekten
gearbeitet haben.

(Applaus)

Was ich Ihnen heute gezeigt habe,
ist nur der Anfang.

Wir haben gerade begonnen,
an der Oberfläche dessen zu kratzen,

was man mit dieser Art der
Bildverarbeitung machen kann,

da sie uns eine neue Möglichkeit bietet,

unsere Umgebung mit
gewöhnlicher Technik aufzuzeichnen.

Mit Blick auf die Zukunft

wird es sehr aufregend sein zu entdecken,

was uns das über die Welt sagen kann.

Danke.

(Applaus)