Nieuwe videotechnologie die de verborgen eigenschappen van voorwerpen zichtbaar maakt.

Subtiele bewegingen gebeuren de hele tijd rondom ons, met inbegrip van de kleine trillingen veroorzaakt door geluid. Nieuwe technologie laat zien dat we via opnames van deze trillingen, geluid en gesprekken kunnen her-creëeren, enkel op basis van een schijnbaar onbeweeglijk voorwerp. Maar Abe Davis gaat nog een stap verder: zie hoe hij software demonstreert waardoor iedereen met deze verborgen eigenschappen kan interageren, op basis van een eenvoudige video.

De meesten zien beweging
als iets zeer visueels.

Als ik over dit podium loop
of met mijn handen gebaar,

dan kan je die beweging zien.

Maar heel veel bewegingen

zijn te subtiel voor het menselijk oog.

In de afgelopen jaren

merkten we dat camera's

deze beweging vaak waarnemen,
zelfs wanneer de mens dat niet kan.

Dit is wat ik bedoel.

Links zie je een video
van iemands pols,

rechts een video van een slapend kind,

maar als ik je niet zou vertellen
dat dit video's waren,

zou je kunnen denken
dat je gewone foto’s zag,

omdat in beide gevallen

er bijna geen beweging
te zien is in beide video's.

Maar er is eigenlijk
een heleboel subtiele beweging gaande.

Als je de pols links zou aanraken,

zou je hem voelen kloppen.

Bij het kind rechts

zou je de borst voelen stijgen en dalen

bij elke ademhaling.

Deze bewegingen zitten vol met informatie,

die meestal zo subtiel is,
dat we ze niet kunnen zien.

Daarom nemen we ze waar

door direct contact,
door middel van aanraking.

Maar een paar jaar geleden,

hebben mijn collega's aan het MIT
een ‘bewegingsmicroscoop’ ontwikkeld.

Dat is software die deze subtiele
bewegingen in video vindt

en versterkt zodat we ze kunnen zien.

Met hun software

kunnen we het kloppen van de pols zien.

Als we het kloppen tellen,

kennen we zelfs de hartslag
van deze persoon.

Met dezelfde software
kunnen we op de video rechts

de ademhaling van dit kind zien

en zonder fysisch contact
haar ademhaling controleren.

Deze technologie is echt krachtig,
want ze kan deze fenomenen,

die we normaal
ervaren door aanraking,

visueel en ongestoord vastleggen.

Een paar jaar geleden begon ik te werken
met de mensen die die software creëerden.

We besloten
een gek idee uit te werken.

We vonden het cool
om software te gebruiken

om kleine bewegingen
als deze te visualiseren

als een manier
om onze tastzin uit te breiden.

Maar wat als we datzelfde
konden doen met ons gehoor?

Wat als we video konden gebruiken
om geluidstrillingen op te nemen --

immers ook een soort beweging --

zodat we van alles wat we zien
een 'microfoon' konden maken.

Dat is een beetje een raar idee,

dus laat me dat uitleggen.

Traditionele microfoons werken
door het omzetten van de beweging

van een intern membraan
in een elektrisch signaal.

Dat membraan is ontworpen
om gemakkelijk te bewegen met geluid,

zodat de beweging
kan worden geregistreerd

en geïnterpreteerd als audio.

Maar geluid laat alle objecten trillen.

Die trillingen zijn meestal te subtiel
en te snel voor ons om te zien.

Wat als we ze opnemen
met een hogesnelheidscamera

en dan software gebruiken
om de kleine bewegingen

te halen uit onze hogesnelheidsvideo,

en die bewegingen analyseren
om de geluiden te achterhalen

die ze veroorzaakten?

Dan kunnen we zichtbare objecten

op afstand gebruiken
als visuele microfoons.

Dit hebben we uitgeprobeerd.

Hier is een van onze experimenten:

we filmden deze plant daar rechts

met een hogesnelheidscamera,

terwijl een luidspreker in de buurt
dit geluid speelde.

(Muziek: 'Mary Had a Little Lamb')

Hier is de video die we opnamen

met duizenden frames per seconde.

Maar zelfs als je heel goed kijkt,

is alles wat je ziet enkele bladeren...

... zonder veel actie. (Gelach)

Ons geluid verplaatst die bladeren
slechts ongeveer één micrometer.

Dat is één tienduizendste
van een centimeter,

ergens tussen een honderdste
en een duizendste

van een pixel in dit beeld.

Je kunt dus nóg zo goed turen,

die beweging is te klein
om zichtbaar te zijn.

Maar het blijkt
dat iets niet te zien kan zijn

en toch numeriek significant.

Want met de juiste algoritmen

kunnen we uit deze stille,
schijnbaar stille video

dit geluid herleiden.

(Muziek: 'Mary Had a Little Lamb')

(Applaus)

Hoe is dat mogelijk?

Hoe halen we zo veel informatie
uit zo weinig beweging?

Stel dat die bladeren
slechts één enkele micrometer uitwijken,

en het beeld slechts één duizendste
van een pixel verschuift.

Dat lijkt misschien niet veel,

maar één enkel videoframe

kan honderdduizenden pixels bevatten.

Als we al die kleine bewegingen combineren

van dat complete beeld,

kan een duizendste
van een pixel ineens

iets heel significants opleveren.

Even terzijde: we waren
behoorlijk in onze nopjes

toen we dit hadden uitgeknobbeld.

(Gelach)

Maar zelfs met het juiste algoritme

misten we nog steeds
een vrij belangrijk stuk van de puzzel.

Veel factoren zijn van invloed
op wanneer en hoe goed

deze techniek werkt:

het object en hoe ver het is,

de camera en de lens,

hoeveel licht op het object valt
en hoe hard het geluid is.

En zelfs met het juiste algoritme

moesten we zeer zorgvuldig zijn
bij onze vroege experimenten,

want als een van deze factoren
verkeerd zat,

was er geen manier om te zien
wat het probleem was.

We kregen dan alleen lawaai terug.

Veel van onze vroege experimenten
zagen er zo uit.

Hier ben ik

en linksonder zie je
onze hogesnelheidscamera,

gericht op een zak chips,

en de hele zaak wordt verlicht
door sterke lampen.

We moesten zorgvuldig zijn
bij deze vroege experimenten,

dus ging het zo.

(Video) Abe Davis: Drie, twee, een, start!

Mary had a little lamb!
Little lamb! Little lamb!

(Gelach)

AD: Dit experiment
lijkt volstrekt belachelijk.

(Gelach)

Ik bedoel, ik sta te schreeuwen
tegen een zak chips -

(Gelach) -

en we bestraalden hem met zoveel licht,

dat de eerste zak letterlijk smolt.
(Gelach)

Maar hoe belachelijk
dit experiment ook lijkt,

het was eigenlijk heel belangrijk,

omdat we dit geluid
konden herstellen.

(Audio) Mary had a little lamb!
Little lamb! Little lamb!

(Applaus)

AD: En dit was echt belangrijk,

want het was de eerste keer dat we

begrijpelijke menselijke
spraak terugwonnen

van een video zonder geluid
van een object.

Dit gaf ons een referentiepunt,

en geleidelijk aan konden we
het experiment wijzigen,

met verschillende voorwerpen
of van verder weg,

met minder licht of zachtere geluiden.

We analyseerden al deze proeven

totdat we de grenzen
van onze techniek vonden.

Want zodra we die grenzen vonden,

konden we achterhalen
hoe we ze konden oprekken.

Dat leidde tot experimenten zoals dit.

Ik sprak nog eens
tegen een zak chips,

maar dit keer met onze camera
ongeveer 5 meter er vandaan,

buiten, achter een geluiddicht raam,

en alles alleen belicht
met natuurlijk zonlicht.

Hier is de video daarvan.

Zo klonk het binnen, bij de zak chips.

(Audio) Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

AD: Hier is wat we
uit onze stille video konden terugwinnen

van achter dat raam.

(Audio) Mary had a little lamb!
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

(Applaus)

AD: Er zijn ook andere manieren
om deze grenzen te verleggen.

Hier is een rustiger experiment:

we filmden wat oordopjes
aangesloten op een laptop.

We wilden de muziek opnemen
die op die laptop speelde,

uit de video zonder geluid

van die twee kleine plastic oordopjes.

We deden het zo goed

dat we onze resultaten
konden ‘shazammen’.

(Gelach)

(Muziek: 'Under Pressure' van Queen)

(Applaus)

We kunnen het resultaat
ook verbeteren via de hardware.

De experimenten die ik jullie
tot nu toe heb laten zien

deden we met een hogesnelheidscamera.

Die kan ongeveer 100 keer
sneller video opnemen

dan de meeste mobiele telefoons,

maar we hebben ook een manier gevonden
om deze techniek te gebruiken

met gewonere camera’s.

We doen dat door gebruik te maken
van wat een ‘gordijnsluiter’ heet.

De meeste camera's leggen
beelden rij voor rij vast.

Als een object tijdens de opname
van één enkel beeld beweegt,

is er een kleine vertraging
tussen elke rij,

en dit veroorzaakt lichte artefacten

in elk afzonderlijk videoframe.

Door het analyseren van deze artefacten,

kunnen we zelfs geluid herstellen

met een aangepaste versie
van ons algoritme.

Hier weer een experiment.

We filmden een zak snoep

terwijl een luidspreker in de buurt

'Mary Had a Little Lamb' speelde.

Maar dit keer gebruikten we
een normale camera uit de winkel.

Ik laat het jullie dadelijk horen.

Het zal wat vervormd zijn,

maar luister om te zien of je de muziek
nog steeds kunt herkennen.

(Audio: 'Mary Had a Little Lamb')

Het klinkt vervormd,

maar het geweldige eraan is
dat we het doen

met spullen uit de eerste de beste winkel.

Dit brengt de meeste mensen

op het idee van bewaking. (Gelach)

Om eerlijk te zijn,
je kan je best voorstellen

hoe je deze technologie kan gebruiken
om iemand te bespioneren.

Maar bedenk dat er al heel veel
goed ontwikkelde technologie

voor surveillance bestaat.

In feite hebben mensen al decennia lang

lasers op objecten gericht
om op afstand af te luisteren.

Maar wat hier echt nieuw is,

echt anders,

is dat we nu een manier hebben
om trillingen van een object op te nemen.

Dat geeft ons een nieuwe lens
om te kijken naar de wereld.

We kunnen die lens gebruiken

om niet alleen iets
te leren over krachten

als geluid die een object laten trillen,

maar ook over het object zelf.

Ik wil een stap terug doen

en nadenken over nieuwe manieren
om video te gebruiken.

Meestal gebruiken we video
om naar dingen te kijken,

maar ik toonde hoe we het kunnen gebruiken

om naar dingen te luisteren.

Er is een andere belangrijke manier
waarop we leren over de wereld:

door interactie ermee.

We duwen en trekken en porren dingen.

We schudden dingen
en zien wat er gebeurt.

Dat is iets dat video nog steeds niet kan,

althans niet de traditionele video.

Ik toon je wat nieuw werk,

gebaseerd op een idee dat ik
net een paar maanden geleden had.

Het is de eerste keer
dat ik ermee voor een publiek kom.

We gaan trillingen in een video gebruiken

om objecten zo vast te leggen,
dat we met ze kunnen interageren

en zie hoe ze op ons reageren.

Hier zie je een voorwerp,

in dit geval een draadfiguur
gevormd als mens.

We gaan dat object filmen
met een gewone camera.

Er is niets bijzonders aan deze camera.

Ik deed het al met mijn mobiele telefoon.

Maar we willen het object zien trillen.

Daarom kloppen we wat
op het oppervlak waarop het staat

terwijl we deze video opnemen.

Dat is alles:
slechts vijf seconden gewone video,

terwijl we op het oppervlak kloppen.

We gaan de trillingen
in die video gebruiken

om iets te leren over de structurele
en materiaaleigenschappen van ons object,

en we gaan die informatie gebruiken
om iets nieuws en interactiefs te maken.

Dit is het resultaat.

Het ziet eruit als een gewone afbeelding,

maar dit is geen beeld, ook geen video,

want nu kan ik met mijn muis

gaan interageren met het object.

Wat je hier ziet

is een simulatie van hoe dit object

zou reageren op nieuwe krachten
die we nog nooit eerder hebben gezien,

en dat met slechts
vijf seconden gewone video.

(Applaus)

Dit is een krachtige manier
om naar de wereld te kijken.

Het laat ons voorspellen
hoe objecten zullen reageren

in nieuwe situaties:

bijvoorbeeld hoe een oude brug

zich zal gaan gedragen

als ik er met mijn auto over zou rijden.

Dat wil je waarschijnlijk wel weten

voordat je over die brug gaat rijden.

Deze techniek heeft
natuurlijk zijn beperkingen

net zoals de visuele microfoon,

maar we merkten
dat het in veel situaties werkt

waar je dat niet zou verwachten,

vooral als je langere video's maakt.

Hier is een video die ik opnam

van een struik bij mijn appartement.

Ik deed niets met de struik,

maar met een video van één minuut

en een zacht briesje
dat genoeg trillingen veroorzaakte,

leerden we genoeg over deze struik
om deze simulatie te maken.

(Applaus)

Je kan je voorstellen
wat een filmregisseur

hiermee kan doen,

als hij de kracht en de richting
van de wind

in een opname achteraf kan bepalen.

Hier richtten we de camera
op een hangend gordijn.

Je ziet zelfs geen beweging in deze video,

maar tijdens het opnemen
van twee minuten video,

veroorzaakten natuurlijke luchtstromen
in deze kamer

genoeg subtiele, onmerkbare
bewegingen en trillingen

dat we daarmee
deze simulatie konden creëren.

Ironisch genoeg

zijn we al gewend
aan dit soort interactiviteit

met virtuele objecten,

als het gaat om videogames en 3D-modellen.

Maar deze informatie van echte objecten
in de echte wereld kunnen vastleggen

met slechts eenvoudige, gewone video,

is iets nieuws
dat veel mogelijkheden biedt.

Hier zijn de fantastische mensen
die met mij

hebben samengewerkt aan deze projecten.

(Applaus)

Wat ik vandaag heb laten zien,
is slechts het begin,

een peulenschil

vergeleken met wat je kunt doen
met dit soort beeldvorming.

Het geeft ons een nieuwe manier

om onze omgeving met gewone,
toegankelijke technologie vast te leggen.

Als we naar de toekomst kijken,

is het interessant om te zien

wat dit ons kan vertellen
over onze wereld.

Dankjewel.

(Applaus)