De meesten zien beweging als iets zeer visueels.
Als ik over dit podium loop of met mijn handen gebaar,
dan kan je die beweging zien.
Maar heel veel bewegingen
zijn te subtiel voor het menselijk oog.
In de afgelopen jaren
merkten we dat camera's
deze beweging vaak waarnemen, zelfs wanneer de mens dat niet kan.
Dit is wat ik bedoel.
Links zie je een video van iemands pols,
rechts een video van een slapend kind,
maar als ik je niet zou vertellen dat dit video's waren,
zou je kunnen denken dat je gewone foto’s zag,
omdat in beide gevallen
er bijna geen beweging te zien is in beide video's.
Maar er is eigenlijk een heleboel subtiele beweging gaande.
Als je de pols links zou aanraken,
zou je hem voelen kloppen.
Bij het kind rechts
zou je de borst voelen stijgen en dalen
bij elke ademhaling.
Deze bewegingen zitten vol met informatie,
die meestal zo subtiel is, dat we ze niet kunnen zien.
Daarom nemen we ze waar
door direct contact, door middel van aanraking.
Maar een paar jaar geleden,
hebben mijn collega's aan het MIT een ‘bewegingsmicroscoop’ ontwikkeld.
Dat is software die deze subtiele bewegingen in video vindt
en versterkt zodat we ze kunnen zien.
Met hun software
kunnen we het kloppen van de pols zien.
Als we het kloppen tellen,
kennen we zelfs de hartslag van deze persoon.
Met dezelfde software kunnen we op de video rechts
de ademhaling van dit kind zien
en zonder fysisch contact haar ademhaling controleren.
Deze technologie is echt krachtig, want ze kan deze fenomenen,
die we normaal ervaren door aanraking,
visueel en ongestoord vastleggen.
Een paar jaar geleden begon ik te werken met de mensen die die software creëerden.
We besloten een gek idee uit te werken.
We vonden het cool om software te gebruiken
om kleine bewegingen als deze te visualiseren
als een manier om onze tastzin uit te breiden.
Maar wat als we datzelfde konden doen met ons gehoor?
Wat als we video konden gebruiken om geluidstrillingen op te nemen --
immers ook een soort beweging --
zodat we van alles wat we zien een 'microfoon' konden maken.
Dat is een beetje een raar idee,
dus laat me dat uitleggen.
Traditionele microfoons werken door het omzetten van de beweging
van een intern membraan in een elektrisch signaal.
Dat membraan is ontworpen om gemakkelijk te bewegen met geluid,
zodat de beweging kan worden geregistreerd
en geïnterpreteerd als audio.
Maar geluid laat alle objecten trillen.
Die trillingen zijn meestal te subtiel en te snel voor ons om te zien.
Wat als we ze opnemen met een hogesnelheidscamera
en dan software gebruiken om de kleine bewegingen
te halen uit onze hogesnelheidsvideo,
en die bewegingen analyseren om de geluiden te achterhalen
die ze veroorzaakten?
Dan kunnen we zichtbare objecten
op afstand gebruiken als visuele microfoons.
Dit hebben we uitgeprobeerd.
Hier is een van onze experimenten:
we filmden deze plant daar rechts
met een hogesnelheidscamera,
terwijl een luidspreker in de buurt dit geluid speelde.
(Muziek: 'Mary Had a Little Lamb')
Hier is de video die we opnamen
met duizenden frames per seconde.
Maar zelfs als je heel goed kijkt,
is alles wat je ziet enkele bladeren...
... zonder veel actie. (Gelach)
Ons geluid verplaatst die bladeren slechts ongeveer één micrometer.
Dat is één tienduizendste van een centimeter,
ergens tussen een honderdste en een duizendste
van een pixel in dit beeld.
Je kunt dus nóg zo goed turen,
die beweging is te klein om zichtbaar te zijn.
Maar het blijkt dat iets niet te zien kan zijn
en toch numeriek significant.
Want met de juiste algoritmen
kunnen we uit deze stille, schijnbaar stille video
dit geluid herleiden.
(Muziek: 'Mary Had a Little Lamb')
(Applaus)
Hoe is dat mogelijk?
Hoe halen we zo veel informatie uit zo weinig beweging?
Stel dat die bladeren slechts één enkele micrometer uitwijken,
en het beeld slechts één duizendste van een pixel verschuift.
Dat lijkt misschien niet veel,
maar één enkel videoframe
kan honderdduizenden pixels bevatten.
Als we al die kleine bewegingen combineren
van dat complete beeld,
kan een duizendste van een pixel ineens
iets heel significants opleveren.
Even terzijde: we waren behoorlijk in onze nopjes
toen we dit hadden uitgeknobbeld.
(Gelach)
Maar zelfs met het juiste algoritme
misten we nog steeds een vrij belangrijk stuk van de puzzel.
Veel factoren zijn van invloed op wanneer en hoe goed
deze techniek werkt:
het object en hoe ver het is,
de camera en de lens,
hoeveel licht op het object valt en hoe hard het geluid is.
En zelfs met het juiste algoritme
moesten we zeer zorgvuldig zijn bij onze vroege experimenten,
want als een van deze factoren verkeerd zat,
was er geen manier om te zien wat het probleem was.
We kregen dan alleen lawaai terug.
Veel van onze vroege experimenten zagen er zo uit.
Hier ben ik
en linksonder zie je onze hogesnelheidscamera,
gericht op een zak chips,
en de hele zaak wordt verlicht door sterke lampen.
We moesten zorgvuldig zijn bij deze vroege experimenten,
dus ging het zo.
(Video) Abe Davis: Drie, twee, een, start!
Mary had a little lamb! Little lamb! Little lamb!
(Gelach)
AD: Dit experiment lijkt volstrekt belachelijk.
(Gelach)
Ik bedoel, ik sta te schreeuwen tegen een zak chips -
(Gelach) -
en we bestraalden hem met zoveel licht,
dat de eerste zak letterlijk smolt. (Gelach)
Maar hoe belachelijk dit experiment ook lijkt,
het was eigenlijk heel belangrijk,
omdat we dit geluid konden herstellen.
(Audio) Mary had a little lamb! Little lamb! Little lamb!
(Applaus)
AD: En dit was echt belangrijk,
want het was de eerste keer dat we
begrijpelijke menselijke spraak terugwonnen
van een video zonder geluid van een object.
Dit gaf ons een referentiepunt,
en geleidelijk aan konden we het experiment wijzigen,
met verschillende voorwerpen of van verder weg,
met minder licht of zachtere geluiden.
We analyseerden al deze proeven
totdat we de grenzen van onze techniek vonden.
Want zodra we die grenzen vonden,
konden we achterhalen hoe we ze konden oprekken.
Dat leidde tot experimenten zoals dit.
Ik sprak nog eens tegen een zak chips,
maar dit keer met onze camera ongeveer 5 meter er vandaan,
buiten, achter een geluiddicht raam,
en alles alleen belicht met natuurlijk zonlicht.
Hier is de video daarvan.
Zo klonk het binnen, bij de zak chips.
(Audio) Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
AD: Hier is wat we uit onze stille video konden terugwinnen
van achter dat raam.
(Audio) Mary had a little lamb! whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
(Applaus)
AD: Er zijn ook andere manieren om deze grenzen te verleggen.
Hier is een rustiger experiment:
we filmden wat oordopjes aangesloten op een laptop.
We wilden de muziek opnemen die op die laptop speelde,
uit de video zonder geluid
van die twee kleine plastic oordopjes.
We deden het zo goed
dat we onze resultaten konden ‘shazammen’.
(Gelach)
(Muziek: 'Under Pressure' van Queen)
(Applaus)
We kunnen het resultaat ook verbeteren via de hardware.
De experimenten die ik jullie tot nu toe heb laten zien
deden we met een hogesnelheidscamera.
Die kan ongeveer 100 keer sneller video opnemen
dan de meeste mobiele telefoons,
maar we hebben ook een manier gevonden om deze techniek te gebruiken
met gewonere camera’s.
We doen dat door gebruik te maken van wat een ‘gordijnsluiter’ heet.
De meeste camera's leggen beelden rij voor rij vast.
Als een object tijdens de opname van één enkel beeld beweegt,
is er een kleine vertraging tussen elke rij,
en dit veroorzaakt lichte artefacten
in elk afzonderlijk videoframe.
Door het analyseren van deze artefacten,
kunnen we zelfs geluid herstellen
met een aangepaste versie van ons algoritme.
Hier weer een experiment.
We filmden een zak snoep
terwijl een luidspreker in de buurt
'Mary Had a Little Lamb' speelde.
Maar dit keer gebruikten we een normale camera uit de winkel.
Ik laat het jullie dadelijk horen.
Het zal wat vervormd zijn,
maar luister om te zien of je de muziek nog steeds kunt herkennen.
(Audio: 'Mary Had a Little Lamb')
Het klinkt vervormd,
maar het geweldige eraan is dat we het doen
met spullen uit de eerste de beste winkel.
Dit brengt de meeste mensen
op het idee van bewaking. (Gelach)
Om eerlijk te zijn, je kan je best voorstellen
hoe je deze technologie kan gebruiken om iemand te bespioneren.
Maar bedenk dat er al heel veel goed ontwikkelde technologie
voor surveillance bestaat.
In feite hebben mensen al decennia lang
lasers op objecten gericht om op afstand af te luisteren.
Maar wat hier echt nieuw is,
echt anders,
is dat we nu een manier hebben om trillingen van een object op te nemen.
Dat geeft ons een nieuwe lens om te kijken naar de wereld.
We kunnen die lens gebruiken
om niet alleen iets te leren over krachten
als geluid die een object laten trillen,
maar ook over het object zelf.
Ik wil een stap terug doen
en nadenken over nieuwe manieren om video te gebruiken.
Meestal gebruiken we video om naar dingen te kijken,
maar ik toonde hoe we het kunnen gebruiken
om naar dingen te luisteren.
Er is een andere belangrijke manier waarop we leren over de wereld:
door interactie ermee.
We duwen en trekken en porren dingen.
We schudden dingen en zien wat er gebeurt.
Dat is iets dat video nog steeds niet kan,
althans niet de traditionele video.
Ik toon je wat nieuw werk,
gebaseerd op een idee dat ik net een paar maanden geleden had.
Het is de eerste keer dat ik ermee voor een publiek kom.
We gaan trillingen in een video gebruiken
om objecten zo vast te leggen, dat we met ze kunnen interageren
en zie hoe ze op ons reageren.
Hier zie je een voorwerp,
in dit geval een draadfiguur gevormd als mens.
We gaan dat object filmen met een gewone camera.
Er is niets bijzonders aan deze camera.
Ik deed het al met mijn mobiele telefoon.
Maar we willen het object zien trillen.
Daarom kloppen we wat op het oppervlak waarop het staat
terwijl we deze video opnemen.
Dat is alles: slechts vijf seconden gewone video,
terwijl we op het oppervlak kloppen.
We gaan de trillingen in die video gebruiken
om iets te leren over de structurele en materiaaleigenschappen van ons object,
en we gaan die informatie gebruiken om iets nieuws en interactiefs te maken.
Dit is het resultaat.
Het ziet eruit als een gewone afbeelding,
maar dit is geen beeld, ook geen video,
want nu kan ik met mijn muis
gaan interageren met het object.
Wat je hier ziet
is een simulatie van hoe dit object
zou reageren op nieuwe krachten die we nog nooit eerder hebben gezien,
en dat met slechts vijf seconden gewone video.
(Applaus)
Dit is een krachtige manier om naar de wereld te kijken.
Het laat ons voorspellen hoe objecten zullen reageren
in nieuwe situaties:
bijvoorbeeld hoe een oude brug
zich zal gaan gedragen
als ik er met mijn auto over zou rijden.
Dat wil je waarschijnlijk wel weten
voordat je over die brug gaat rijden.
Deze techniek heeft natuurlijk zijn beperkingen
net zoals de visuele microfoon,
maar we merkten dat het in veel situaties werkt
waar je dat niet zou verwachten,
vooral als je langere video's maakt.
Hier is een video die ik opnam
van een struik bij mijn appartement.
Ik deed niets met de struik,
maar met een video van één minuut
en een zacht briesje dat genoeg trillingen veroorzaakte,
leerden we genoeg over deze struik om deze simulatie te maken.
(Applaus)
Je kan je voorstellen wat een filmregisseur
hiermee kan doen,
als hij de kracht en de richting van de wind
in een opname achteraf kan bepalen.
Hier richtten we de camera op een hangend gordijn.
Je ziet zelfs geen beweging in deze video,
maar tijdens het opnemen van twee minuten video,
veroorzaakten natuurlijke luchtstromen in deze kamer
genoeg subtiele, onmerkbare bewegingen en trillingen
dat we daarmee deze simulatie konden creëren.
Ironisch genoeg
zijn we al gewend aan dit soort interactiviteit
met virtuele objecten,
als het gaat om videogames en 3D-modellen.
Maar deze informatie van echte objecten in de echte wereld kunnen vastleggen
met slechts eenvoudige, gewone video,
is iets nieuws dat veel mogelijkheden biedt.
Hier zijn de fantastische mensen die met mij
hebben samengewerkt aan deze projecten.
(Applaus)
Wat ik vandaag heb laten zien, is slechts het begin,
een peulenschil
vergeleken met wat je kunt doen met dit soort beeldvorming.
Het geeft ons een nieuwe manier
om onze omgeving met gewone, toegankelijke technologie vast te leggen.
Als we naar de toekomst kijken,
is het interessant om te zien
wat dit ons kan vertellen over onze wereld.
Dankjewel.
(Applaus)