Zie onzichtbare beweging, hoor stil geluid. Cool? Eng? Wij weten het nog niet

Zie hier de 'bewegingsmicroscoop', een videoverwerkingstool die kleine veranderingen in beweging en kleur, normaal onzichtbaar voor het blote oog, te voorschijn tovert. Video-onderzoeker Michael Rubinstein laat ons in het ene na het andere wonderlijke fragment zien hoe zijn technologie een polsslag en een hartritme van een persoon kan meten aan de hand van slechts filmmateriaal. Zie hoe hij een gesprek nabootst aan de hand van de bewegingen van geluidsgolven die tegen een zak chips weerkaatst zijn. De inspirerende en onheilspellende toepassingen van deze technologie moet je zien om ze te geloven.

Tijdens de laatste paar eeuwen hebben
microscopen onze wereld gerevolutioneerd.

Ze onthullen een piepkleine wereld van
objecten, leven en structuren aan ons

die te klein zijn om met onze
blote ogen gezien te worden.

Ze dragen in enorme mate bij aan
wetenschap en technologie.

Vandaag wil ik jullie voorstellen
aan een nieuw soort microscoop,

een microscoop voor veranderingen.

Hij gebruikt geen optica zoals
een normale microscoop

om kleine objecten mee te vergroten,

maar in plaats daarvan wordt een
videocamera en beeldverwerking gebruikt

om ons de kleinste bewegingen en kleur-
mutaties in objecten en mensen te tonen,

veranderingen die onmogelijk
te zien zijn met ons blote oog.

Het laat ons de wereld op een
compleet nieuwe manier bekijken.

Wat bedoel ik nou met kleurmutaties?

Onze huid verandert bijvoorbeeld
heel lichtjes van kleur

als er bloed onderdoor stroomt.

Die verandering is ongelooflijk subtiel

en daarom, wanneer je naar anderen kijkt,

als je naar degene die naast je zit kijkt,

zie je niet dat hun huid of hun
gezicht van kleur verandert.

Als we naar deze video van Steve
kijken lijkt het een onbeweeglijk beeld,

maar wanneer we door onze nieuwe,
speciale microscoop een kijkje nemen

zien we opeens een totaal ander beeld.

Wat je ziet zijn kleine veranderingen
in de huidskleur van Steve,

100x vergroot om zichtbaar
te kunnen worden.

We kunnen zelfs een hartslag zien.

We kunnen zien hoe snel zijn hartslag is,

maar ook de manier waarop
het bloed in zijn gezicht stroomt.

Behalve dat we hiermee
de hartslag visualiseren

kunnen we er ook onze
hartslag mee herstellen

en onze hartslag meten.

Dat kunnen we zonder reguliere camera's
en zonder de patiënten aan te raken.

Hier zie je de polsslag en het
hartritme van een neonatale baby

in een video die gemaakt is
met een normale DSLR camera

en de hartslagmeting die we verkrijgen

is net zo secuur als degene die
met een standaardmonitor in 't ziekenhuis.

Het hoeft geen door ons
opgenomen video te zijn.

We kunnen het in principe ook
bij andere video's toepassen.

Ik heb hier even een kort fragment
van "Batman Begins" genomen om

de hartslag van Christian Bale te tonen.

(Gelach)

En weet je, hij draagt
vermoedelijk make-up,

de belichting hier is nogal lastig

en nog steeds kunnen we zijn
hartslag uit de video halen

en best aardig laten zien.

Dus hoe doen we dat nou allemaal?

In principe analyseren we
de veranderingen in het licht

die per pixel worden gefilmd

en dan vergroten we de veranderingen.

We vergroten ze opdat we
ze kunnen waarnemen.

Het lastige is dat die signalen,

die mutaties waar we naar
zoeken, extreem subtiel zijn,

zodat we erg precies moeten zijn
als we ze loskoppelen

van de ruis die altijd in
dit soort video's voorkomt.

We gebruiken dus enkele slimme
beeldverwerkingstechnieken

om in elke pixel van de video een
precieze meting van de kleur te krijgen

en de manier waarop die kleur verandert

waarna we die veranderingen versterken.

We maken ze groter zodat dit soort
versterkte, of vergrootte video's

ons echt die veranderingen
kunnen laten zien.

Het blijkt echter dat we niet alleen
veranderingen in kleur kunnen tonen,

maar ook piepkleine bewegingen,

omdat het licht dat in onze
camera's opgeslagen wordt

niet alleen verandert als de
kleur van het object wijzigt,

maar ook wanneer het object beweegt.

Dit is mijn dochter, toen
ze twee maanden oud was

Deze video heb ik drie
jaar geleden opgenomen.

Als nieuwe ouders willen we allemaal
dat onze kinderen gezond zijn,

dat ze ademen, dat ze leven, natuurlijk.

Dus ik kocht ook zo'n baby-monitor

om naar mijn dochter te
kunnen kijken als ze sliep.

Dit is wat je zo ongeveer ziet
op een normale baby-monitor.

Je ziet dat de baby slaapt,

maar verder is er
niet veel informatie zichtbaar.

Zou het niet fijner zijn, of meer
informatief en bruikbaar

als we in plaats daarvan
dit perspectief zouden hebben.

Hier heb ik de bewegingen
30 keer uitvergroot

en daardoor kon ik duidelijk zien dat
mijn dochter inderdaad in leven was.

(Gelach)

Hier kun je het naast elkaar zien.

Nogmaals, in de bronvideo,
de oorspronkelijke video,

kunnen we niet erg veel zien,

maar wanneer we de bewegingen versterken,
wordt de ademhaling beter zichtbaar.

Het blijkt dat we veel verschijnselen

kunnen ontdekken en versterken
met onze nieuwe bewegingsmicroscoop.

We kunnen zien hoe onze aders en
slagaders kloppen in ons lichaam.

We kunnen zien dat onze ogen

voortdurend wiebelen.

Dit is mijn oog,

opgenomen vlak nadat
mijn dochter was geboren,

dus je kunt zien dat ik slaap tekort kwam.
(Gelach)

Zelfs wanneer iemand stil zit,

is er veel zichtbare informatie

over hun ademhalingspatroon en
kleine gezichtsuitdrukkingen.

Mogelijk kunnen we deze bewegingen

gebruiken om ons iets te vertellen
over onze gedachten en emoties.

We kunnen ook kleine mechanische
bewegingen versterken,

zoals trillingen in motoren,

die ingenieurs helpen met het opsporen
en analyseren van machinale problemen,

of om te zien hoe onze bouwwerken door
wind gaan wiegen en op krachten reageren.

Onze maatschappij weet hoe we dit alles op
verschillende manieren dit kunnen meten,

maar deze bewegingen meten is één ding,

om ze daadwerkelijk waar te nemen

is iets heel anders.

Sinds dat we deze nieuwe
technologie ontdekt hebben

is onze code online gepubliceerd zodat
anderen ermee kunnen experimenteren.

Het is erg eenvoudig te gebruiken.

Het werkt ook bij je eigen video's.

Onze collega's van Quanta Research
hebben deze mooie site gemaakt

waar je je video's online kan verwerken,

zodat je zonder enige ervaring met
computers of programmeren

heel makkelijk kan
experimenteren met deze microscoop.

Ik wil jullie graag een
aantal voorbeelden tonen

van wat anderen er al mee gedaan hebben.

Deze video is gemaakt door de
YouTube-gebruiker Tamez85.

Ik heb geen idee wie 't is,

maar hij, of zij, heeft onze code gebruikt

om kleine bewegingen in de buik
tijdens een zwangerschap te vergroten.

Het is een beetje eng.

(Gelach)

Men heeft het gebruikt om kloppende
aderen in hun handen te vergroten.

Je weet dat het niet echt wetenschap is
tenzij er cavia's gebruikt worden

en blijkbaar heet deze cavia Tiffany,

die volgens deze YouTuber het
eerste knaagdier ter wereld is

waarvan de bewegingen vergoot zijn.

Je kan er ook kunst mee maken.

Deze video werd door een
designstudent van Yale ingestuurd.

Ze wilde weten of er
een verschil te zien was

in hoe haar klasgenoten bewegen.

Ze liet ze allemaal stilstaan en
vergrootte toen hun bewegingen.

Het is alsof roerloze
beelden tot leven komen.

Het mooie van al deze voorbeelden

is dat wij er niks mee te
maken hebben gehad.

We hebben slechts deze nieuwe manier
aangeleverd, een nieuwe blik op de wereld,

waarna anderen weer interessante, nieuwe
en creatieve gebruiksvormen bedachten.

Maar daar eindigt het niet.

Dit instrument zorgt niet alleen
voor een andere blik op de wereld.

Het geeft een nieuwe definitie
van wat we kunnen

en verlegt de grenzen van wat
er mogelijk is met onze camera's.

Als wetenschappers
begonnen we na te denken

over welke andere soorten fysieke
verschijnselen kleine bewegingen opleveren

die nu met onze camera's
gemeten kunnen worden.

Een van de verschijnselen waarop we ons
recentelijk richtten, is geluid.

Geluid, zoals je weet, is de verandering

van luchtdruk die door de lucht beweegt.

Deze drukgolven raken objecten en
creëren er kleine trillingen in,

waardoor wij geluid kunnen
horen en opnemen.

Het blijkt echter dat geluid ook
visuele bewegingen creëert.

De bewegingen zijn niet
waarneembaar voor ons,

maar wel voor een camera
met de juiste bewerkingen.

Hier zijn twee voorbeelden.

Dit ben ik met mijn enorme zangtalent.

(Zingend)

(Gelach)

Dit is een hogesnelheidsvideo
van mijn keel toen ik neuriede.

Nogmaals, als je naar de video kijkt

is er niet veel dat je kunt zien,

maar als we de bewegingen 100 keer groter
maken, zien we alle bewegingen en golfjes

die in de nek plaatsvinden
om het geluid te produceren.

Dat signaal is zichtbaar in die video.

We weten ook dat zangers
een wijnglas kunnen breken

als ze de juist noot bereiken.

Hier gaan we een noot spelen,

die in de resonantiefrequentie
van dat glas ligt,

door middel van de luidspreker ernaast.

Wanneer we die nooit spelen en
de bewegingen 250 maal vergroten

kunnen we duidelijk
zien dat het glas trilt

en weerklinkt als gevolg van het geluid.

Dat is niet iets dat je
iedere dag te zien krijgt.

Dit zorgde ervoor dat we gingen nadenken.
Het gaf ons dit gekke idee.

Kunnen we dit proces omdraaien
en geluid uit een video herkrijgen

door de kleine trillingen te analyseren
die geluidsgolven in objecten creëren

en eigenlijk deze golven weer omzetten in
de geluiden waardoor ze geproduceerd zijn?

Op de manier kunnen we alledaagse
objecten omtoveren tot microfoons.

Dus dat is precies wat we gedaan hebben.

Hier zie je een lege zak
chips die op tafel ligt

en wij gaan die zak chips
veranderen in een microfoon

door te filmen met een camera en

de kleine bewegingen die geluidsgolven
erin creëren te analyseren.

Hier is het geluid dat we
in de kamer afspeelden.

(Muziek: "Mary Had a Little Lamb")

Dit is een hogesnelheidsvideo
waarin de zak chips gefilmd is.

Het speelt opnieuw.

Je kan met geen enkele mogelijkheid
zien wat er in de video gebeurt

door gewoon te kijken,

maar hier is het geluid dat we
hebben gevonden aan de hand van

een video-analyse van
die kleine bewegingen.

(Muziek: "Mary Had a Little Lamb")

Ik noem het -- Dank u.

(Applaus)

Ik noem het de visuele microfoon.

We extraheren in feite
audiosignalen uit videosignalen.

Om een idee te geven van
de schaal van deze bewegingen;

een vrij hard geluid zorgt ervoor dat de
chips minder dan een micrometer bewegen.

Dat is een duizendste van een millimeter.

Zo klein zijn de bewegingen
die wij nu kunnen ontdekken

door gewoon te bekijken hoe
licht weerkaatst van objecten

en hoe onze camera's dat vastleggen.

We kunnen geluid herstellen vanuit
andere objecten zoals planten.

(Muziek: "Mary Had a Little Lamb")

En we kunnen ook spraak herleiden.

Hier is een persoon die
in een kamer spreekt.

Stem: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

Michael Rubinstein: Hier is
de spraak dan weer herleid

van de video van diezelfde zak chips.

Stem: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

MR: We namen "Mary Had a Little Lamb"

omdat dat de eerste woorden waren

die Thomas Edison in 1877
in zijn grammofoon sprak.

Het was een van de eerste
geluidsopnameapparaten in de geschiedenis.

Het stuurde de woorden
eigenlijk naar een trilplaat

die een naald deed vibreren waardoor
het geluid werd gegraveerd op bladtin

dat om een cilinder heen was verpakt.

Nu een voorbeeld van het opnemen en af-
spelen van geluid met Edison's grammofoon.

(Video) Stem: Test, test, een twee drie

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

Test, test, een twee drie.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

MR: En nu, 137 jaar later,

kunnen we geluid opwekken
in ongeveer dezelfde kwaliteit

door via camera's te kijken naar
objecten die slechts trillen

en dat kan zelfs als de camera

5 meter van het object afstaat,
achter geluiddicht glas.

Dit is het geluid dat we in zo'n
geval wisten te reconstrueren/

Stem: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

MR: Natuurlijk is surveillance de eerste
toepassing die je te binnen schiet.

(Gelach)

Maar het zou voor andere zaken
ook erg nuttig kunnen blijken.

Misschien kunnen we 't in
de toekomst bijvoorbeeld gebruiken

om geluid in de ruimte te reconstrueren,

want geluid kan niet door de ruimte
heen, maar licht kan dat wel.

We zijn pas net begonnen
met het ontdekken van

andere mogelijke gebruiksvormen
voor deze nieuwe technologie.

Het toont fysieke processen
waarvan we weten dat ze er zijn,

maar die we nog niet met onze
blote ogen konden waarnemen.

Dit is ons team.

Alles wat jullie vandaag zagen
is het gevolg van

de samenwerking van deze groep mensen.

Ik wil jullie aansporen
om onze website te bekijken,

het zelf te proberen

en met ons de wereld van
kleine bewegingen te verkennen.

Dankjewel.

(Applaus)