Tijdens de laatste paar eeuwen hebben
microscopen onze wereld gerevolutioneerd.
Ze onthullen een piepkleine wereld van
objecten, leven en structuren aan ons
die te klein zijn om met onze
blote ogen gezien te worden.
Ze dragen in enorme mate bij aan
wetenschap en technologie.
Vandaag wil ik jullie voorstellen
aan een nieuw soort microscoop,
een microscoop voor veranderingen.
Hij gebruikt geen optica zoals
een normale microscoop
om kleine objecten mee te vergroten,
maar in plaats daarvan wordt een
videocamera en beeldverwerking gebruikt
om ons de kleinste bewegingen en kleur-
mutaties in objecten en mensen te tonen,
veranderingen die onmogelijk
te zien zijn met ons blote oog.
Het laat ons de wereld op een
compleet nieuwe manier bekijken.
Wat bedoel ik nou met kleurmutaties?
Onze huid verandert bijvoorbeeld
heel lichtjes van kleur
als er bloed onderdoor stroomt.
Die verandering is ongelooflijk subtiel
en daarom, wanneer je naar anderen kijkt,
als je naar degene die naast je zit kijkt,
zie je niet dat hun huid of hun
gezicht van kleur verandert.
Als we naar deze video van Steve
kijken lijkt het een onbeweeglijk beeld,
maar wanneer we door onze nieuwe,
speciale microscoop een kijkje nemen
zien we opeens een totaal ander beeld.
Wat je ziet zijn kleine veranderingen
in de huidskleur van Steve,
100x vergroot om zichtbaar
te kunnen worden.
We kunnen zelfs een hartslag zien.
We kunnen zien hoe snel zijn hartslag is,
maar ook de manier waarop
het bloed in zijn gezicht stroomt.
Behalve dat we hiermee
de hartslag visualiseren
kunnen we er ook onze
hartslag mee herstellen
en onze hartslag meten.
Dat kunnen we zonder reguliere camera's
en zonder de patiënten aan te raken.
Hier zie je de polsslag en het
hartritme van een neonatale baby
in een video die gemaakt is
met een normale DSLR camera
en de hartslagmeting die we verkrijgen
is net zo secuur als degene die
met een standaardmonitor in 't ziekenhuis.
Het hoeft geen door ons
opgenomen video te zijn.
We kunnen het in principe ook
bij andere video's toepassen.
Ik heb hier even een kort fragment
van "Batman Begins" genomen om
de hartslag van Christian Bale te tonen.
(Gelach)
En weet je, hij draagt
vermoedelijk make-up,
de belichting hier is nogal lastig
en nog steeds kunnen we zijn
hartslag uit de video halen
en best aardig laten zien.
Dus hoe doen we dat nou allemaal?
In principe analyseren we
de veranderingen in het licht
die per pixel worden gefilmd
en dan vergroten we de veranderingen.
We vergroten ze opdat we
ze kunnen waarnemen.
Het lastige is dat die signalen,
die mutaties waar we naar
zoeken, extreem subtiel zijn,
zodat we erg precies moeten zijn
als we ze loskoppelen
van de ruis die altijd in
dit soort video's voorkomt.
We gebruiken dus enkele slimme
beeldverwerkingstechnieken
om in elke pixel van de video een
precieze meting van de kleur te krijgen
en de manier waarop die kleur verandert
waarna we die veranderingen versterken.
We maken ze groter zodat dit soort
versterkte, of vergrootte video's
ons echt die veranderingen
kunnen laten zien.
Het blijkt echter dat we niet alleen
veranderingen in kleur kunnen tonen,
maar ook piepkleine bewegingen,
omdat het licht dat in onze
camera's opgeslagen wordt
niet alleen verandert als de
kleur van het object wijzigt,
maar ook wanneer het object beweegt.
Dit is mijn dochter, toen
ze twee maanden oud was
Deze video heb ik drie
jaar geleden opgenomen.
Als nieuwe ouders willen we allemaal
dat onze kinderen gezond zijn,
dat ze ademen, dat ze leven, natuurlijk.
Dus ik kocht ook zo'n baby-monitor
om naar mijn dochter te
kunnen kijken als ze sliep.
Dit is wat je zo ongeveer ziet
op een normale baby-monitor.
Je ziet dat de baby slaapt,
maar verder is er
niet veel informatie zichtbaar.
Zou het niet fijner zijn, of meer
informatief en bruikbaar
als we in plaats daarvan
dit perspectief zouden hebben.
Hier heb ik de bewegingen
30 keer uitvergroot
en daardoor kon ik duidelijk zien dat
mijn dochter inderdaad in leven was.
(Gelach)
Hier kun je het naast elkaar zien.
Nogmaals, in de bronvideo,
de oorspronkelijke video,
kunnen we niet erg veel zien,
maar wanneer we de bewegingen versterken,
wordt de ademhaling beter zichtbaar.
Het blijkt dat we veel verschijnselen
kunnen ontdekken en versterken
met onze nieuwe bewegingsmicroscoop.
We kunnen zien hoe onze aders en
slagaders kloppen in ons lichaam.
We kunnen zien dat onze ogen
voortdurend wiebelen.
Dit is mijn oog,
opgenomen vlak nadat
mijn dochter was geboren,
dus je kunt zien dat ik slaap tekort kwam.
(Gelach)
Zelfs wanneer iemand stil zit,
is er veel zichtbare informatie
over hun ademhalingspatroon en
kleine gezichtsuitdrukkingen.
Mogelijk kunnen we deze bewegingen
gebruiken om ons iets te vertellen
over onze gedachten en emoties.
We kunnen ook kleine mechanische
bewegingen versterken,
zoals trillingen in motoren,
die ingenieurs helpen met het opsporen
en analyseren van machinale problemen,
of om te zien hoe onze bouwwerken door
wind gaan wiegen en op krachten reageren.
Onze maatschappij weet hoe we dit alles op
verschillende manieren dit kunnen meten,
maar deze bewegingen meten is één ding,
om ze daadwerkelijk waar te nemen
is iets heel anders.
Sinds dat we deze nieuwe
technologie ontdekt hebben
is onze code online gepubliceerd zodat
anderen ermee kunnen experimenteren.
Het is erg eenvoudig te gebruiken.
Het werkt ook bij je eigen video's.
Onze collega's van Quanta Research
hebben deze mooie site gemaakt
waar je je video's online kan verwerken,
zodat je zonder enige ervaring met
computers of programmeren
heel makkelijk kan
experimenteren met deze microscoop.
Ik wil jullie graag een
aantal voorbeelden tonen
van wat anderen er al mee gedaan hebben.
Deze video is gemaakt door de
YouTube-gebruiker Tamez85.
Ik heb geen idee wie 't is,
maar hij, of zij, heeft onze code gebruikt
om kleine bewegingen in de buik
tijdens een zwangerschap te vergroten.
Het is een beetje eng.
(Gelach)
Men heeft het gebruikt om kloppende
aderen in hun handen te vergroten.
Je weet dat het niet echt wetenschap is
tenzij er cavia's gebruikt worden
en blijkbaar heet deze cavia Tiffany,
die volgens deze YouTuber het
eerste knaagdier ter wereld is
waarvan de bewegingen vergoot zijn.
Je kan er ook kunst mee maken.
Deze video werd door een
designstudent van Yale ingestuurd.
Ze wilde weten of er
een verschil te zien was
in hoe haar klasgenoten bewegen.
Ze liet ze allemaal stilstaan en
vergrootte toen hun bewegingen.
Het is alsof roerloze
beelden tot leven komen.
Het mooie van al deze voorbeelden
is dat wij er niks mee te
maken hebben gehad.
We hebben slechts deze nieuwe manier
aangeleverd, een nieuwe blik op de wereld,
waarna anderen weer interessante, nieuwe
en creatieve gebruiksvormen bedachten.
Maar daar eindigt het niet.
Dit instrument zorgt niet alleen
voor een andere blik op de wereld.
Het geeft een nieuwe definitie
van wat we kunnen
en verlegt de grenzen van wat
er mogelijk is met onze camera's.
Als wetenschappers
begonnen we na te denken
over welke andere soorten fysieke
verschijnselen kleine bewegingen opleveren
die nu met onze camera's
gemeten kunnen worden.
Een van de verschijnselen waarop we ons
recentelijk richtten, is geluid.
Geluid, zoals je weet, is de verandering
van luchtdruk die door de lucht beweegt.
Deze drukgolven raken objecten en
creëren er kleine trillingen in,
waardoor wij geluid kunnen
horen en opnemen.
Het blijkt echter dat geluid ook
visuele bewegingen creëert.
De bewegingen zijn niet
waarneembaar voor ons,
maar wel voor een camera
met de juiste bewerkingen.
Hier zijn twee voorbeelden.
Dit ben ik met mijn enorme zangtalent.
(Zingend)
(Gelach)
Dit is een hogesnelheidsvideo
van mijn keel toen ik neuriede.
Nogmaals, als je naar de video kijkt
is er niet veel dat je kunt zien,
maar als we de bewegingen 100 keer groter
maken, zien we alle bewegingen en golfjes
die in de nek plaatsvinden
om het geluid te produceren.
Dat signaal is zichtbaar in die video.
We weten ook dat zangers
een wijnglas kunnen breken
als ze de juist noot bereiken.
Hier gaan we een noot spelen,
die in de resonantiefrequentie
van dat glas ligt,
door middel van de luidspreker ernaast.
Wanneer we die nooit spelen en
de bewegingen 250 maal vergroten
kunnen we duidelijk
zien dat het glas trilt
en weerklinkt als gevolg van het geluid.
Dat is niet iets dat je
iedere dag te zien krijgt.
Dit zorgde ervoor dat we gingen nadenken.
Het gaf ons dit gekke idee.
Kunnen we dit proces omdraaien
en geluid uit een video herkrijgen
door de kleine trillingen te analyseren
die geluidsgolven in objecten creëren
en eigenlijk deze golven weer omzetten in
de geluiden waardoor ze geproduceerd zijn?
Op de manier kunnen we alledaagse
objecten omtoveren tot microfoons.
Dus dat is precies wat we gedaan hebben.
Hier zie je een lege zak
chips die op tafel ligt
en wij gaan die zak chips
veranderen in een microfoon
door te filmen met een camera en
de kleine bewegingen die geluidsgolven
erin creëren te analyseren.
Hier is het geluid dat we
in de kamer afspeelden.
(Muziek: "Mary Had a Little Lamb")
Dit is een hogesnelheidsvideo
waarin de zak chips gefilmd is.
Het speelt opnieuw.
Je kan met geen enkele mogelijkheid
zien wat er in de video gebeurt
door gewoon te kijken,
maar hier is het geluid dat we
hebben gevonden aan de hand van
een video-analyse van
die kleine bewegingen.
(Muziek: "Mary Had a Little Lamb")
Ik noem het -- Dank u.
(Applaus)
Ik noem het de visuele microfoon.
We extraheren in feite
audiosignalen uit videosignalen.
Om een idee te geven van
de schaal van deze bewegingen;
een vrij hard geluid zorgt ervoor dat de
chips minder dan een micrometer bewegen.
Dat is een duizendste van een millimeter.
Zo klein zijn de bewegingen
die wij nu kunnen ontdekken
door gewoon te bekijken hoe
licht weerkaatst van objecten
en hoe onze camera's dat vastleggen.
We kunnen geluid herstellen vanuit
andere objecten zoals planten.
(Muziek: "Mary Had a Little Lamb")
En we kunnen ook spraak herleiden.
Hier is een persoon die
in een kamer spreekt.
Stem: Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
Michael Rubinstein: Hier is
de spraak dan weer herleid
van de video van diezelfde zak chips.
Stem: Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
MR: We namen "Mary Had a Little Lamb"
omdat dat de eerste woorden waren
die Thomas Edison in 1877
in zijn grammofoon sprak.
Het was een van de eerste
geluidsopnameapparaten in de geschiedenis.
Het stuurde de woorden
eigenlijk naar een trilplaat
die een naald deed vibreren waardoor
het geluid werd gegraveerd op bladtin
dat om een cilinder heen was verpakt.
Nu een voorbeeld van het opnemen en af-
spelen van geluid met Edison's grammofoon.
(Video) Stem: Test, test, een twee drie
Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
the lamb was sure to go.
Test, test, een twee drie.
Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
the lamb was sure to go.
MR: En nu, 137 jaar later,
kunnen we geluid opwekken
in ongeveer dezelfde kwaliteit
door via camera's te kijken naar
objecten die slechts trillen
en dat kan zelfs als de camera
5 meter van het object afstaat,
achter geluiddicht glas.
Dit is het geluid dat we in zo'n
geval wisten te reconstrueren/
Stem: Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
the lamb was sure to go.
MR: Natuurlijk is surveillance de eerste
toepassing die je te binnen schiet.
(Gelach)
Maar het zou voor andere zaken
ook erg nuttig kunnen blijken.
Misschien kunnen we 't in
de toekomst bijvoorbeeld gebruiken
om geluid in de ruimte te reconstrueren,
want geluid kan niet door de ruimte
heen, maar licht kan dat wel.
We zijn pas net begonnen
met het ontdekken van
andere mogelijke gebruiksvormen
voor deze nieuwe technologie.
Het toont fysieke processen
waarvan we weten dat ze er zijn,
maar die we nog niet met onze
blote ogen konden waarnemen.
Dit is ons team.
Alles wat jullie vandaag zagen
is het gevolg van
de samenwerking van deze groep mensen.
Ik wil jullie aansporen
om onze website te bekijken,
het zelf te proberen
en met ons de wereld van
kleine bewegingen te verkennen.
Dankjewel.
(Applaus)