Tijdens de laatste paar eeuwen hebben microscopen onze wereld gerevolutioneerd.
Ze onthullen een piepkleine wereld van objecten, leven en structuren aan ons
die te klein zijn om met onze blote ogen gezien te worden.
Ze dragen in enorme mate bij aan wetenschap en technologie.
Vandaag wil ik jullie voorstellen aan een nieuw soort microscoop,
een microscoop voor veranderingen.
Hij gebruikt geen optica zoals een normale microscoop
om kleine objecten mee te vergroten,
maar in plaats daarvan wordt een videocamera en beeldverwerking gebruikt
om ons de kleinste bewegingen en kleur- mutaties in objecten en mensen te tonen,
veranderingen die onmogelijk te zien zijn met ons blote oog.
Het laat ons de wereld op een compleet nieuwe manier bekijken.
Wat bedoel ik nou met kleurmutaties?
Onze huid verandert bijvoorbeeld heel lichtjes van kleur
als er bloed onderdoor stroomt.
Die verandering is ongelooflijk subtiel
en daarom, wanneer je naar anderen kijkt,
als je naar degene die naast je zit kijkt,
zie je niet dat hun huid of hun gezicht van kleur verandert.
Als we naar deze video van Steve kijken lijkt het een onbeweeglijk beeld,
maar wanneer we door onze nieuwe, speciale microscoop een kijkje nemen
zien we opeens een totaal ander beeld.
Wat je ziet zijn kleine veranderingen in de huidskleur van Steve,
100x vergroot om zichtbaar te kunnen worden.
We kunnen zelfs een hartslag zien.
We kunnen zien hoe snel zijn hartslag is,
maar ook de manier waarop het bloed in zijn gezicht stroomt.
Behalve dat we hiermee de hartslag visualiseren
kunnen we er ook onze hartslag mee herstellen
en onze hartslag meten.
Dat kunnen we zonder reguliere camera's en zonder de patiënten aan te raken.
Hier zie je de polsslag en het hartritme van een neonatale baby
in een video die gemaakt is met een normale DSLR camera
en de hartslagmeting die we verkrijgen
is net zo secuur als degene die met een standaardmonitor in 't ziekenhuis.
Het hoeft geen door ons opgenomen video te zijn.
We kunnen het in principe ook bij andere video's toepassen.
Ik heb hier even een kort fragment van "Batman Begins" genomen om
de hartslag van Christian Bale te tonen.
(Gelach)
En weet je, hij draagt vermoedelijk make-up,
de belichting hier is nogal lastig
en nog steeds kunnen we zijn hartslag uit de video halen
en best aardig laten zien.
Dus hoe doen we dat nou allemaal?
In principe analyseren we de veranderingen in het licht
die per pixel worden gefilmd
en dan vergroten we de veranderingen.
We vergroten ze opdat we ze kunnen waarnemen.
Het lastige is dat die signalen,
die mutaties waar we naar zoeken, extreem subtiel zijn,
zodat we erg precies moeten zijn als we ze loskoppelen
van de ruis die altijd in dit soort video's voorkomt.
We gebruiken dus enkele slimme beeldverwerkingstechnieken
om in elke pixel van de video een precieze meting van de kleur te krijgen
en de manier waarop die kleur verandert
waarna we die veranderingen versterken.
We maken ze groter zodat dit soort versterkte, of vergrootte video's
ons echt die veranderingen kunnen laten zien.
Het blijkt echter dat we niet alleen veranderingen in kleur kunnen tonen,
maar ook piepkleine bewegingen,
omdat het licht dat in onze camera's opgeslagen wordt
niet alleen verandert als de kleur van het object wijzigt,
maar ook wanneer het object beweegt.
Dit is mijn dochter, toen ze twee maanden oud was
Deze video heb ik drie jaar geleden opgenomen.
Als nieuwe ouders willen we allemaal dat onze kinderen gezond zijn,
dat ze ademen, dat ze leven, natuurlijk.
Dus ik kocht ook zo'n baby-monitor
om naar mijn dochter te kunnen kijken als ze sliep.
Dit is wat je zo ongeveer ziet op een normale baby-monitor.
Je ziet dat de baby slaapt,
maar verder is er niet veel informatie zichtbaar.
Zou het niet fijner zijn, of meer informatief en bruikbaar
als we in plaats daarvan dit perspectief zouden hebben.
Hier heb ik de bewegingen 30 keer uitvergroot
en daardoor kon ik duidelijk zien dat mijn dochter inderdaad in leven was.
(Gelach)
Hier kun je het naast elkaar zien.
Nogmaals, in de bronvideo, de oorspronkelijke video,
kunnen we niet erg veel zien,
maar wanneer we de bewegingen versterken, wordt de ademhaling beter zichtbaar.
Het blijkt dat we veel verschijnselen
kunnen ontdekken en versterken met onze nieuwe bewegingsmicroscoop.
We kunnen zien hoe onze aders en slagaders kloppen in ons lichaam.
We kunnen zien dat onze ogen
voortdurend wiebelen.
Dit is mijn oog,
opgenomen vlak nadat mijn dochter was geboren,
dus je kunt zien dat ik slaap tekort kwam. (Gelach)
Zelfs wanneer iemand stil zit,
is er veel zichtbare informatie
over hun ademhalingspatroon en kleine gezichtsuitdrukkingen.
Mogelijk kunnen we deze bewegingen
gebruiken om ons iets te vertellen over onze gedachten en emoties.
We kunnen ook kleine mechanische bewegingen versterken,
zoals trillingen in motoren,
die ingenieurs helpen met het opsporen en analyseren van machinale problemen,
of om te zien hoe onze bouwwerken door wind gaan wiegen en op krachten reageren.
Onze maatschappij weet hoe we dit alles op verschillende manieren dit kunnen meten,
maar deze bewegingen meten is één ding,
om ze daadwerkelijk waar te nemen
is iets heel anders.
Sinds dat we deze nieuwe technologie ontdekt hebben
is onze code online gepubliceerd zodat anderen ermee kunnen experimenteren.
Het is erg eenvoudig te gebruiken.
Het werkt ook bij je eigen video's.
Onze collega's van Quanta Research hebben deze mooie site gemaakt
waar je je video's online kan verwerken,
zodat je zonder enige ervaring met computers of programmeren
heel makkelijk kan experimenteren met deze microscoop.
Ik wil jullie graag een aantal voorbeelden tonen
van wat anderen er al mee gedaan hebben.
Deze video is gemaakt door de YouTube-gebruiker Tamez85.
Ik heb geen idee wie 't is,
maar hij, of zij, heeft onze code gebruikt
om kleine bewegingen in de buik tijdens een zwangerschap te vergroten.
Het is een beetje eng.
(Gelach)
Men heeft het gebruikt om kloppende aderen in hun handen te vergroten.
Je weet dat het niet echt wetenschap is tenzij er cavia's gebruikt worden
en blijkbaar heet deze cavia Tiffany,
die volgens deze YouTuber het eerste knaagdier ter wereld is
waarvan de bewegingen vergoot zijn.
Je kan er ook kunst mee maken.
Deze video werd door een designstudent van Yale ingestuurd.
Ze wilde weten of er een verschil te zien was
in hoe haar klasgenoten bewegen.
Ze liet ze allemaal stilstaan en vergrootte toen hun bewegingen.
Het is alsof roerloze beelden tot leven komen.
Het mooie van al deze voorbeelden
is dat wij er niks mee te maken hebben gehad.
We hebben slechts deze nieuwe manier aangeleverd, een nieuwe blik op de wereld,
waarna anderen weer interessante, nieuwe en creatieve gebruiksvormen bedachten.
Maar daar eindigt het niet.
Dit instrument zorgt niet alleen voor een andere blik op de wereld.
Het geeft een nieuwe definitie van wat we kunnen
en verlegt de grenzen van wat er mogelijk is met onze camera's.
Als wetenschappers begonnen we na te denken
over welke andere soorten fysieke verschijnselen kleine bewegingen opleveren
die nu met onze camera's gemeten kunnen worden.
Een van de verschijnselen waarop we ons recentelijk richtten, is geluid.
Geluid, zoals je weet, is de verandering
van luchtdruk die door de lucht beweegt.
Deze drukgolven raken objecten en creëren er kleine trillingen in,
waardoor wij geluid kunnen horen en opnemen.
Het blijkt echter dat geluid ook visuele bewegingen creëert.
De bewegingen zijn niet waarneembaar voor ons,
maar wel voor een camera met de juiste bewerkingen.
Hier zijn twee voorbeelden.
Dit ben ik met mijn enorme zangtalent.
(Zingend)
(Gelach)
Dit is een hogesnelheidsvideo van mijn keel toen ik neuriede.
Nogmaals, als je naar de video kijkt
is er niet veel dat je kunt zien,
maar als we de bewegingen 100 keer groter maken, zien we alle bewegingen en golfjes
die in de nek plaatsvinden om het geluid te produceren.
Dat signaal is zichtbaar in die video.
We weten ook dat zangers een wijnglas kunnen breken
als ze de juist noot bereiken.
Hier gaan we een noot spelen,
die in de resonantiefrequentie van dat glas ligt,
door middel van de luidspreker ernaast.
Wanneer we die nooit spelen en de bewegingen 250 maal vergroten
kunnen we duidelijk zien dat het glas trilt
en weerklinkt als gevolg van het geluid.
Dat is niet iets dat je iedere dag te zien krijgt.
Dit zorgde ervoor dat we gingen nadenken. Het gaf ons dit gekke idee.
Kunnen we dit proces omdraaien en geluid uit een video herkrijgen
door de kleine trillingen te analyseren die geluidsgolven in objecten creëren
en eigenlijk deze golven weer omzetten in de geluiden waardoor ze geproduceerd zijn?
Op de manier kunnen we alledaagse objecten omtoveren tot microfoons.
Dus dat is precies wat we gedaan hebben.
Hier zie je een lege zak chips die op tafel ligt
en wij gaan die zak chips veranderen in een microfoon
door te filmen met een camera en
de kleine bewegingen die geluidsgolven erin creëren te analyseren.
Hier is het geluid dat we in de kamer afspeelden.
(Muziek: "Mary Had a Little Lamb")
Dit is een hogesnelheidsvideo waarin de zak chips gefilmd is.
Het speelt opnieuw.
Je kan met geen enkele mogelijkheid zien wat er in de video gebeurt
door gewoon te kijken,
maar hier is het geluid dat we hebben gevonden aan de hand van
een video-analyse van die kleine bewegingen.
(Muziek: "Mary Had a Little Lamb")
Ik noem het -- Dank u.
(Applaus)
Ik noem het de visuele microfoon.
We extraheren in feite audiosignalen uit videosignalen.
Om een idee te geven van de schaal van deze bewegingen;
een vrij hard geluid zorgt ervoor dat de chips minder dan een micrometer bewegen.
Dat is een duizendste van een millimeter.
Zo klein zijn de bewegingen die wij nu kunnen ontdekken
door gewoon te bekijken hoe licht weerkaatst van objecten
en hoe onze camera's dat vastleggen.
We kunnen geluid herstellen vanuit andere objecten zoals planten.
(Muziek: "Mary Had a Little Lamb")
En we kunnen ook spraak herleiden.
Hier is een persoon die in een kamer spreekt.
Stem: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
Michael Rubinstein: Hier is de spraak dan weer herleid
van de video van diezelfde zak chips.
Stem: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
MR: We namen "Mary Had a Little Lamb"
omdat dat de eerste woorden waren
die Thomas Edison in 1877 in zijn grammofoon sprak.
Het was een van de eerste geluidsopnameapparaten in de geschiedenis.
Het stuurde de woorden eigenlijk naar een trilplaat
die een naald deed vibreren waardoor het geluid werd gegraveerd op bladtin
dat om een cilinder heen was verpakt.
Nu een voorbeeld van het opnemen en af- spelen van geluid met Edison's grammofoon.
(Video) Stem: Test, test, een twee drie
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
Test, test, een twee drie.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: En nu, 137 jaar later,
kunnen we geluid opwekken in ongeveer dezelfde kwaliteit
door via camera's te kijken naar objecten die slechts trillen
en dat kan zelfs als de camera
5 meter van het object afstaat, achter geluiddicht glas.
Dit is het geluid dat we in zo'n geval wisten te reconstrueren/
Stem: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: Natuurlijk is surveillance de eerste toepassing die je te binnen schiet.
(Gelach)
Maar het zou voor andere zaken ook erg nuttig kunnen blijken.
Misschien kunnen we 't in de toekomst bijvoorbeeld gebruiken
om geluid in de ruimte te reconstrueren,
want geluid kan niet door de ruimte heen, maar licht kan dat wel.
We zijn pas net begonnen met het ontdekken van
andere mogelijke gebruiksvormen voor deze nieuwe technologie.
Het toont fysieke processen waarvan we weten dat ze er zijn,
maar die we nog niet met onze blote ogen konden waarnemen.
Dit is ons team.
Alles wat jullie vandaag zagen is het gevolg van
de samenwerking van deze groep mensen.
Ik wil jullie aansporen om onze website te bekijken,
het zelf te proberen
en met ons de wereld van kleine bewegingen te verkennen.
Dankjewel.
(Applaus)