Tijdens de laatste paar eeuwen hebben microscopen onze wereld gerevolutioneerd. Ze onthullen een piepkleine wereld van objecten, leven en structuren aan ons die te klein zijn om met onze blote ogen gezien te worden. Ze dragen in enorme mate bij aan wetenschap en technologie. Vandaag wil ik jullie voorstellen aan een nieuw soort microscoop, een microscoop voor veranderingen. Hij gebruikt geen optica zoals een normale microscoop om kleine objecten mee te vergroten, maar in plaats daarvan wordt een videocamera en beeldverwerking gebruikt om ons de kleinste bewegingen en kleur- mutaties in objecten en mensen te tonen, veranderingen die onmogelijk te zien zijn met ons blote oog. Het laat ons de wereld op een compleet nieuwe manier bekijken. Wat bedoel ik nou met kleurmutaties? Onze huid verandert bijvoorbeeld heel lichtjes van kleur als er bloed onderdoor stroomt. Die verandering is ongelooflijk subtiel en daarom, wanneer je naar anderen kijkt, als je naar degene die naast je zit kijkt, zie je niet dat hun huid of hun gezicht van kleur verandert. Als we naar deze video van Steve kijken lijkt het een onbeweeglijk beeld, maar wanneer we door onze nieuwe, speciale microscoop een kijkje nemen zien we opeens een totaal ander beeld. Wat je ziet zijn kleine veranderingen in de huidskleur van Steve, 100x vergroot om zichtbaar te kunnen worden. We kunnen zelfs een hartslag zien. We kunnen zien hoe snel zijn hartslag is, maar ook de manier waarop het bloed in zijn gezicht stroomt. Behalve dat we hiermee de hartslag visualiseren kunnen we er ook onze hartslag mee herstellen en onze hartslag meten. Dat kunnen we zonder reguliere camera's en zonder de patiënten aan te raken. Hier zie je de polsslag en het hartritme van een neonatale baby in een video die gemaakt is met een normale DSLR camera en de hartslagmeting die we verkrijgen is net zo secuur als degene die met een standaardmonitor in 't ziekenhuis. Het hoeft geen door ons opgenomen video te zijn. We kunnen het in principe ook bij andere video's toepassen. Ik heb hier even een kort fragment van "Batman Begins" genomen om de hartslag van Christian Bale te tonen. (Gelach) En weet je, hij draagt vermoedelijk make-up, de belichting hier is nogal lastig en nog steeds kunnen we zijn hartslag uit de video halen en best aardig laten zien. Dus hoe doen we dat nou allemaal? In principe analyseren we de veranderingen in het licht die per pixel worden gefilmd en dan vergroten we de veranderingen. We vergroten ze opdat we ze kunnen waarnemen. Het lastige is dat die signalen, die mutaties waar we naar zoeken, extreem subtiel zijn, zodat we erg precies moeten zijn als we ze loskoppelen van de ruis die altijd in dit soort video's voorkomt. We gebruiken dus enkele slimme beeldverwerkingstechnieken om in elke pixel van de video een precieze meting van de kleur te krijgen en de manier waarop die kleur verandert waarna we die veranderingen versterken. We maken ze groter zodat dit soort versterkte, of vergrootte video's ons echt die veranderingen kunnen laten zien. Het blijkt echter dat we niet alleen veranderingen in kleur kunnen tonen, maar ook piepkleine bewegingen, omdat het licht dat in onze camera's opgeslagen wordt niet alleen verandert als de kleur van het object wijzigt, maar ook wanneer het object beweegt. Dit is mijn dochter, toen ze twee maanden oud was Deze video heb ik drie jaar geleden opgenomen. Als nieuwe ouders willen we allemaal dat onze kinderen gezond zijn, dat ze ademen, dat ze leven, natuurlijk. Dus ik kocht ook zo'n baby-monitor om naar mijn dochter te kunnen kijken als ze sliep. Dit is wat je zo ongeveer ziet op een normale baby-monitor. Je ziet dat de baby slaapt, maar verder is er niet veel informatie zichtbaar. Zou het niet fijner zijn, of meer informatief en bruikbaar als we in plaats daarvan dit perspectief zouden hebben. Hier heb ik de bewegingen 30 keer uitvergroot en daardoor kon ik duidelijk zien dat mijn dochter inderdaad in leven was. (Gelach) Hier kun je het naast elkaar zien. Nogmaals, in de bronvideo, de oorspronkelijke video, kunnen we niet erg veel zien, maar wanneer we de bewegingen versterken, wordt de ademhaling beter zichtbaar. Het blijkt dat we veel verschijnselen kunnen ontdekken en versterken met onze nieuwe bewegingsmicroscoop. We kunnen zien hoe onze aders en slagaders kloppen in ons lichaam. We kunnen zien dat onze ogen voortdurend wiebelen. Dit is mijn oog, opgenomen vlak nadat mijn dochter was geboren, dus je kunt zien dat ik slaap tekort kwam. (Gelach) Zelfs wanneer iemand stil zit, is er veel zichtbare informatie over hun ademhalingspatroon en kleine gezichtsuitdrukkingen. Mogelijk kunnen we deze bewegingen gebruiken om ons iets te vertellen over onze gedachten en emoties. We kunnen ook kleine mechanische bewegingen versterken, zoals trillingen in motoren, die ingenieurs helpen met het opsporen en analyseren van machinale problemen, of om te zien hoe onze bouwwerken door wind gaan wiegen en op krachten reageren. Onze maatschappij weet hoe we dit alles op verschillende manieren dit kunnen meten, maar deze bewegingen meten is één ding, om ze daadwerkelijk waar te nemen is iets heel anders. Sinds dat we deze nieuwe technologie ontdekt hebben is onze code online gepubliceerd zodat anderen ermee kunnen experimenteren. Het is erg eenvoudig te gebruiken. Het werkt ook bij je eigen video's. Onze collega's van Quanta Research hebben deze mooie site gemaakt waar je je video's online kan verwerken, zodat je zonder enige ervaring met computers of programmeren heel makkelijk kan experimenteren met deze microscoop. Ik wil jullie graag een aantal voorbeelden tonen van wat anderen er al mee gedaan hebben. Deze video is gemaakt door de YouTube-gebruiker Tamez85. Ik heb geen idee wie 't is, maar hij, of zij, heeft onze code gebruikt om kleine bewegingen in de buik tijdens een zwangerschap te vergroten. Het is een beetje eng. (Gelach) Men heeft het gebruikt om kloppende aderen in hun handen te vergroten. Je weet dat het niet echt wetenschap is tenzij er cavia's gebruikt worden en blijkbaar heet deze cavia Tiffany, die volgens deze YouTuber het eerste knaagdier ter wereld is waarvan de bewegingen vergoot zijn. Je kan er ook kunst mee maken. Deze video werd door een designstudent van Yale ingestuurd. Ze wilde weten of er een verschil te zien was in hoe haar klasgenoten bewegen. Ze liet ze allemaal stilstaan en vergrootte toen hun bewegingen. Het is alsof roerloze beelden tot leven komen. Het mooie van al deze voorbeelden is dat wij er niks mee te maken hebben gehad. We hebben slechts deze nieuwe manier aangeleverd, een nieuwe blik op de wereld, waarna anderen weer interessante, nieuwe en creatieve gebruiksvormen bedachten. Maar daar eindigt het niet. Dit instrument zorgt niet alleen voor een andere blik op de wereld. Het geeft een nieuwe definitie van wat we kunnen en verlegt de grenzen van wat er mogelijk is met onze camera's. Als wetenschappers begonnen we na te denken over welke andere soorten fysieke verschijnselen kleine bewegingen opleveren die nu met onze camera's gemeten kunnen worden. Een van de verschijnselen waarop we ons recentelijk richtten, is geluid. Geluid, zoals je weet, is de verandering van luchtdruk die door de lucht beweegt. Deze drukgolven raken objecten en creëren er kleine trillingen in, waardoor wij geluid kunnen horen en opnemen. Het blijkt echter dat geluid ook visuele bewegingen creëert. De bewegingen zijn niet waarneembaar voor ons, maar wel voor een camera met de juiste bewerkingen. Hier zijn twee voorbeelden. Dit ben ik met mijn enorme zangtalent. (Zingend) (Gelach) Dit is een hogesnelheidsvideo van mijn keel toen ik neuriede. Nogmaals, als je naar de video kijkt is er niet veel dat je kunt zien, maar als we de bewegingen 100 keer groter maken, zien we alle bewegingen en golfjes die in de nek plaatsvinden om het geluid te produceren. Dat signaal is zichtbaar in die video. We weten ook dat zangers een wijnglas kunnen breken als ze de juist noot bereiken. Hier gaan we een noot spelen, die in de resonantiefrequentie van dat glas ligt, door middel van de luidspreker ernaast. Wanneer we die nooit spelen en de bewegingen 250 maal vergroten kunnen we duidelijk zien dat het glas trilt en weerklinkt als gevolg van het geluid. Dat is niet iets dat je iedere dag te zien krijgt. Dit zorgde ervoor dat we gingen nadenken. Het gaf ons dit gekke idee. Kunnen we dit proces omdraaien en geluid uit een video herkrijgen door de kleine trillingen te analyseren die geluidsgolven in objecten creëren en eigenlijk deze golven weer omzetten in de geluiden waardoor ze geproduceerd zijn? Op de manier kunnen we alledaagse objecten omtoveren tot microfoons. Dus dat is precies wat we gedaan hebben. Hier zie je een lege zak chips die op tafel ligt en wij gaan die zak chips veranderen in een microfoon door te filmen met een camera en de kleine bewegingen die geluidsgolven erin creëren te analyseren. Hier is het geluid dat we in de kamer afspeelden. (Muziek: "Mary Had a Little Lamb") Dit is een hogesnelheidsvideo waarin de zak chips gefilmd is. Het speelt opnieuw. Je kan met geen enkele mogelijkheid zien wat er in de video gebeurt door gewoon te kijken, maar hier is het geluid dat we hebben gevonden aan de hand van een video-analyse van die kleine bewegingen. (Muziek: "Mary Had a Little Lamb") Ik noem het -- Dank u. (Applaus) Ik noem het de visuele microfoon. We extraheren in feite audiosignalen uit videosignalen. Om een idee te geven van de schaal van deze bewegingen; een vrij hard geluid zorgt ervoor dat de chips minder dan een micrometer bewegen. Dat is een duizendste van een millimeter. Zo klein zijn de bewegingen die wij nu kunnen ontdekken door gewoon te bekijken hoe licht weerkaatst van objecten en hoe onze camera's dat vastleggen. We kunnen geluid herstellen vanuit andere objecten zoals planten. (Muziek: "Mary Had a Little Lamb") En we kunnen ook spraak herleiden. Hier is een persoon die in een kamer spreekt. Stem: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go. Michael Rubinstein: Hier is de spraak dan weer herleid van de video van diezelfde zak chips. Stem: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, that lamb was sure to go. MR: We namen "Mary Had a Little Lamb" omdat dat de eerste woorden waren die Thomas Edison in 1877 in zijn grammofoon sprak. Het was een van de eerste geluidsopnameapparaten in de geschiedenis. Het stuurde de woorden eigenlijk naar een trilplaat die een naald deed vibreren waardoor het geluid werd gegraveerd op bladtin dat om een cilinder heen was verpakt. Nu een voorbeeld van het opnemen en af- spelen van geluid met Edison's grammofoon. (Video) Stem: Test, test, een twee drie Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. Test, test, een twee drie. Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. MR: En nu, 137 jaar later, kunnen we geluid opwekken in ongeveer dezelfde kwaliteit door via camera's te kijken naar objecten die slechts trillen en dat kan zelfs als de camera 5 meter van het object afstaat, achter geluiddicht glas. Dit is het geluid dat we in zo'n geval wisten te reconstrueren/ Stem: Mary had a little lamb whose fleece was white as snow, and everywhere that Mary went, the lamb was sure to go. MR: Natuurlijk is surveillance de eerste toepassing die je te binnen schiet. (Gelach) Maar het zou voor andere zaken ook erg nuttig kunnen blijken. Misschien kunnen we 't in de toekomst bijvoorbeeld gebruiken om geluid in de ruimte te reconstrueren, want geluid kan niet door de ruimte heen, maar licht kan dat wel. We zijn pas net begonnen met het ontdekken van andere mogelijke gebruiksvormen voor deze nieuwe technologie. Het toont fysieke processen waarvan we weten dat ze er zijn, maar die we nog niet met onze blote ogen konden waarnemen. Dit is ons team. Alles wat jullie vandaag zagen is het gevolg van de samenwerking van deze groep mensen. Ik wil jullie aansporen om onze website te bekijken, het zelf te proberen en met ons de wereld van kleine bewegingen te verkennen. Dankjewel. (Applaus)