În ultimele secole, microscoapele ne-au revoluţionat lumea. Ne-au dezvăluit o lume minusculă a obiectelor, vieţii şi structurilor, prea mici să le vedem cu ochiul liber. Au o contribuţie imensă în ştiinţă şi tehnologie. Azi vreau să vă prezint un nou tip de microscop, un microscop pentru schimbări. Nu foloseşte optica, precum un microscop obişnuit pentru a mări obiecte mici, ci foloseşte o cameră video şi procesarea imaginilor pentru a dezvălui mişcări imperceptibile, schimbări de culori la obiecte şi oameni, schimbări imposibil de perceput cu ochiul liber. Şi ne permite să privim lumea ȋntr-un mod cu totul nou. Ce vreau să zic prin schimbări de culoare? Pielea, de exemplu, ȋşi schimbă culoarea foarte puţin când sângele curge sub ea. Schimbarea e insesizabilă, de aceea, când te uiţi la alţi oameni, când te uiţi la persoana care stă lângă tine nu le vezi pielea sau fața schimbându-și culoarea. Când urmărim acest videoclip cu Steve, ȋl vedem ca o imagine statică, dar când îl urmărim prin noul nostru microscop special, observăm imediat o imagine cu totul diferită. Vedeţi mici schimbări ale culorii pielii lui Steve, amplificate de 100 de ori pentru a deveni vizibile. Putem vedea şi pulsul uman. Putem vedea cât de repede bate inima lui Steve, dar vedem efectiv modul ȋn care curge sângele prin faţa lui. Putem face asta nu doar ca să vizualizăm pulsul, ci şi pentru măsurarea ritmului cardiac. Şi facem asta cu camere video obişnuite şi fără să atingem pacienţii. Aici vedeți pulsul şi ritmul cardiac al unui copil aflat in perioada neonatală dintr-un video realizat cu o cameră obişnuită DSLR, iar măsurarea ritmului cardiac evaluată este la fel de precisă ca cea a unui aparat standard folosit ȋn spitale. Nici nu trebuie să fie neapărat înregistrarea noastră. Putem face la fel şi cu alte video înregistrări. Am luat o scurtă secvenţă din filmul „Batman – Începuturi" doar ca să arăt pulsul lui Christian Bale. (Râsete) Şi probabil poartă machiaj, luminozitatea e destul de problematică, totuşi, plecând de la video am reușit să extragem pulsul şi să-l arătăm destul de bine. Deci cum facem toate astea? Analizăm schimbările de luminozitate ȋnregistrate ȋn clip de fiecare pixel în timp şi apoi amplificăm acele schimbări. Le facem mai mari ca să le putem observa. Partea complicată sunt acele semnale, acele schimbări pe care le urmărim sunt extrem de subtile deci trebuie să fim foarte atenţi când ȋncercăm sa le separăm de zgomotul existent mereu în videouri. Folosim tehnici inteligente de procesare a imaginilor pentru a obţine o măsurare precisă a culorii fiecărui pixel din video şi apoi schimbarea în timp a culorii după care amplificăm schimbările. Le intensificăm pentru a crea clipuri ȋmbunătăţite sau amplificate care ne revelează acele schimbări. Dar putem face asta nu doar pentru schimbări infime de culoare dar și micromişcări, şi asta pentru ca lumina ȋnregistrată ȋn camerele noastre se schimbă nu numai când culoarea obiectului se schimbă, ci şi dacă obiectul se mișcă. Aceasta e fiica mea când avea 2 luni. E un filmuleţ ȋnregistrat acum 3 ani. Ca părinţi, toţi vrem să ne asigurăm că ne sunt sănătoşi copiii, că respiră, că sunt vii, bineȋnţeles. Mi-am luat şi eu un monitor pentru bebeluşi ca să ȋmi pot vedea fiica dormind. Cam asta vedem cu un monitor standard de bebeluşi. Vezi copilul dormind, dar nu ai prea multe informaţii. Nu vezi prea multe. N-ar fi mai bine, mai informativ sau mai folositor, dacă am putea vedea lucrurile aşa? Aici am luat mişcările şi le-am amplificat de 30 de ori. şi așa am văzut clar că fiica mea era cu adevărat vie și respira. (Râsete) Iată o comparaţie ȋntre cele două. În filmuleţul sursă, ȋn videoul original, nu vedem prea multe, dar când amplificăm mişcările, respiraţia devine mult mai vizibilă. Şi există multe fenomene ce pot fi dezvăluite şi amplificate cu noul nostru microscop de mişcare. Vedem cum venele şi arterele pulsează ȋn organismele noastre. Vedem că ochii se mişcă continuu ȋntr-o mişcare oscilatorie. Acesta este ochiul meu, iar înregistrarea a fost făcută la scurt timp după ce s-a născut fiica mea aşa că vedeți că nu prea reuşeam să dorm. (Râsete) Chiar şi când o persoană stă nemişcată, putem extrage multe informaţii despre obiceiurile lor de respiraţie, microexpresiile lor faciale. Poate am putea folosi aceste mişcări pentru a ne analiza gândurile şi emoţiile. Putem amplifica şi mici mişcări mecanice, precum vibraţii ȋn motoare, care pot ajuta inginerii să identifice problemele maşinilor, sau să observe clădiri şi structuri oscilând ȋn bătaia vântului şi reacţionând la forţe. Astea sunt măsurători pe care societatea ştie să le facă ȋn diferite moduri, dar să măsori mişcările este una, iar să vezi în timp real, e cu totul altceva. De când am descoperit această nouă tehnologie, am publicat codul online ca alții să-l utilizeze şi să-l experimenteze. Este uşor de utilizat. Poate funcţiona şi pe clipurile voastre. Colaboratorii de la Quantum Research au şi creat un website unde poţi încărca și procesa videourile online, chiar dacă n-ai deloc experienţă ȋn ştiinţa computerelor sau programare, poţi experimenta totuşi cu acest nou microscop. Aş dori să vă arăt doar câteva exemple de ce au făcut alţii cu microscopul. Acest video a fost făcut de un utilizator YouTube, Tamez85. Nu ştiu cine este acest utilizator, dar el sau ea a folosit codul nostru să amplifice mici mişcări ale pântecului ȋn timpul sarcinii. E ciudat. (Râsete) Alţi oameni l-au folosit pentru a-şi amplifica pulsul venelor de pe mână. Şi nu-i ştiinţă adevarată până nu-i testată pe cobai, se pare că numele acestui porcuşor de Guinea este Tiffany, iar acest utilizator YouTube susține că e prima rozătoare de pe pămant ale cărei mişcări au fost amplificate. Puteţi realiza şi artă cu el. O studentă la design de la Univ. Yale mi-a trimis acest fimuleţ. Vroia să vadă dacă este vreo diferenţă ȋntre modurile ȋn care se mişcă colegii ei de clasă. I-a pus pe toţi să stea ȋn picioare nemişcaţi şi le-a amplificat mişcările. E ca şi cum ai vedea fotografii statice prinzând viaţă. Iar interesant la toate aceste exemple este că noi nu am ne-am implicat. Noi doar am pus la dispoziţie acest nou instrument, un nou mod de a privi lumea, iar oamenii găsesc noi moduri creative şi interesante de a-l folosi. Dar nu ne-am oprit aici. Acest instrument ne permite nu doar să privim lumea cu alţi ochi, ci şi redefineşte şi extinde limitele şi extinde limitele a ceea ce putem face cu camerele video. Ca oameni de ştiinţă, am ȋnceput să ne ȋntrebăm ce alte tipuri de fenomene fizice produc micromişcări pe care le-am putea vizualiza acum cu camerele video? Un astfel de fenomen pe care ne-am concentrat recent este sunetul. Sunetul, ştim cu toţii, e compus din schimbări ȋn presiunea aerului care călătoresc prin aer. Undele de presiune lovesc obiecte, generând mici vibraţii ȋn interiorul lor, care ne permit să auzim şi să ȋnregistrăm sunete. Dar sunetul produce şi mişcări vizuale. Nouă ne sunt imperceptibile, dar ele sunt vizibile pe o cameră video cu procesarea potrivită. Iată două exemple. Aici sunt eu demonstrându-mi grozavul talent muzical. (Muzică) (Râsete) Mi-am făcut un video la viteză mare al gâtului ȋn timp ce fredonam. Dacă te holbezi la video nu vezi mare lucru, dar amplificand mişcările de 100 de ori, vedem mişcările şi unduirile gatului implicate ȋn producerea sunetului. Semnalul este acolo ȋn video. Cântăreţii pot sparge un pahar de vin dacă ating nota corectă. Vom cânta o notă ȋn frecvenţa de rezonanţă a acelui pahar printr-un difuzor care se află alături. Când cântăm nota şi amplificăm mişcările de 250 de ori, vedem clar cum vibrează paharul şi rezonează ca răspuns la sunet. Nu e ceva ce vedeţi ȋn fiecare zi. Dar ne-a dat de gândit. Ne-a dat ideea asta nebună. Putem oare să inversăm procesul şi să redăm sunetul din video analizând micile vibraţii create de undele de sunet ȋn obiecte, şi practic să le convertim din nou în sunetele care le-au produs? Astfel am putea transforma orice obiect ȋntr-un microfon. Şi exact asta am făcut. Iată o pungă goală de chipsuri care stă pe o masă. Vom transforma punga de chipsuri ȋntr-un microfon filmând-o cu o cameră video şi analizând micromişcările pe care undele de sunet le creează ȋn interiorul său. Iată sunetul care s-a auzit ȋn cameră. (Muzică: "Mary avea un mieluşel") Și iată inregistrarea de mare viteză a pungii de chipsuri. Şi cântă din nou. E imposibil să vedeţi ce se intâmplă ȋn video, doar utându-vă la el, dar iată sunetul pe care l-am redat când am analizat micromişcările din video. (Muzică: "Mary avea un mieluşel") Eu ȋl numesc... Mulţumesc. (Aplauze) Eu ȋl numesc microfonul vizual. Extragem semnale audio din semnale video. Doar ca să vă dau o idee despre magnitudinea mişcărilor, un sunet destul de puternic va mişca punga mai puţin de un micrometru. Asta-i a mia parte dintr-un milimetru. Atât de mici sunt mişcările pe care le putem extrage acum doar observând cum ricoşează lumina de pe suprafața obiectelor şi e ȋnregistrată de camerele video. Putem sintetiza sunete plecând şi de la alte obiecte, ca plantele. (Muzică: "Mary avea un mieluşel") Putem resintetiza şi sunete vorbite. Iată o persoană care vorbeşte ȋntr-o cameră. Voce: „Mary avea un mieluşel, cu lâna albă ca zăpada, și oriunde mergea Mary, mieluşelul o urma." Michael Rubinstein: şi iată sunetul vocii redat din acelaşi video cu aceeaşi pungă de chipsuri. Voce: "Mary avea un mieluşel, cu lâna albă ca zăpada," și oriunde mergea Mary, mieluşelul o urma." MR: Am folosit „Mary avea un mieluşel" pentru că se spune că acestea au fost primele cuvinte pe care Thomas Edison le-a spus ȋn fonograful lui din 1877. A fost printre primele instrumente de ȋnregistrări sonore din istorie. Practic, direcţiona sunetele ȋntr-o diafragmă care făcea acele să vibreze, gravând sunetul pe o foiță de staniol ce acoperea un cilindru. Iată o demonstraţie de ȋnregistrare şi redare cu fonograful lui Edison. (Video) Voce: Test, test, unu, doi, trei." „Mary avea un mieluşel, cu lâna albă ca zăpada oriunde mergea Mary, mieluşelul o urma." Test, test, unu, doi, trei. „Mary avea un mieluşel, cu lâna albă ca zăpada Oriunde mergea Mary, mieluşelul o urma." MR: Şi acum, după 137 de ani, reușim să redăm sunetul cu o calitate aproape egală, doar înregistrând vibrațiile cu camera, obiecte care vibrează la sunete şi putem face asta când camera e la 4,5 m depărtare de obiect, ȋn spatele unui geam izolat fonic Acesta e sunetul pe care am reușit să-l redăm ȋn acest caz. Voce: Mary avea un mieluşel cu lâna albă ca zăpada, oriunde mergea Mary mieluşelul o urma." MR: Bineȋnţeles, supravegherea e prima utilizare la care ne gândim. (Râsete) Dar poate fi folositor şi pentru alte lucruri. Poate ȋn viitor ȋl vom putea folosi, de exemplu, pentru a reda sunetele ȋn spaţiu, pentru că sunetul nu poate călători ȋn spaţiu, doar lumina. Doar am ȋnceput să explorăm toate utilizările posibile pentru această nouă tehnologie. Ne permite să vedem procese fizice care ştim că există, dar pe care nu le-am putut vedea cu ochii până acum. Aceasta este echipa noastră. Tot ce v-am arătat astăzi este rezultatul colaborării acestui grup grozav de oameni pe care ȋi vedeţi. Vă ȋncurajez şi vă invit să ne vizitaţi site-ul, să ȋncercaţi şi voi, şi să vă alăturaţi nouă ȋn explorarea acestei lumi de micromişcări. Mulţumesc. (Aplauze)