Cei mai mulţi ne imaginăm mişcarea ca pe un lucru foarte vizual.
Dacă merg pe scenă sau mişc mâinile în timp ce vorbesc,
puteţi vedea aceste mişcări.
Dar există un univers de mişcări care sunt prea subtile pentru ochiul uman,
iar în ultimii ani,
începem să descoperim că videocamerele
„văd” deseori mişcări care sunt imperceptibile pentru oameni.
Să vă arăt despre ce e vorba.
În partea stângă, vedeţi filmarea încheieturii unei persoane,
iar în dreapta, înregistrarea unui copil care doarme,
dar dacă nu v-aş fi spus că acestea sunt filmări,
aţi fi putut crede că priviţi două imagini obişnuite,
pentru că în ambele cazuri,
aceste filmări par să fie complet nemişcate.
Dar sunt multe mişcări subtile acolo.
Dacă ai atinge încheietura din stânga,
ai simţi un puls,
iar dacă ai pune mâna pe copilul din dreapta,
i-ai simţi ridicarea şi coborârea pieptului,
în timp ce respiră.
Aceste mişcări sunt foarte importante,
dar de obicei sunt prea subtile ca să le putem vedea,
aşa că trebuie să le observăm
prin contact direct, prin atingere.
Cu câţiva ani în urmă,
colegii mei de la MIT au dezvoltat un „microscop al mişcării”,
un program informatic ce găseşte aceste mişcări subtile din filmare
şi le amplifică suficient pentru ca noi să le putem vedea.
Procesând filmarea din stânga cu programul lor,
vom putea vedea pulsul la încheietură,
iar dacă numărăm mişcările,
putem şti câte bătăi pe minut are acea persoană.
Dacă procesăm filmarea din dreapta cu acelaşi program,
vom putea vedea orice inspiraţie a copilului,
lucru util pentru monitorizarea respiraţiei de la distanţă.
Această tehnologie e foarte puternică pentru că analizează fenomene
pe care în mod normal le studiem prin atingere
şi ne permite să le analizăm vizual şi neinvaziv.
Cu doi ani în urmă am început colaborarea cu cei care au creat programul
şi am hotărât să încercăm un proiect extravagant.
Ne-am gândit că e tare că putem folosi programul
ca să vizualizăm mişcări minuscule ca acestea
şi că poţi vedea asta ca pe un mod de a-ţi extinde simţul tactil.
Dar dacă am putea face acelaşi lucru cu simţul nostru auditiv?
Dacă am putea folosi filmarea pentru a capta vibraţiile sunetului,
care sunt doar un alt tip de mişcare
şi să transformăm tot ce vedem într-un microfon?
E o idee neobişnuită,
daţi-mi voie să vă explic.
Microfoanele tradiţionale funcţionează prin conversia mişcării
unei diafragme interne în semnal electric.
Acea diafragmă e proiectată să se mişte sincronizat cu sunetul
această mişcare putând fi înregistrată şi interpretată ca sunet.
Dar sunetul face să vibreze toate obiectele.
Aceste vibraţii sunt prea subtile şi prea rapide ca să le putem vedea.
Ce se-ntâmplă dacă le înregistrăm cu o cameră de mare viteză
şi apoi folosim programul informatic ca să extragem mişcările fine
din filmările cu viteză mare
şi să analizăm aceste mişcări ca să determinăm ce sunete le-au creat?
Aşa am putea transforma de la distanţă obiecte vizibile în microfoane vizuale.
Am încercat să facem asta.
Iată unul din experimentele noastre,
în care am luat planta pe care o vedeţi în dreapta
şi am filmat-o cu o cameră de mare viteză
în timp ce o boxă din apropiere reda acest sunet.
Muzică: ♪ Mary Had a Little Lamb ♪
Aceasta e înregistrarea video,
efectuată cu 1000 de cadre/secundă,
dar chiar dacă priveşti foarte atent,
tot ce vezi sunt nişte frunze,
care doar stau acolo fără să facă nimic,
pentru că sunetul nostru a mişcat frunzele doar cu vreun micrometru.
Adică a zecea mia parte dintr-un centimetru,
adică ceva între o sutime şi o miime dintr-un pixel din această imagine.
Te poţi holba cât vrei,
dar mişcări atât de fine sunt imposibil de perceput vizual.
Dar iată că ceva poate fi imperceptibil pentru ochi,
dar totuși semnificativ pentru tehnologia digitală,
deoarece cu algoritmii potriviţi,
putem prelucra această filmare care pare statică
şi să recuperăm acest sunet.
(Muzică) ♪ Mary Had a Little Lamb ♪
(Aplauze)
Cum e posibil?
Cum putem obţine atâtea informaţii din atât de puţină mişcare?
Să zicem că acele frunze se mişcă doar cu un micrometru
şi că asta modifică imaginea cu doar a mia parte dintr-un pixel.
Poate nu pare mare lucru,
dar un singur cadru al filmului
poate conţine sute de mii de pixeli
şi dacă am combina toate mişcările alea minuscule
din întreaga imagine,
miimile de pixel se pot aduna, rezultând ceva destul de semnificativ.
Între noi fie vorba, am ţopăit de fericire când ne-am dat seama de asta.
(Râsete)
Dar chiar şi cu algoritmul potrivit,
tabloul nu era complet încă.
Sunt mulţi factori care influenţează
funcţionarea acestei tehnologii.
Avem obiectul şi distanţa până la acesta;
avem camera video şi lentilele folosite;
cât de luminat e obiectul şi cât de puternic e sunetul.
Chiar dacă algoritmul era bun,
a trebuit să fim foarte atenţi la primele noastre experimente,
deoarece dacă greşeam oricare din aceşti parametri,
nu aveam cum să ne dăm seama unde era problema.
S-ar fi înregistrat doar interferenţe.
Primele noastre teste arătau cam aşa.
Aici sunt eu,
iar în stânga jos puteţi vedea camera noastră de mare viteză,
orientată către o pungă cu chipsuri.
Totul e luminat de nişte lămpi puternice.
Cum spuneam, trebuia să fim foarte atenţi la aceste experimente timpurii,
Iată ce s-a întâmplat:
(Video) Abe Davis: Trei, doi, unu, start.
Mary had a little lamb! Little lamb! Little lamb!
(Râsete)
AD: Acest experiment pare complet ridicol.
(Râsete)
Ţip la o pungă de chipsuri...
(Râsete)
şi proiectam atâta lumină, încât am topit prima pungă pe care am folosit-o.
(Râsete)
Dar oricât de ridicol pare experimentul,
a fost chiar important,
pentru că am putut capta acest sunet:
♪ Mary had a little lamb! Little lamb! Little lamb! ♪
(Aplauze)
AD: A fost important
deoarece era prima dată când recuperam un mesaj inteligibil
dintr-o filmare fără sunet a unui obiect.
Acesta a fost momentul de referinţă
şi am putut modifica experimentul gradual,
folosind obiecte diferite sau mutându-le mai departe,
folosind mai puţină lumină sau sunete mai slabe.
Am analizat toate aceste experimente
până am înţeles care sunt limitele tehnicii folosite,
pentru că odată ce le-am înţeles,
ne puteam da seama cum să le depăşim.
Asta a dus la experimente ca acesta,
în care voi vorbi din nou unei pungi de chipsuri,
dar acum mutasem camera afară, cam la cinci metri,
separată de o fereastră izolată fonic,
totul fiind iluminat doar de razele solare.
Iată ce am filmat:
Asta se auzea înăuntru, lângă punga de cipsuri.
(Voce)Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
AD: Iată ce am putut recupera din filmarea noastră fără sonor,
de dincolo de acea fereastră.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
(Aplauze)
AD: Sunt şi alte căi prin care putem împinge aceste limite.
Aici e un experiment mai silenţios
în care am filmat nişte căşti conectate la un laptop.
În acest caz, scopul era să captăm melodiile care rulau pe laptop
folosind doar filmarea fără sunet
a acestor două mici căşti din plastic.
Rezultatul a fost atât de bun
încât l-am putut folosi ca să caut cântecul pe Shazam.
(Râsete)
(Muzică) Queen - ♪ Under Pressure ♪
(Aplauze)
Putem merge mai departe, schimbând aparatura folosită.
Experimentele pe care vi le-am arătat până acum
au fost făcute cu o cameră de mare viteză,
ce poate înregistra de 100 de ori mai repede
decât majoritatea telefoanelor mobile.
Dar am găsit o cale să folosim această tehnică
cu videocamere mai simple
şi facem asta profitând de ceea ce se numeşte rolling shutter.
Majoritatea camerelor captează imaginile rând cu rând,
deci când obiectul se mişcă în timpul captării unei singure imagini,
există un uşor decalaj între rânduri,
lucru ce produce mici artefacte
care sunt codificate în fiecare cadru al filmării.
Am descoperit că analizând aceste artefacte,
putem recupera sunetul, folosind varianta modificată a algoritmului nostru.
Aici e un experiment
în care am filmat o pungă de bomboane
aflată lângă o boxă
din care se auzea acelaşi „Mary Had a Little Lamb”,
dar acum am folosit o videocameră obişnuită.
Imediat vă voi reda sunetul pe care l-am înregistrat.
Va suna distorsionat de această dată,
dar ascultaţi şi observaţi dacă puteţi recunoaşte melodia.
(Audio) ♪ Mary Had a Little Lamb ♪
Sună distorsionat,
dar e extraordinar că am putut face asta
cu o cameră pe care o puteţi cumpăra
de la un magazin de electronice.
În acest moment,
mulţi privesc această tehnologie
şi se gândesc imediat la supraveghere.
Să fiu sincer,
e uşor de folosit pentru a spiona pe cineva.
Dar nu uitaţi că deja există tehnologii avansate pentru supraveghere.
De fapt, oamenii folosesc lasere
ca să tragă cu urechea de la distanţă de câteva decenii.
Ce e cu adevărat nou aici,
ce e cu adevărat diferit,
e că acum putem ilustra vibraţiile unui obiect,
lucru care ne dă posibilitatea să privim lumea cu alți ochi.
Putem folosi această perspectivă
ca să studiem nu numai forţe ca sunetul care face un obiect să vibreze,
dar și obiectul în sine.
Vreau să mă opresc
şi să-mi imaginez cum ar putea asta să schimbe modul în care folosim filmul,
deoarece de obicei folosim filmarea ca să ne uităm la lucruri
şi tocmai v-am arătat cum o putem folosi
ca să ascultăm lucrurile.
Dar mai e o cale prin care putem afla lucruri importante despre lume:
interacţionând cu ea.
Împingem şi tragem, testăm lucrurile.
Scuturăm obiectele şi observăm ce se întâmplă.
Ăsta e un lucru pe care filmarea nu ni-l permite încă,
cel puţin nu în mod tradiţional.
Vreau să vă arăt o tehnologie nouă,
bazată pe o idee ce mi-a venit acum câteva luni.
Asta e prima dată când o prezint public.
Ideea de bază e că vom folosi vibraţiile din filmare
ca să captăm obiectele într-un mod care ne permite să interacţionăm cu ele
şi să vedem cum reacţionează.
Aici e un obiect,
un filament în formă de om,
pe care îl vom filma cu o cameră banală.
Această cameră nu are nimic special.
De fapt, făcusem asta înainte, cu camera telefonului meu mobil.
Pentru că vrem cu adevărat să vedem cum vibrează obiectul
vom lovi suprafaţa pe care e aşezat
în timp ce filmăm.
Asta e: o filmare obişnuită de numai cinci secunde,
în timp ce lovim această suprafaţă.
Vom folosi vibraţiile din filmare
ca să cunoaştem proprietăţile structurale şi materiale ale obiectului nostru
şi vom folosi această informaţie ca să creăm ceva nou şi interactiv.
Iată ce am realizat.
Arată ca o imagine obişnuită,
dar nu e o imagine şi nu este o filmare,
pentru că acum pot lua mausul
şi pot interacţiona cu obiectul.
Aici vedeţi
o simulare a modului în care acest obiect
ar reacţiona la forţe noi pe care nu le-am mai văzut
şi am obţinut acest lucru doar dintr-un film de cinci secunde.
(Aplauze)
Asta e o metodă foarte puternică de a analiza lumea,
pentru că ne permite să anticipăm cum vor reacţiona obiectele
la situaţii noi.
De exemplu, v-aţi putea imagina că priviți un pod vechi
şi vă întrebaţi ce s-ar întâmpla, cum ar rezista
dacă ar trebui să-l traversați cu maşina.
Poate că asta e o întrebare la care aţi vrea să răspundeţi
înainte să începeţi traversarea.
Desigur, sunt anumite limitări,
la fel ca şi în cazul microfonului vizual,
dar am descoperit că funcționează în multe cazuri
în care nu ne-am fi aşteptat,
mai ales dacă foloseşti filmări mai lungi.
De exemplu, aici e o filmare
a unui tufiş din faţa casei mele.
Nu i-am făcut nimic acestui tufiş,
dar filmându-l timp de un minut,
o adiere uşoară a provocat destule vibraţii
ca să aflăm suficient despre tufiș pentru a crea această simulare:
(Aplauze)
Vă puteţi imagina ce ar putea face un regizor cu asta,
dacă, de exemplu, ar putea controla
puterea şi direcţia vântului într-o scenă deja filmată.
Aici am îndreptat camera spre o draperie.
Nu se vede nicio mişcare în această filmare,
dar filmând o secvenţă de două minute,
curenţii naturali de aer din încăpere
au creat destule mişcări şi vibraţii imperceptibile
ca să ştim suficient pentru a crea această simulare.
Ironia este
că suntem destul de obişnuiţi cu astfel de interacţiuni
când e vorba de obiecte virtuale,
când e vorba de jocuri video şi modele 3D,
dar ca să putem aduna aceste informaţii de la obiecte reale din lumea reală
folosind numai filmări obişnuite,
e un lucru nou, cu mare potenţial.
Ei sunt oamenii extraordinari cu care am colaborat la aceste proiecte.
(Aplauze)
Ce v-am arătat astăzi, e doar începutul.
Abia începem să ne imaginăm
ce putem face cu acest tip de filmări,
pentru că ne oferă un nou mod
de a capta ce ne înconjoară cu o tehnologie banală, accesibilă.
Privind în perspectivă,
va fi cu adevărat interesant să explorăm
ce ne poate spune asta despre lume.
Mulţumesc.
(Aplauze)