Cei mai mulţi ne imaginăm mişcarea
ca pe un lucru foarte vizual.
Dacă merg pe scenă sau mişc mâinile
în timp ce vorbesc,
puteţi vedea aceste mişcări.
Dar există un univers de mişcări
care sunt prea subtile pentru ochiul uman,
iar în ultimii ani,
începem să descoperim că videocamerele
„văd” deseori mişcări care sunt
imperceptibile pentru oameni.
Să vă arăt despre ce e vorba.
În partea stângă, vedeţi filmarea
încheieturii unei persoane,
iar în dreapta, înregistrarea
unui copil care doarme,
dar dacă nu v-aş fi spus
că acestea sunt filmări,
aţi fi putut crede că priviţi
două imagini obişnuite,
pentru că în ambele cazuri,
aceste filmări par să fie
complet nemişcate.
Dar sunt multe mişcări subtile acolo.
Dacă ai atinge încheietura din stânga,
ai simţi un puls,
iar dacă ai pune mâna
pe copilul din dreapta,
i-ai simţi ridicarea
şi coborârea pieptului,
în timp ce respiră.
Aceste mişcări sunt foarte importante,
dar de obicei sunt prea subtile
ca să le putem vedea,
aşa că trebuie să le observăm
prin contact direct, prin atingere.
Cu câţiva ani în urmă,
colegii mei de la MIT au dezvoltat
un „microscop al mişcării”,
un program informatic ce găseşte
aceste mişcări subtile din filmare
şi le amplifică suficient
pentru ca noi să le putem vedea.
Procesând filmarea din stânga
cu programul lor,
vom putea vedea pulsul la încheietură,
iar dacă numărăm mişcările,
putem şti câte bătăi pe minut
are acea persoană.
Dacă procesăm filmarea din dreapta
cu acelaşi program,
vom putea vedea
orice inspiraţie a copilului,
lucru util pentru monitorizarea
respiraţiei de la distanţă.
Această tehnologie e foarte puternică
pentru că analizează fenomene
pe care în mod normal
le studiem prin atingere
şi ne permite să le analizăm
vizual şi neinvaziv.
Cu doi ani în urmă am început colaborarea
cu cei care au creat programul
şi am hotărât să încercăm
un proiect extravagant.
Ne-am gândit că e tare
că putem folosi programul
ca să vizualizăm
mişcări minuscule ca acestea
şi că poţi vedea asta ca pe un mod
de a-ţi extinde simţul tactil.
Dar dacă am putea face acelaşi lucru
cu simţul nostru auditiv?
Dacă am putea folosi filmarea
pentru a capta vibraţiile sunetului,
care sunt doar un alt tip de mişcare
şi să transformăm tot ce vedem
într-un microfon?
E o idee neobişnuită,
daţi-mi voie să vă explic.
Microfoanele tradiţionale
funcţionează prin conversia mişcării
unei diafragme interne
în semnal electric.
Acea diafragmă e proiectată
să se mişte sincronizat cu sunetul
această mişcare putând fi înregistrată
şi interpretată ca sunet.
Dar sunetul face să vibreze
toate obiectele.
Aceste vibraţii sunt prea subtile
şi prea rapide ca să le putem vedea.
Ce se-ntâmplă dacă le înregistrăm
cu o cameră de mare viteză
şi apoi folosim programul informatic
ca să extragem mişcările fine
din filmările cu viteză mare
şi să analizăm aceste mişcări
ca să determinăm ce sunete le-au creat?
Aşa am putea transforma de la distanţă
obiecte vizibile în microfoane vizuale.
Am încercat să facem asta.
Iată unul din experimentele noastre,
în care am luat planta
pe care o vedeţi în dreapta
şi am filmat-o cu o cameră de mare viteză
în timp ce o boxă din apropiere
reda acest sunet.
Muzică:
♪ Mary Had a Little Lamb ♪
Aceasta e înregistrarea video,
efectuată cu 1000 de cadre/secundă,
dar chiar dacă priveşti foarte atent,
tot ce vezi sunt nişte frunze,
care doar stau acolo fără să facă nimic,
pentru că sunetul nostru a mişcat frunzele
doar cu vreun micrometru.
Adică a zecea mia parte
dintr-un centimetru,
adică ceva între o sutime şi o miime
dintr-un pixel din această imagine.
Te poţi holba cât vrei,
dar mişcări atât de fine
sunt imposibil de perceput vizual.
Dar iată că ceva
poate fi imperceptibil pentru ochi,
dar totuși semnificativ
pentru tehnologia digitală,
deoarece cu algoritmii potriviţi,
putem prelucra această filmare
care pare statică
şi să recuperăm acest sunet.
(Muzică) ♪ Mary Had a Little Lamb ♪
(Aplauze)
Cum e posibil?
Cum putem obţine atâtea informaţii
din atât de puţină mişcare?
Să zicem că acele frunze
se mişcă doar cu un micrometru
şi că asta modifică imaginea
cu doar a mia parte dintr-un pixel.
Poate nu pare mare lucru,
dar un singur cadru al filmului
poate conţine sute de mii de pixeli
şi dacă am combina
toate mişcările alea minuscule
din întreaga imagine,
miimile de pixel se pot aduna,
rezultând ceva destul de semnificativ.
Între noi fie vorba, am ţopăit de fericire
când ne-am dat seama de asta.
(Râsete)
Dar chiar şi cu algoritmul potrivit,
tabloul nu era complet încă.
Sunt mulţi factori care influenţează
funcţionarea acestei tehnologii.
Avem obiectul şi distanţa până la acesta;
avem camera video şi lentilele folosite;
cât de luminat e obiectul
şi cât de puternic e sunetul.
Chiar dacă algoritmul era bun,
a trebuit să fim foarte atenţi
la primele noastre experimente,
deoarece dacă greşeam
oricare din aceşti parametri,
nu aveam cum să ne dăm seama
unde era problema.
S-ar fi înregistrat doar interferenţe.
Primele noastre teste arătau cam aşa.
Aici sunt eu,
iar în stânga jos puteţi vedea
camera noastră de mare viteză,
orientată către o pungă cu chipsuri.
Totul e luminat de nişte lămpi puternice.
Cum spuneam, trebuia să fim foarte atenţi
la aceste experimente timpurii,
Iată ce s-a întâmplat:
(Video) Abe Davis: Trei, doi, unu, start.
Mary had a little lamb!
Little lamb! Little lamb!
(Râsete)
AD: Acest experiment pare complet ridicol.
(Râsete)
Ţip la o pungă de chipsuri...
(Râsete)
şi proiectam atâta lumină, încât am topit
prima pungă pe care am folosit-o.
(Râsete)
Dar oricât de ridicol pare experimentul,
a fost chiar important,
pentru că am putut capta acest sunet:
♪ Mary had a little lamb!
Little lamb! Little lamb! ♪
(Aplauze)
AD: A fost important
deoarece era prima dată
când recuperam un mesaj inteligibil
dintr-o filmare fără sunet a unui obiect.
Acesta a fost momentul de referinţă
şi am putut modifica experimentul gradual,
folosind obiecte diferite
sau mutându-le mai departe,
folosind mai puţină lumină
sau sunete mai slabe.
Am analizat toate aceste experimente
până am înţeles care sunt
limitele tehnicii folosite,
pentru că odată ce le-am înţeles,
ne puteam da seama cum să le depăşim.
Asta a dus la experimente ca acesta,
în care voi vorbi din nou
unei pungi de chipsuri,
dar acum mutasem camera
afară, cam la cinci metri,
separată de o fereastră izolată fonic,
totul fiind iluminat
doar de razele solare.
Iată ce am filmat:
Asta se auzea înăuntru,
lângă punga de cipsuri.
(Voce)Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
AD: Iată ce am putut recupera
din filmarea noastră fără sonor,
de dincolo de acea fereastră.
Mary had a little lamb
whose fleece was white as snow,
and everywhere that Mary went,
that lamb was sure to go.
(Aplauze)
AD: Sunt şi alte căi
prin care putem împinge aceste limite.
Aici e un experiment mai silenţios
în care am filmat nişte căşti
conectate la un laptop.
În acest caz, scopul era
să captăm melodiile care rulau pe laptop
folosind doar filmarea fără sunet
a acestor două mici căşti din plastic.
Rezultatul a fost atât de bun
încât l-am putut folosi
ca să caut cântecul pe Shazam.
(Râsete)
(Muzică) Queen - ♪ Under Pressure ♪
(Aplauze)
Putem merge mai departe,
schimbând aparatura folosită.
Experimentele pe care
vi le-am arătat până acum
au fost făcute
cu o cameră de mare viteză,
ce poate înregistra
de 100 de ori mai repede
decât majoritatea telefoanelor mobile.
Dar am găsit o cale
să folosim această tehnică
cu videocamere mai simple
şi facem asta profitând
de ceea ce se numeşte rolling shutter.
Majoritatea camerelor
captează imaginile rând cu rând,
deci când obiectul se mişcă
în timpul captării unei singure imagini,
există un uşor decalaj între rânduri,
lucru ce produce mici artefacte
care sunt codificate
în fiecare cadru al filmării.
Am descoperit că analizând
aceste artefacte,
putem recupera sunetul, folosind
varianta modificată a algoritmului nostru.
Aici e un experiment
în care am filmat o pungă de bomboane
aflată lângă o boxă
din care se auzea acelaşi
„Mary Had a Little Lamb”,
dar acum am folosit
o videocameră obişnuită.
Imediat vă voi reda
sunetul pe care l-am înregistrat.
Va suna distorsionat
de această dată,
dar ascultaţi şi observaţi
dacă puteţi recunoaşte melodia.
(Audio) ♪ Mary Had a Little Lamb ♪
Sună distorsionat,
dar e extraordinar
că am putut face asta
cu o cameră pe care o puteţi cumpăra
de la un magazin de electronice.
În acest moment,
mulţi privesc această tehnologie
şi se gândesc imediat la supraveghere.
Să fiu sincer,
e uşor de folosit
pentru a spiona pe cineva.
Dar nu uitaţi că deja există
tehnologii avansate pentru supraveghere.
De fapt, oamenii folosesc lasere
ca să tragă cu urechea de la distanţă
de câteva decenii.
Ce e cu adevărat nou aici,
ce e cu adevărat diferit,
e că acum putem ilustra
vibraţiile unui obiect,
lucru care ne dă posibilitatea
să privim lumea cu alți ochi.
Putem folosi această perspectivă
ca să studiem nu numai forţe ca sunetul
care face un obiect să vibreze,
dar și obiectul în sine.
Vreau să mă opresc
şi să-mi imaginez cum ar putea asta
să schimbe modul în care folosim filmul,
deoarece de obicei folosim filmarea
ca să ne uităm la lucruri
şi tocmai v-am arătat cum o putem folosi
ca să ascultăm lucrurile.
Dar mai e o cale prin care putem afla
lucruri importante despre lume:
interacţionând cu ea.
Împingem şi tragem, testăm lucrurile.
Scuturăm obiectele
şi observăm ce se întâmplă.
Ăsta e un lucru pe care
filmarea nu ni-l permite încă,
cel puţin nu în mod tradiţional.
Vreau să vă arăt o tehnologie nouă,
bazată pe o idee
ce mi-a venit acum câteva luni.
Asta e prima dată când o prezint public.
Ideea de bază e că vom folosi
vibraţiile din filmare
ca să captăm obiectele într-un mod
care ne permite să interacţionăm cu ele
şi să vedem cum reacţionează.
Aici e un obiect,
un filament în formă de om,
pe care îl vom filma cu o cameră banală.
Această cameră nu are nimic special.
De fapt, făcusem asta înainte,
cu camera telefonului meu mobil.
Pentru că vrem cu adevărat
să vedem cum vibrează obiectul
vom lovi suprafaţa pe care e aşezat
în timp ce filmăm.
Asta e: o filmare obişnuită
de numai cinci secunde,
în timp ce lovim această suprafaţă.
Vom folosi vibraţiile din filmare
ca să cunoaştem proprietăţile structurale
şi materiale ale obiectului nostru
şi vom folosi această informaţie
ca să creăm ceva nou şi interactiv.
Iată ce am realizat.
Arată ca o imagine obişnuită,
dar nu e o imagine şi nu este o filmare,
pentru că acum pot lua mausul
şi pot interacţiona cu obiectul.
Aici vedeţi
o simulare a modului
în care acest obiect
ar reacţiona la forţe noi
pe care nu le-am mai văzut
şi am obţinut acest lucru
doar dintr-un film de cinci secunde.
(Aplauze)
Asta e o metodă foarte puternică
de a analiza lumea,
pentru că ne permite să anticipăm
cum vor reacţiona obiectele
la situaţii noi.
De exemplu, v-aţi putea imagina
că priviți un pod vechi
şi vă întrebaţi ce s-ar întâmpla,
cum ar rezista
dacă ar trebui să-l traversați cu maşina.
Poate că asta e o întrebare
la care aţi vrea să răspundeţi
înainte să începeţi traversarea.
Desigur, sunt anumite limitări,
la fel ca şi în cazul microfonului vizual,
dar am descoperit
că funcționează în multe cazuri
în care nu ne-am fi aşteptat,
mai ales dacă foloseşti filmări mai lungi.
De exemplu, aici e o filmare
a unui tufiş din faţa casei mele.
Nu i-am făcut nimic acestui tufiş,
dar filmându-l timp de un minut,
o adiere uşoară a provocat
destule vibraţii
ca să aflăm suficient despre tufiș
pentru a crea această simulare:
(Aplauze)
Vă puteţi imagina
ce ar putea face un regizor cu asta,
dacă, de exemplu, ar putea controla
puterea şi direcţia vântului
într-o scenă deja filmată.
Aici am îndreptat camera spre o draperie.
Nu se vede nicio mişcare
în această filmare,
dar filmând o secvenţă de două minute,
curenţii naturali de aer din încăpere
au creat destule mişcări
şi vibraţii imperceptibile
ca să ştim suficient
pentru a crea această simulare.
Ironia este
că suntem destul de obişnuiţi
cu astfel de interacţiuni
când e vorba de obiecte virtuale,
când e vorba de jocuri video
şi modele 3D,
dar ca să putem aduna aceste informaţii
de la obiecte reale din lumea reală
folosind numai filmări obişnuite,
e un lucru nou, cu mare potenţial.
Ei sunt oamenii extraordinari
cu care am colaborat la aceste proiecte.
(Aplauze)
Ce v-am arătat astăzi,
e doar începutul.
Abia începem să ne imaginăm
ce putem face cu acest tip de filmări,
pentru că ne oferă un nou mod
de a capta ce ne înconjoară
cu o tehnologie banală, accesibilă.
Privind în perspectivă,
va fi cu adevărat interesant să explorăm
ce ne poate spune asta despre lume.
Mulţumesc.
(Aplauze)