O nouă tehnologie video ce dezvăluie proprietățile ascunse ale obiectelor

În jurul nostru se produc mereu mișcări subtile, inclusiv vibrații infime produse de sunet. Noua tehnologie permite captarea acestor vibrații și reconstituirea sunetelor și conversațiilor doar dintr-o filmare a unui obiect aparent nemișcat. Acum, Abe Davids trece la nivelul următor: urmăriți-l prezentând programul informatic ce permite oricui să interacționeze cu aceste proprietăți ascunse, pornind de la o simplă filmare.

Cei mai mulţi ne imaginăm mişcarea
ca pe un lucru foarte vizual.

Dacă merg pe scenă sau mişc mâinile
în timp ce vorbesc,

puteţi vedea aceste mişcări.

Dar există un univers de mişcări
care sunt prea subtile pentru ochiul uman,

iar în ultimii ani,

începem să descoperim că videocamerele

„văd” deseori mişcări care sunt
imperceptibile pentru oameni.

Să vă arăt despre ce e vorba.

În partea stângă, vedeţi filmarea
încheieturii unei persoane,

iar în dreapta, înregistrarea
unui copil care doarme,

dar dacă nu v-aş fi spus
că acestea sunt filmări,

aţi fi putut crede că priviţi
două imagini obişnuite,

pentru că în ambele cazuri,

aceste filmări par să fie
complet nemişcate.

Dar sunt multe mişcări subtile acolo.

Dacă ai atinge încheietura din stânga,

ai simţi un puls,

iar dacă ai pune mâna
pe copilul din dreapta,

i-ai simţi ridicarea
şi coborârea pieptului,

în timp ce respiră.

Aceste mişcări sunt foarte importante,

dar de obicei sunt prea subtile
ca să le putem vedea,

aşa că trebuie să le observăm

prin contact direct, prin atingere.

Cu câţiva ani în urmă,

colegii mei de la MIT au dezvoltat
un „microscop al mişcării”,

un program informatic ce găseşte
aceste mişcări subtile din filmare

şi le amplifică suficient
pentru ca noi să le putem vedea.

Procesând filmarea din stânga
cu programul lor,

vom putea vedea pulsul la încheietură,

iar dacă numărăm mişcările,

putem şti câte bătăi pe minut
are acea persoană.

Dacă procesăm filmarea din dreapta
cu acelaşi program,

vom putea vedea
orice inspiraţie a copilului,

lucru util pentru monitorizarea
respiraţiei de la distanţă.

Această tehnologie e foarte puternică
pentru că analizează fenomene

pe care în mod normal
le studiem prin atingere

şi ne permite să le analizăm
vizual şi neinvaziv.

Cu doi ani în urmă am început colaborarea
cu cei care au creat programul

şi am hotărât să încercăm
un proiect extravagant.

Ne-am gândit că e tare
că putem folosi programul

ca să vizualizăm
mişcări minuscule ca acestea

şi că poţi vedea asta ca pe un mod
de a-ţi extinde simţul tactil.

Dar dacă am putea face acelaşi lucru
cu simţul nostru auditiv?

Dacă am putea folosi filmarea
pentru a capta vibraţiile sunetului,

care sunt doar un alt tip de mişcare

şi să transformăm tot ce vedem
într-un microfon?

E o idee neobişnuită,

daţi-mi voie să vă explic.

Microfoanele tradiţionale
funcţionează prin conversia mişcării

unei diafragme interne
în semnal electric.

Acea diafragmă e proiectată
să se mişte sincronizat cu sunetul

această mişcare putând fi înregistrată
şi interpretată ca sunet.

Dar sunetul face să vibreze
toate obiectele.

Aceste vibraţii sunt prea subtile
şi prea rapide ca să le putem vedea.

Ce se-ntâmplă dacă le înregistrăm
cu o cameră de mare viteză

şi apoi folosim programul informatic
ca să extragem mişcările fine

din filmările cu viteză mare

şi să analizăm aceste mişcări
ca să determinăm ce sunete le-au creat?

Aşa am putea transforma de la distanţă
obiecte vizibile în microfoane vizuale.

Am încercat să facem asta.

Iată unul din experimentele noastre,

în care am luat planta
pe care o vedeţi în dreapta

şi am filmat-o cu o cameră de mare viteză

în timp ce o boxă din apropiere
reda acest sunet.

Muzică:
♪ Mary Had a Little Lamb ♪

Aceasta e înregistrarea video,

efectuată cu 1000 de cadre/secundă,

dar chiar dacă priveşti foarte atent,

tot ce vezi sunt nişte frunze,

care doar stau acolo fără să facă nimic,

pentru că sunetul nostru a mişcat frunzele
doar cu vreun micrometru.

Adică a zecea mia parte
dintr-un centimetru,

adică ceva între o sutime şi o miime
dintr-un pixel din această imagine.

Te poţi holba cât vrei,

dar mişcări atât de fine
sunt imposibil de perceput vizual.

Dar iată că ceva
poate fi imperceptibil pentru ochi,

dar totuși semnificativ
pentru tehnologia digitală,

deoarece cu algoritmii potriviţi,

putem prelucra această filmare
care pare statică

şi să recuperăm acest sunet.

(Muzică) ♪ Mary Had a Little Lamb ♪

(Aplauze)

Cum e posibil?

Cum putem obţine atâtea informaţii
din atât de puţină mişcare?

Să zicem că acele frunze
se mişcă doar cu un micrometru

şi că asta modifică imaginea
cu doar a mia parte dintr-un pixel.

Poate nu pare mare lucru,

dar un singur cadru al filmului

poate conţine sute de mii de pixeli

şi dacă am combina
toate mişcările alea minuscule

din întreaga imagine,

miimile de pixel se pot aduna,
rezultând ceva destul de semnificativ.

Între noi fie vorba, am ţopăit de fericire
când ne-am dat seama de asta.

(Râsete)

Dar chiar şi cu algoritmul potrivit,

tabloul nu era complet încă.

Sunt mulţi factori care influenţează

funcţionarea acestei tehnologii.

Avem obiectul şi distanţa până la acesta;

avem camera video şi lentilele folosite;

cât de luminat e obiectul
şi cât de puternic e sunetul.

Chiar dacă algoritmul era bun,

a trebuit să fim foarte atenţi
la primele noastre experimente,

deoarece dacă greşeam
oricare din aceşti parametri,

nu aveam cum să ne dăm seama
unde era problema.

S-ar fi înregistrat doar interferenţe.

Primele noastre teste arătau cam aşa.

Aici sunt eu,

iar în stânga jos puteţi vedea
camera noastră de mare viteză,

orientată către o pungă cu chipsuri.

Totul e luminat de nişte lămpi puternice.

Cum spuneam, trebuia să fim foarte atenţi
la aceste experimente timpurii,

Iată ce s-a întâmplat:

(Video) Abe Davis: Trei, doi, unu, start.

Mary had a little lamb!
Little lamb! Little lamb!

(Râsete)

AD: Acest experiment pare complet ridicol.

(Râsete)

Ţip la o pungă de chipsuri...

(Râsete)

şi proiectam atâta lumină, încât am topit
prima pungă pe care am folosit-o.

(Râsete)

Dar oricât de ridicol pare experimentul,

a fost chiar important,

pentru că am putut capta acest sunet:

♪ Mary had a little lamb!
Little lamb! Little lamb! ♪

(Aplauze)

AD: A fost important

deoarece era prima dată
când recuperam un mesaj inteligibil

dintr-o filmare fără sunet a unui obiect.

Acesta a fost momentul de referinţă

şi am putut modifica experimentul gradual,

folosind obiecte diferite
sau mutându-le mai departe,

folosind mai puţină lumină
sau sunete mai slabe.

Am analizat toate aceste experimente

până am înţeles care sunt
limitele tehnicii folosite,

pentru că odată ce le-am înţeles,

ne puteam da seama cum să le depăşim.

Asta a dus la experimente ca acesta,

în care voi vorbi din nou
unei pungi de chipsuri,

dar acum mutasem camera
afară, cam la cinci metri,

separată de o fereastră izolată fonic,

totul fiind iluminat
doar de razele solare.

Iată ce am filmat:

Asta se auzea înăuntru,
lângă punga de cipsuri.

(Voce)Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

AD: Iată ce am putut recupera
din filmarea noastră fără sonor,

de dincolo de acea fereastră.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

(Aplauze)

AD: Sunt şi alte căi
prin care putem împinge aceste limite.

Aici e un experiment mai silenţios

în care am filmat nişte căşti
conectate la un laptop.

În acest caz, scopul era
să captăm melodiile care rulau pe laptop

folosind doar filmarea fără sunet

a acestor două mici căşti din plastic.

Rezultatul a fost atât de bun

încât l-am putut folosi
ca să caut cântecul pe Shazam.

(Râsete)

(Muzică) Queen - ♪ Under Pressure ♪

(Aplauze)

Putem merge mai departe,
schimbând aparatura folosită.

Experimentele pe care
vi le-am arătat până acum

au fost făcute
cu o cameră de mare viteză,

ce poate înregistra
de 100 de ori mai repede

decât majoritatea telefoanelor mobile.

Dar am găsit o cale
să folosim această tehnică

cu videocamere mai simple

şi facem asta profitând
de ceea ce se numeşte rolling shutter.

Majoritatea camerelor
captează imaginile rând cu rând,

deci când obiectul se mişcă
în timpul captării unei singure imagini,

există un uşor decalaj între rânduri,

lucru ce produce mici artefacte

care sunt codificate
în fiecare cadru al filmării.

Am descoperit că analizând
aceste artefacte,

putem recupera sunetul, folosind
varianta modificată a algoritmului nostru.

Aici e un experiment

în care am filmat o pungă de bomboane

aflată lângă o boxă

din care se auzea acelaşi
„Mary Had a Little Lamb”,

dar acum am folosit
o videocameră obişnuită.

Imediat vă voi reda
sunetul pe care l-am înregistrat.

Va suna distorsionat
de această dată,

dar ascultaţi şi observaţi
dacă puteţi recunoaşte melodia.

(Audio) ♪ Mary Had a Little Lamb ♪

Sună distorsionat,

dar e extraordinar
că am putut face asta

cu o cameră pe care o puteţi cumpăra

de la un magazin de electronice.

În acest moment,

mulţi privesc această tehnologie

şi se gândesc imediat la supraveghere.

Să fiu sincer,

e uşor de folosit
pentru a spiona pe cineva.

Dar nu uitaţi că deja există
tehnologii avansate pentru supraveghere.

De fapt, oamenii folosesc lasere

ca să tragă cu urechea de la distanţă
de câteva decenii.

Ce e cu adevărat nou aici,

ce e cu adevărat diferit,

e că acum putem ilustra
vibraţiile unui obiect,

lucru care ne dă posibilitatea
să privim lumea cu alți ochi.

Putem folosi această perspectivă

ca să studiem nu numai forţe ca sunetul
care face un obiect să vibreze,

dar și obiectul în sine.

Vreau să mă opresc

şi să-mi imaginez cum ar putea asta
să schimbe modul în care folosim filmul,

deoarece de obicei folosim filmarea
ca să ne uităm la lucruri

şi tocmai v-am arătat cum o putem folosi

ca să ascultăm lucrurile.

Dar mai e o cale prin care putem afla
lucruri importante despre lume:

interacţionând cu ea.

Împingem şi tragem, testăm lucrurile.

Scuturăm obiectele
şi observăm ce se întâmplă.

Ăsta e un lucru pe care
filmarea nu ni-l permite încă,

cel puţin nu în mod tradiţional.

Vreau să vă arăt o tehnologie nouă,

bazată pe o idee
ce mi-a venit acum câteva luni.

Asta e prima dată când o prezint public.

Ideea de bază e că vom folosi
vibraţiile din filmare

ca să captăm obiectele într-un mod
care ne permite să interacţionăm cu ele

şi să vedem cum reacţionează.

Aici e un obiect,

un filament în formă de om,

pe care îl vom filma cu o cameră banală.

Această cameră nu are nimic special.

De fapt, făcusem asta înainte,
cu camera telefonului meu mobil.

Pentru că vrem cu adevărat
să vedem cum vibrează obiectul

vom lovi suprafaţa pe care e aşezat

în timp ce filmăm.

Asta e: o filmare obişnuită
de numai cinci secunde,

în timp ce lovim această suprafaţă.

Vom folosi vibraţiile din filmare

ca să cunoaştem proprietăţile structurale
şi materiale ale obiectului nostru

şi vom folosi această informaţie
ca să creăm ceva nou şi interactiv.

Iată ce am realizat.

Arată ca o imagine obişnuită,

dar nu e o imagine şi nu este o filmare,

pentru că acum pot lua mausul

şi pot interacţiona cu obiectul.

Aici vedeţi

o simulare a modului
în care acest obiect

ar reacţiona la forţe noi
pe care nu le-am mai văzut

şi am obţinut acest lucru
doar dintr-un film de cinci secunde.

(Aplauze)

Asta e o metodă foarte puternică
de a analiza lumea,

pentru că ne permite să anticipăm
cum vor reacţiona obiectele

la situaţii noi.

De exemplu, v-aţi putea imagina
că priviți un pod vechi

şi vă întrebaţi ce s-ar întâmpla,
cum ar rezista

dacă ar trebui să-l traversați cu maşina.

Poate că asta e o întrebare
la care aţi vrea să răspundeţi

înainte să începeţi traversarea.

Desigur, sunt anumite limitări,

la fel ca şi în cazul microfonului vizual,

dar am descoperit
că funcționează în multe cazuri

în care nu ne-am fi aşteptat,

mai ales dacă foloseşti filmări mai lungi.

De exemplu, aici e o filmare

a unui tufiş din faţa casei mele.

Nu i-am făcut nimic acestui tufiş,

dar filmându-l timp de un minut,

o adiere uşoară a provocat
destule vibraţii

ca să aflăm suficient despre tufiș
pentru a crea această simulare:

(Aplauze)

Vă puteţi imagina
ce ar putea face un regizor cu asta,

dacă, de exemplu, ar putea controla

puterea şi direcţia vântului
într-o scenă deja filmată.

Aici am îndreptat camera spre o draperie.

Nu se vede nicio mişcare
în această filmare,

dar filmând o secvenţă de două minute,

curenţii naturali de aer din încăpere

au creat destule mişcări
şi vibraţii imperceptibile

ca să ştim suficient
pentru a crea această simulare.

Ironia este

că suntem destul de obişnuiţi
cu astfel de interacţiuni

când e vorba de obiecte virtuale,

când e vorba de jocuri video
şi modele 3D,

dar ca să putem aduna aceste informaţii
de la obiecte reale din lumea reală

folosind numai filmări obişnuite,

e un lucru nou, cu mare potenţial.

Ei sunt oamenii extraordinari
cu care am colaborat la aceste proiecte.

(Aplauze)

Ce v-am arătat astăzi,
e doar începutul.

Abia începem să ne imaginăm

ce putem face cu acest tip de filmări,

pentru că ne oferă un nou mod

de a capta ce ne înconjoară
cu o tehnologie banală, accesibilă.

Privind în perspectivă,

va fi cu adevărat interesant să explorăm

ce ne poate spune asta despre lume.

Mulţumesc.

(Aplauze)