Nova video tehnologija koja otkriva skrivena svojstva predmeta

Jedva primetna kretanja dešavaju se stalno oko nas, uključujući sitne vibracije koje izaziva zvuk. Nova tehnologija pokazuje da možemo čuti ove vibracije i ponovo stvoriti zvuk i razgovore iz prostog video zapisa naoko nepomičnog predmeta. Međutim, Ejb Dejvis sada ide korak dalje: pogledajte kako prikazuje softver koji omogućava svakom da se igra ovim skrivenim svojstvima, koristeći samo prost video zapis.

Većina nas shvata pokret
kao nešto izrazito vizuelno.

Ako hodam po ovoj bini
ili mrdam rukama dok govorim,

taj pokret je nešto što možete
da vidite.

Ali postoji ceo svet važnih pokreta
koji je nevidljiv za ljudsko oko,

i proteklih nekoliko godina,

počeo sam da shvatam da kamere

često mogu da vide pokret
koji ljudsko oko ne može.

Pokazaću vam na šta mislim.

Sa leve strane, možete videti snimak
nečijeg zgloba,

a sa desne strane, snimak bebe koja spava,

ali da vam nisam rekao
da su ovo video snimci,

možda biste pomislili da gledate
u dve najobičnije slike,

zato što u oba slučaja,

ovi snimci deluju potpuno mirno.

Zapravo, dosta nevidljivih pokreta
imamo ovde,

i ako biste dotakli zglob na levoj strani,

osetili biste puls,

a kada biste držali bebu, s desne strane,

ostetili biste podizanje
i spuštanje njenih grudi

dok udiše i izdiše.

Ovi pokreti su od velikog značaja,

ali su obično jako mali
da bi ih mi uočili,

pa zbog toga, moramo da ih posmatramo

kroz direktni kontakt, kroz dodir.

Ali pre nekoliko godina,

moj kolega sa MIT-a je razvio
nešto što oni zovu mikroskopom pokreta,

što je zapravo softver koji nalazi
ove male pokrete, snima ih

i uvećava pa time postaju dovoljno
veliki da ih mi vidimo.

Dakle, ako primenimo softver
na levi snimak,

omogućava nam da vidimo
puls na zglobu,

a ako bismo merili puls,

mogli bismo čak i izmeriti
otkucaj srca ove osobe.

A ako primenimo isti softver
na snimak desno,

moći ćemo da vidimo svaki udisaj bebe,

i možemo ovo da iskoristimo kao nedirektno
nadgledanje njenog disanja.

Dakle, ova tehnologija je jako moćna,
zato što ove pojave

u normalnim uslovima
doživljavamo kroz dodir,

i pamtimo ih vizuelno i neinvazivno.

Pre par godina, počeo sam da radim
sa ljudima koji su napravili taj softver,

i odlučili smo da pratimo
jednu ludu ideju.

Pomislili smo, kul je što
možemo da upotrebimo softver

da predočimo majušne pokrete
poput ovog,

a možemo to shavatiti kao način
kojim pojačavamo naš osećaj za dodir.

Ali šta ako bismo mogli da učinimo
isto sa osećajem sluha?

Šta ako bismo mogli da koristimo video
za beleženje zvučnih vibracija,

koje su samo druga vrsta pokreta,

i pretvorimo sve što vidimo u mikrofon?

Sad, ovo je pomalo čudna ideja,

pa me pustite da vam predočim.

Obični mikrofoni funkcionišu tako što
pretvaraju vibriranje

unutrašnje dijafragme
u elektornski signal,

a ta dijafragma je dizajnirana
da se pomera uporedo sa zvukom,

pa se njeno vibriranje beleži
i interpretira kao audio zapis.

Međutim, zvuk uzrokuje
da svi objekti vibriraju.

A te vibracije su obično neprimetne
i jako brze za nas da bismo ih uočili.

Dakle, šta ako bi ih beležili
kamerom velike brzine,

a zatim upotrebili softver
da pojačamo sićušne vibracije

sa našeg brzog snimka,

i analiziramo te vibracije
da bismo shvatili kakvi ih zvuci stvaraju?

Ovo bi nam dozvolilo da prebacimo vidljive
predmete u vizuelne mikrofone sa distance.

Pa smo ovo i isprobali.

Evo jednog od eksperimenata,

gde smo uzeli ovu biljku u saksiji,
koju možete da vidite sa desne strane,

i snimili smo kamerom velike brzine,

dok je zvučnik u blizini puštao ovaj zvuk.

(muzika: "Meri je imala malo jagnje")

A evo snimka koji smo snimili,

a snimili smo ga
pri 1000 sličica u sekundi,

ali čak i kada pogledate bliže,

sve što vidite su neki listovi

koji jednostavno samo stoje
i ne rade bilo šta,

zato što je naš zvuk pomerao ove listove
samo za mikrometar ili dva.

To je desetohiljaditi deo centimetra,

što predstavlja između stotog
i hiljaditog dela piksela

na ovoj slici.

Dakle, možete škiljiti koliko god želite,

ali toliko mali pokret je vizuelno
prilično nevidljiv.

Ali ispostavlja se da nešto što može
da bude čulno nevidljivo

i dalje može biti numerički značajno,

time što sa adekvatnim algoritmima,

možemo uzeti ovaj tih,
naizgled miran snimak

i vratimo ovaj zvuk.

(muzika: "Meri je imala malo jagnje")

(Aplauz)

Kako je ovo moguće?

Kako možemo dobiti toliko informacija
iz toliko sitnih pokreta?

Pa, recimo da se ti listovi pomeraju
za jedan mikrometar,

i recomo da to pomera našu sliku
za jedan hiljaditi deo piksela.

To možda ne deluje mnogo,

ali jedna sličica snimka

može da sadrži stotine hiljada
piksela u sebi,

pa tako ako iskombinujemo
sve ove sitne pokrete koje vidimo

preko cele slike,

odjednom hiljaditi deo piksela

može doprineti nečemu jako bitnom.

Lično, bili smo prilično zapanjeni
kada smo ovo otkrili.

(Smeh)

Ali i sa pravim algoritmom,

i dalje nam je nedostajao
jako bitan deo slagalice.

Vidite, postoji veliki broj faktora
koji utiču kada i koliko dobro će

ova tehika raditi.

U pitanju je objekat
i koliko je on daleko;

zatim, kamera i sočiva koja koristite;

koliko je objekat osvetljen
i koliko je jak vaš zvuk.

I sa odgovarajućim algoritmom,

moramo biti jako pažljivi
sa našim prvim eksperimentima,

zato što ako bilo koji od
ovih faktora bude poremećen,

ne postoji način da shvatimo
šta je u pitanju.

Zauzvrat bismo dobili samo buku.

Pa prema tome, većina naših
prvih eksperimenata je ovako izgledala.

Evo mene,

dole levo možete videti kameru
velike brzine,

koja je usmerena ka kesici čipsa,

a cela stvar je osvetljena
ovim jakim lampama.

Kao što sam rekao, morali smo da budemo
jako pažljivi sa prvim eksperimentima,

i to je ovako izgledalo.

(Snimak) Eb Dejvis:
Tri, dva, jedan, kreni.

Meri je imala malo jagnje!
Malo jagnje! Malo jagnje!

(Smeh)

ED: Dakle, ovaj eksperiment
je izgledao potpuno smešno.

(Smeh)

Mislim, vičem na kesicu čipsa,

(Smeh)

i osvetili smo je toliko jakom svetlošću,

da smo bukvalno istopili prvu kesicu
kada smo probali ovo. (Smeh)

Ali koliko god smešno izgledao
ovaj eksperiment,

bio je, zapravo, jako bitan,

zato što smo mogli da povratimo zvuk.

(Audio) Meri je imala malo jagnje!
Malo jagnje! Malo jagnje!

(Aplauz)

ED: Ovo je bilo značajno,

zato što je to bio prvi put da smo uspeli
da povratimo razumljiv ljudski govor

tihog snimka jednog objekta.

Dakle, ovo nam je dalo ovakve rezultate,

i vremenom smo mogli da počnemo
da modifikujemo eksperiment

koristeći različite objekte
ili pomerajući objekat dalje,

koristeći slabije svetlo ili tiši zvuk.

Analizirali smo sve ove ekperimente

dok nismo zaista shvatili
granice naše tehnike,

zato što kada smo jednom shvatili granice,

smislili bismo kako da ih gurnemo dalje.

A to nas je dovelo
do eksperimenta poput ovog,

gde ja, ponovo, govorim kesi čipsa,

ali ovog puta smo pomerili kameru
oko 4,5 m dalje,

van, iza zvučno izolovanog prozora,

i cela ova stvar je osvetljena samo
prirodnom svetlošću.

I evo snimka koji smo snimili.

A ovako se stvari čuju iznutra,
pored kese čipsa.

(Audio) Meri je imala malo jagnje,
čije je runo bilo belo kao sneg

i kuda god je Meri išla,
jagnje je išlo s njom.

ED: A ovo smo uspeli da povratimo
sa našeg tihog snimka

snimljenog van, iza tog prozora.

(Audio) Meri je imala malo jagnje
čije je runo bilo belo kao sneg,

i kuda god je Meri išla,
jagnje je išlo s njom.

(Aplauz)

ED: A postoje, takođe, i drugi načini
kako da pomerimo granice.

Time, ovde imamo tiši eksperiment,

gde smo snimili jedne slušalice
priključene na laptop,

gde je naš cilj bio da muziku
koja je puštena na laptopu

povratimo sa tihog snimka

sa ove dve male plastične bubice,

i uspeli smo da uradimo to tako dobro

da smo mogli naše rezultate
koristiti čak i na Šazemu.

(Smeh)

(Muzika: "Pod pritiskom", grupa Kvin)

(Aplauz)

A možemo i poboljšati stvari menjajući
hardver koji koristimo.

Jer su eksperimenti koje sam vam
pokazao do sada

napravljeni kamerom,
kamerom velike brzine,

koja može da napravi snimak
oko 100 puta brže

u odnosu na većinu mobilnih telefona,

ali takođe smo našli način da
upotrebimo ovu tehniku

sa mnogo običnijim kamerama,

i uradili smo to tako što smo iskoristili
nešto što se zove pokretni okidač.

Vidite, većina fotoaparata snima slike
jedan po jedan red,

tako da ako se predmet pomeri
tokom snimanja jedne slike,

postoji kratko kašnjenje
između svakog reda

i zbog ovoga ostaju blagi tragovi

koji se kodiraju u svaki frejm snimka.

Otkrili smo da analizom ovih tragova

zapravo možemo povratiti zvuk koristeći
izmenjenu verziju našeg algoritma.

Evo eksperimenta koji smo uradili,

gde smo snimili kesicu bombona

dok se iz zvučnika u blizini čulo

ista muzika od pre:
"Meri je imala malo jagnje",

ali ovog puta smo koristili
običan fotoaparat iz prodavnice

i sada ću vam pustiti
zvuk koji smo povratili,

i ovog puta će zvučati izmenjeno,

ali slušajte i vidite da li još uvek
možete da prepoznate muziku.

(Audio: "Meri je imala malo jagnje")

Opet, to zvuči izmenjeno,

ali ovde je zaista neverovatno to
što smo ovo mogli da uradimo

sa nečim što bukvalno možete otići

i kupiti u lokalnoj prodavnici
bele tehnike.

U ovom trenutku,

mnogi ljudi vide kako ovo radi

i odmah pomisle na nadgledanje.

Da budem iskren, nije teško zamisliti

kako biste mogli koristiti ovu tehnologiju
da špijunirate nekoga.

Ali imajte na umu da trenutno već postoji
dosta veoma razvijene tehnologije

za nadgledanje.

Zapravo, ljudi su decenijama
koristili lasere

kako bi prisluškivali sa udaljenosti.

Ali ono što je ovde zaista novo,

zaista drugačije,

je da sada imamo način da prikažemo
vibracije na predmetu,

što nam daje novi objektiv
kroz koji možemo gledati svet

i taj objektiv možemo koristiti

da saznamo, ne samo o silama poput zvuka
od kojih predmet vibrira,

nego i o samom predmetu.

Želim da se udaljim

i razmislim o tome kako to može
da promeni način na koji koristimo video,

jer video obično koristimo
da posmatramo stvari

i pokazao sam vam upravo
kako ga možemo koristiti

da slušamo stvari.

Ali tu je važan način
na koji saznajemo stvari o svetu -

kroz interakciju.

Guramo i vučemo
i pritiskamo i čačkamo stvari.

Tresemo ih da vidimo šta će se desiti.

A video nam još uvek ne dozvoljava to,

makar ne u tradicionalnom smislu.

Želim da vam pokažem neke nove radove,

a ovo je zasnovano na zamisli
koju sam imao pre nekoliko meseci,

ovo je zapravo prvi put
da to pokazujem pred publikom.

Osnovna ideja je da ćemo koristiti
vibracije u video snimku

da snimimo predmete na način
koji će nam dozvoliti interkaciju sa njima

i da vidimo kako reaguju na nas.

Evo predmeta,

i u ovom slučaju to je žičana figura
u obliku čoveka,

i taj predmet ćemo snimiti
običnim fotoaparatom.

Dakle, nema ničeg posebnog
u vezi sa ovim fotoaparatom.

Zapravo, ovo sam pre radio
sa svojim telefonom.

Ali želimo da vidimo da predmet vibrira,

i kako bi se to desilo,

samo malo ćemo udariti površinu
gde predmet stoji

dok snimamo ovaj video.

To je to: samo pet sekundi
običnog video snimka,

dok lupamo po površini

i iskoristićemo vibracije iz tog videa,

kako bismo saznali strukturna
i materijalna svojstva našeg predmeta

i iskoristićemo te informacije
da stvorimo nešto novo i interaktivno.

Evo šta smo stvorili.

Izgleda kao obična slika,

ali ovo nije slika i nije video,

jer sada mogu da uzmem miš

i da budem u interakciji
sa ovim predmetom.

Ovde možete videti

simulaciju toga kako bi ovaj predmet

odgovorio na nove sile
koje do sada nismo videli,

i to smo stvorili iz samo
pet sekundi običnog video snimka.

(Aplauz)

Ovo je zaista moćan način
da se posmatra svet

jer nam dozvoljava da predvidimo
kako će predmeti odgovoriti

na nove situacije

i možete da zamislite, na primer,
kako gledate stari most

i pitate se šta bi se desilo,
kako bi se ponašao taj most

kada bih prešao preko njega
svojim automobilom.

A to je pitanje na koje
verovatno želite da odgovorite

pre nego što počnete da vozite
preko tog mosta.

Naravno, biće nekoliko ograničenja
za ovu tehniku,

kao što ih je bilo
i sa vizuelnim mikrofonom,

ali otkrili smo da funkcioniše
u mnogim situacijama

gde to ne biste očekivali,

naročito ako radite sa dužim snimcima,

Na primer,
evo video zapisa koji sam napravio

gde je žbun ispred mog stana,

a njemu nisam radio ništa

osim što sam ga snimao jedan minut,

lagan povetarac
izazvao je dovoljno vibracija

da smo mogli da saznamo dovoljno
o ovom žbunu da napravimo simulaciju.

(Aplauz)

Možete da zamislite da ovo date
filmskom režiseru

i date mu da kontroliše, na primer,

jačinu i pravac vetra u snimku
nakon što je on nastao.

Ili, u ovom slučaju, uperili smo
fotoaparat u zavesu koja visi

i u ovom snimku čak ni ne možete
da vidite bilo kakvo kretanje,

ali snimanjem videa dugog dva minuta,

prirodne vazdušne struje u prostoriji

stvorile su dovoljno suptilnog,
neprimetnog kretanja i vibracija

da možemo da saznamo dovoljno
da stvorimo ovu simulaciju.

Ironično je to

kako smo nekako priviknuti da imamo
ovakvu vrstu interaktivnosti

kod virtuelnih predmeta,

što se tiče video igara i 3D modela,

ali kako bismo dobili ove informacije
iz pravih predmeta iz stvarnosti,

koristeći proste, obične video snimke,

to je nešto novo
što ima dosta potencijala.

Evo neverovatnih ljudi koji su sa mnom
radili na ovom projektu.

(Aplauz)

Ono što sam vam pokazao danas
je samo početak.

Samo smo zagrebali površinu toga

što možete da uradite
sa ovim načinom prikazivanja slika,

jer nam to daje novi metod

da snimimo svoju okolinu,
prostom, dostupnom tehnologijom.

Gledajući u budućnost,

biće zaista zanimljiva
za istraživanje toga

šta nam ovo može reći o svetu.

Hvala vam.

(Aplauz)