Većina nas shvata pokret kao nešto izrazito vizuelno. Ako hodam po ovoj bini ili mrdam rukama dok govorim, taj pokret je nešto što možete da vidite. Ali postoji ceo svet važnih pokreta koji je nevidljiv za ljudsko oko, i proteklih nekoliko godina, počeo sam da shvatam da kamere često mogu da vide pokret koji ljudsko oko ne može. Pokazaću vam na šta mislim. Sa leve strane, možete videti snimak nečijeg zgloba, a sa desne strane, snimak bebe koja spava, ali da vam nisam rekao da su ovo video snimci, možda biste pomislili da gledate u dve najobičnije slike, zato što u oba slučaja, ovi snimci deluju potpuno mirno. Zapravo, dosta nevidljivih pokreta imamo ovde, i ako biste dotakli zglob na levoj strani, osetili biste puls, a kada biste držali bebu, s desne strane, ostetili biste podizanje i spuštanje njenih grudi dok udiše i izdiše. Ovi pokreti su od velikog značaja, ali su obično jako mali da bi ih mi uočili, pa zbog toga, moramo da ih posmatramo kroz direktni kontakt, kroz dodir. Ali pre nekoliko godina, moj kolega sa MIT-a je razvio nešto što oni zovu mikroskopom pokreta, što je zapravo softver koji nalazi ove male pokrete, snima ih i uvećava pa time postaju dovoljno veliki da ih mi vidimo. Dakle, ako primenimo softver na levi snimak, omogućava nam da vidimo puls na zglobu, a ako bismo merili puls, mogli bismo čak i izmeriti otkucaj srca ove osobe. A ako primenimo isti softver na snimak desno, moći ćemo da vidimo svaki udisaj bebe, i možemo ovo da iskoristimo kao nedirektno nadgledanje njenog disanja. Dakle, ova tehnologija je jako moćna, zato što ove pojave u normalnim uslovima doživljavamo kroz dodir, i pamtimo ih vizuelno i neinvazivno. Pre par godina, počeo sam da radim sa ljudima koji su napravili taj softver, i odlučili smo da pratimo jednu ludu ideju. Pomislili smo, kul je što možemo da upotrebimo softver da predočimo majušne pokrete poput ovog, a možemo to shavatiti kao način kojim pojačavamo naš osećaj za dodir. Ali šta ako bismo mogli da učinimo isto sa osećajem sluha? Šta ako bismo mogli da koristimo video za beleženje zvučnih vibracija, koje su samo druga vrsta pokreta, i pretvorimo sve što vidimo u mikrofon? Sad, ovo je pomalo čudna ideja, pa me pustite da vam predočim. Obični mikrofoni funkcionišu tako što pretvaraju vibriranje unutrašnje dijafragme u elektornski signal, a ta dijafragma je dizajnirana da se pomera uporedo sa zvukom, pa se njeno vibriranje beleži i interpretira kao audio zapis. Međutim, zvuk uzrokuje da svi objekti vibriraju. A te vibracije su obično neprimetne i jako brze za nas da bismo ih uočili. Dakle, šta ako bi ih beležili kamerom velike brzine, a zatim upotrebili softver da pojačamo sićušne vibracije sa našeg brzog snimka, i analiziramo te vibracije da bismo shvatili kakvi ih zvuci stvaraju? Ovo bi nam dozvolilo da prebacimo vidljive predmete u vizuelne mikrofone sa distance. Pa smo ovo i isprobali. Evo jednog od eksperimenata, gde smo uzeli ovu biljku u saksiji, koju možete da vidite sa desne strane, i snimili smo kamerom velike brzine, dok je zvučnik u blizini puštao ovaj zvuk. (muzika: "Meri je imala malo jagnje") A evo snimka koji smo snimili, a snimili smo ga pri 1000 sličica u sekundi, ali čak i kada pogledate bliže, sve što vidite su neki listovi koji jednostavno samo stoje i ne rade bilo šta, zato što je naš zvuk pomerao ove listove samo za mikrometar ili dva. To je desetohiljaditi deo centimetra, što predstavlja između stotog i hiljaditog dela piksela na ovoj slici. Dakle, možete škiljiti koliko god želite, ali toliko mali pokret je vizuelno prilično nevidljiv. Ali ispostavlja se da nešto što može da bude čulno nevidljivo i dalje može biti numerički značajno, time što sa adekvatnim algoritmima, možemo uzeti ovaj tih, naizgled miran snimak i vratimo ovaj zvuk. (muzika: "Meri je imala malo jagnje") (Aplauz) Kako je ovo moguće? Kako možemo dobiti toliko informacija iz toliko sitnih pokreta? Pa, recimo da se ti listovi pomeraju za jedan mikrometar, i recomo da to pomera našu sliku za jedan hiljaditi deo piksela. To možda ne deluje mnogo, ali jedna sličica snimka može da sadrži stotine hiljada piksela u sebi, pa tako ako iskombinujemo sve ove sitne pokrete koje vidimo preko cele slike, odjednom hiljaditi deo piksela može doprineti nečemu jako bitnom. Lično, bili smo prilično zapanjeni kada smo ovo otkrili. (Smeh) Ali i sa pravim algoritmom, i dalje nam je nedostajao jako bitan deo slagalice. Vidite, postoji veliki broj faktora koji utiču kada i koliko dobro će ova tehika raditi. U pitanju je objekat i koliko je on daleko; zatim, kamera i sočiva koja koristite; koliko je objekat osvetljen i koliko je jak vaš zvuk. I sa odgovarajućim algoritmom, moramo biti jako pažljivi sa našim prvim eksperimentima, zato što ako bilo koji od ovih faktora bude poremećen, ne postoji način da shvatimo šta je u pitanju. Zauzvrat bismo dobili samo buku. Pa prema tome, većina naših prvih eksperimenata je ovako izgledala. Evo mene, dole levo možete videti kameru velike brzine, koja je usmerena ka kesici čipsa, a cela stvar je osvetljena ovim jakim lampama. Kao što sam rekao, morali smo da budemo jako pažljivi sa prvim eksperimentima, i to je ovako izgledalo. (Snimak) Eb Dejvis: Tri, dva, jedan, kreni. Meri je imala malo jagnje! Malo jagnje! Malo jagnje! (Smeh) ED: Dakle, ovaj eksperiment je izgledao potpuno smešno. (Smeh) Mislim, vičem na kesicu čipsa, (Smeh) i osvetili smo je toliko jakom svetlošću, da smo bukvalno istopili prvu kesicu kada smo probali ovo. (Smeh) Ali koliko god smešno izgledao ovaj eksperiment, bio je, zapravo, jako bitan, zato što smo mogli da povratimo zvuk. (Audio) Meri je imala malo jagnje! Malo jagnje! Malo jagnje! (Aplauz) ED: Ovo je bilo značajno, zato što je to bio prvi put da smo uspeli da povratimo razumljiv ljudski govor tihog snimka jednog objekta. Dakle, ovo nam je dalo ovakve rezultate, i vremenom smo mogli da počnemo da modifikujemo eksperiment koristeći različite objekte ili pomerajući objekat dalje, koristeći slabije svetlo ili tiši zvuk. Analizirali smo sve ove ekperimente dok nismo zaista shvatili granice naše tehnike, zato što kada smo jednom shvatili granice, smislili bismo kako da ih gurnemo dalje. A to nas je dovelo do eksperimenta poput ovog, gde ja, ponovo, govorim kesi čipsa, ali ovog puta smo pomerili kameru oko 4,5 m dalje, van, iza zvučno izolovanog prozora, i cela ova stvar je osvetljena samo prirodnom svetlošću. I evo snimka koji smo snimili. A ovako se stvari čuju iznutra, pored kese čipsa. (Audio) Meri je imala malo jagnje, čije je runo bilo belo kao sneg i kuda god je Meri išla, jagnje je išlo s njom. ED: A ovo smo uspeli da povratimo sa našeg tihog snimka snimljenog van, iza tog prozora. (Audio) Meri je imala malo jagnje čije je runo bilo belo kao sneg, i kuda god je Meri išla, jagnje je išlo s njom. (Aplauz) ED: A postoje, takođe, i drugi načini kako da pomerimo granice. Time, ovde imamo tiši eksperiment, gde smo snimili jedne slušalice priključene na laptop, gde je naš cilj bio da muziku koja je puštena na laptopu povratimo sa tihog snimka sa ove dve male plastične bubice, i uspeli smo da uradimo to tako dobro da smo mogli naše rezultate koristiti čak i na Šazemu. (Smeh) (Muzika: "Pod pritiskom", grupa Kvin) (Aplauz) A možemo i poboljšati stvari menjajući hardver koji koristimo. Jer su eksperimenti koje sam vam pokazao do sada napravljeni kamerom, kamerom velike brzine, koja može da napravi snimak oko 100 puta brže u odnosu na većinu mobilnih telefona, ali takođe smo našli način da upotrebimo ovu tehniku sa mnogo običnijim kamerama, i uradili smo to tako što smo iskoristili nešto što se zove pokretni okidač. Vidite, većina fotoaparata snima slike jedan po jedan red, tako da ako se predmet pomeri tokom snimanja jedne slike, postoji kratko kašnjenje između svakog reda i zbog ovoga ostaju blagi tragovi koji se kodiraju u svaki frejm snimka. Otkrili smo da analizom ovih tragova zapravo možemo povratiti zvuk koristeći izmenjenu verziju našeg algoritma. Evo eksperimenta koji smo uradili, gde smo snimili kesicu bombona dok se iz zvučnika u blizini čulo ista muzika od pre: "Meri je imala malo jagnje", ali ovog puta smo koristili običan fotoaparat iz prodavnice i sada ću vam pustiti zvuk koji smo povratili, i ovog puta će zvučati izmenjeno, ali slušajte i vidite da li još uvek možete da prepoznate muziku. (Audio: "Meri je imala malo jagnje") Opet, to zvuči izmenjeno, ali ovde je zaista neverovatno to što smo ovo mogli da uradimo sa nečim što bukvalno možete otići i kupiti u lokalnoj prodavnici bele tehnike. U ovom trenutku, mnogi ljudi vide kako ovo radi i odmah pomisle na nadgledanje. Da budem iskren, nije teško zamisliti kako biste mogli koristiti ovu tehnologiju da špijunirate nekoga. Ali imajte na umu da trenutno već postoji dosta veoma razvijene tehnologije za nadgledanje. Zapravo, ljudi su decenijama koristili lasere kako bi prisluškivali sa udaljenosti. Ali ono što je ovde zaista novo, zaista drugačije, je da sada imamo način da prikažemo vibracije na predmetu, što nam daje novi objektiv kroz koji možemo gledati svet i taj objektiv možemo koristiti da saznamo, ne samo o silama poput zvuka od kojih predmet vibrira, nego i o samom predmetu. Želim da se udaljim i razmislim o tome kako to može da promeni način na koji koristimo video, jer video obično koristimo da posmatramo stvari i pokazao sam vam upravo kako ga možemo koristiti da slušamo stvari. Ali tu je važan način na koji saznajemo stvari o svetu - kroz interakciju. Guramo i vučemo i pritiskamo i čačkamo stvari. Tresemo ih da vidimo šta će se desiti. A video nam još uvek ne dozvoljava to, makar ne u tradicionalnom smislu. Želim da vam pokažem neke nove radove, a ovo je zasnovano na zamisli koju sam imao pre nekoliko meseci, ovo je zapravo prvi put da to pokazujem pred publikom. Osnovna ideja je da ćemo koristiti vibracije u video snimku da snimimo predmete na način koji će nam dozvoliti interkaciju sa njima i da vidimo kako reaguju na nas. Evo predmeta, i u ovom slučaju to je žičana figura u obliku čoveka, i taj predmet ćemo snimiti običnim fotoaparatom. Dakle, nema ničeg posebnog u vezi sa ovim fotoaparatom. Zapravo, ovo sam pre radio sa svojim telefonom. Ali želimo da vidimo da predmet vibrira, i kako bi se to desilo, samo malo ćemo udariti površinu gde predmet stoji dok snimamo ovaj video. To je to: samo pet sekundi običnog video snimka, dok lupamo po površini i iskoristićemo vibracije iz tog videa, kako bismo saznali strukturna i materijalna svojstva našeg predmeta i iskoristićemo te informacije da stvorimo nešto novo i interaktivno. Evo šta smo stvorili. Izgleda kao obična slika, ali ovo nije slika i nije video, jer sada mogu da uzmem miš i da budem u interakciji sa ovim predmetom. Ovde možete videti simulaciju toga kako bi ovaj predmet odgovorio na nove sile koje do sada nismo videli, i to smo stvorili iz samo pet sekundi običnog video snimka. (Aplauz) Ovo je zaista moćan način da se posmatra svet jer nam dozvoljava da predvidimo kako će predmeti odgovoriti na nove situacije i možete da zamislite, na primer, kako gledate stari most i pitate se šta bi se desilo, kako bi se ponašao taj most kada bih prešao preko njega svojim automobilom. A to je pitanje na koje verovatno želite da odgovorite pre nego što počnete da vozite preko tog mosta. Naravno, biće nekoliko ograničenja za ovu tehniku, kao što ih je bilo i sa vizuelnim mikrofonom, ali otkrili smo da funkcioniše u mnogim situacijama gde to ne biste očekivali, naročito ako radite sa dužim snimcima, Na primer, evo video zapisa koji sam napravio gde je žbun ispred mog stana, a njemu nisam radio ništa osim što sam ga snimao jedan minut, lagan povetarac izazvao je dovoljno vibracija da smo mogli da saznamo dovoljno o ovom žbunu da napravimo simulaciju. (Aplauz) Možete da zamislite da ovo date filmskom režiseru i date mu da kontroliše, na primer, jačinu i pravac vetra u snimku nakon što je on nastao. Ili, u ovom slučaju, uperili smo fotoaparat u zavesu koja visi i u ovom snimku čak ni ne možete da vidite bilo kakvo kretanje, ali snimanjem videa dugog dva minuta, prirodne vazdušne struje u prostoriji stvorile su dovoljno suptilnog, neprimetnog kretanja i vibracija da možemo da saznamo dovoljno da stvorimo ovu simulaciju. Ironično je to kako smo nekako priviknuti da imamo ovakvu vrstu interaktivnosti kod virtuelnih predmeta, što se tiče video igara i 3D modela, ali kako bismo dobili ove informacije iz pravih predmeta iz stvarnosti, koristeći proste, obične video snimke, to je nešto novo što ima dosta potencijala. Evo neverovatnih ljudi koji su sa mnom radili na ovom projektu. (Aplauz) Ono što sam vam pokazao danas je samo početak. Samo smo zagrebali površinu toga što možete da uradite sa ovim načinom prikazivanja slika, jer nam to daje novi metod da snimimo svoju okolinu, prostom, dostupnom tehnologijom. Gledajući u budućnost, biće zaista zanimljiva za istraživanje toga šta nam ovo može reći o svetu. Hvala vam. (Aplauz)