Większość z nas postrzega ruch, jako coś bardzo wizualnego.
Jeśli przejdę się po scenie albo wykonam gest rękami kiedy mówię
będziecie mogli zaobserwować ten ruch.
Ale istnieje mnóstwo ważnych ruchów, które są zbyt drobne dla ludzkiego oka,
a w ostatnich latach
odkryliśmy, że kamery
potrafią dostrzec ruch, którego nie widzi ludzkie oko.
Zobrazuję wam to.
Po lewej mamy film, na którym widać nadgarstek,
a po prawej film ze śpiącym niemowlakiem.
Gdybym nie powiedział wam, że to filmy
moglibyście pomyśleć, że macie przed sobą zwykłe zdjęcia,
bo na obu filmach
pozornie nie ma żadnego ruchu.
W rzeczywistości jest na nich całe mnóstwo subtelnych ruchów.
Gdybyście dotknęli nadgarstek po lewej
wyczulibyście puls,
a gdybyście wzięli niemowlę na ręce
poczulibyście jak z każdym oddechem
podnosi się jego pierś.
Ruchy te mają duże znaczenie,
ale zwykle są zbyt subtelne, żebyśmy mogli je zobaczyć.
Możemy je wyczuć
jedynie przez dotyk.
Kilka lat temu
moi koledzy z Instytutu Technologicznego w Massachusetts
stworzyli mikroskop ruchu, czyli oprogramowanie wykrywające drobne ruchy
i wzmacniające je tak, żebyśmy mogli je zobaczyć.
Jeśli zastosujemy go na filmie po lewej,
zobaczymy puls w nadgarstku.
Gdybyśmy go zmierzyli,
moglibyśmy wyliczyć tętno tej osoby.
Jeśli zastosujemy go na filmie po prawej,
zobaczymy każdy oddech niemowlaka,
dzięki czemu możemy monitorować jego oddech na odległość.
Taka technologia bardzo dużo daje, gdyż pozwala zaobserwować zjawiska,
które normalnie możemy doświadczyć przez dotyk,
i zarejestrować je wizualnie i nieinwazyjnie.
Kilka lat temu nawiązałem współpracę z twórcami tej technologii
i postanowiliśmy zrealizować szalony pomysł.
To fajnie, że możemy dzięki temu oprogramowaniu
wizualizować drobne ruchy
prawie jakbyśmy ulepszyli zmysł dotyku.
Ale czy dałoby się w podobny sposób usprawnić nasz słuch?
Co jeśli udałoby się wykryć na filmie drgania dźwiękowe,
które są formą ruchu,
i każdą rzecz zamienić w mikrofon?
To trochę dziwny pomysł,
więc pozwólcie, że wyjaśnię zasadę jego działania.
Tradycyjne mikrofony zamieniają drgania
umieszczonej wewnątrz membrany na sygnał elektryczny.
Membrana drga pod wpływem fal dźwiękowych,
więc jej ruch może zostać zamieniony na dźwięk.
Ale wszystkie przedmioty wibrują pod wpływem dźwięku,
tyle że zbyt subtelnie i szybko, żebyśmy mogli to dostrzec.
A gdyby sfilmować je szybką kamerą,
a potem wykorzystać oprogramowanie
do wyodrębnienia drobnych ruchów
żeby przeanalizować, jakie dźwięki je wywołały?
Moglibyśmy w ten sposób przekształcić przedmioty w wizualne mikrofony.
Spróbowaliśmy tego,
a oto jeden z naszych eksperymentów,
w którym sfilmowaliśmy doniczkową roślinę
za pomocą szybkiej kamery,
podczas gdy obok stała kolumna głośnikowa grająca tę melodię.
[Dźwięk odtwarzany z głośnika]
Oto film, który zarejestrowaliśmy
z prędkością kilku tysięcy klatek na sekundę.
Nawet jeśli się przyjrzycie
nie dostrzeżecie żadnego ruchu liści.
Liście wydają się nieruchome,
bo fale dźwiękowe poruszały nimi zaledwie o mikrometr.
To jedna dziesięciotysięczna centymetra,
czyli coś pomiędzy jedną setną a jedną tysięczną
piksela na tym obrazie.
Możecie się więc wpatrywać ile chcecie,
ale ruch jest tak mały, że praktycznie niedostrzegalny.
Ale okazuje się, że coś może być niedostrzegalne przez zmysły,
a mimo to mieć znaczenie,
bo przy użyciu właściwych algorytmów
możemy wyodrębnić z tego niemego, pozornie nieruchomego filmu
ten dźwięk.
[Dźwięk uzyskany z filmu]
(Brawa)
Jak to możliwe?
Jak możemy uzyskać tyle informacji z tak niewielkiego ruchu?
Powiedzmy, że liście poruszają się o mikrometr,
co oznacza ruch jednej tysięcznej piksela.
Może to niewiele,
ale jedna klatka filmu
zawiera setki tysięcy pikseli.
Jeśli połączymy wszystkie te drobne ruchy
z całego obrazu
okaże się, że jedna tysięczna piksela
jest częścią znaczącej całości.
Między nami mówiąc, szczęki nam opadły, kiedy to odkryliśmy.
(Śmiech)
Ale nawet mając właściwe algorytmy
czegoś jeszcze nam brakowało.
Widzicie, istnieje wiele czynników, które wpływają na to,
czy ta technika zadziała.
Wszystko zależy od obiektu i od tego, jak daleko jest umieszczony.
Od kamery i obiektywu.
Od tego ile światła oświetla obiekt i jak głośny jest dźwięk.
Nawet mając właściwy algorytm
przy wczesnych eksperymentach musieliśmy bardzo uważać,
bo jeśli któryś z czynników zawiódł
nie można było odnaleźć źródła problemu.
Słyszeliśmy tylko szumy.
Nasze wczesne eksperymenty wyglądały tak.
Siedzę tutaj,
w lewym dolnym rogu widać naszą szybką kamerę
wycelowaną w torbę chipsów,
a wszystko oświetlają silne lampy.
Jak wspomniałem, musieliśmy bardzo uważać,
więc eksperyment wyglądał tak.
Trzy, dwa, jeden, start.
Mary had a little lamb! Little lamb! Little lamb!
(Śmiech)
Eksperyment wyglądał absurdalnie.
(Śmiech)
Wrzeszczałem na torbę chipsów...
(Śmiech)
Światło było tak jasne,
że pierwsza torba dosłownie się stopiła.
Ale choć wyglądało to absurdalnie
okazało się skuteczne,
bo udało nam się uzyskać ten dźwięk.
Mary had a little lamb! Little lamb! Little lamb!
(Brawa)
Jest to o tyle znaczące,
że po raz pierwszy udało nam się wydobyć zrozumiałą, ludzką mowę
z niemego filmu przedstawiającego przedmiot.
Mieliśmy punkt wyjścia,
dzięki czemu mogliśmy stopniowo modyfikować eksperyment
używając różnych obiektów, odsuwając je,
stosując mniejsze natężenie światła lub dźwięku.
Analizowaliśmy te eksperymenty,
aż poznaliśmy granice naszej techniki,
a kiedy je poznaliśmy
mogliśmy je przesunąć.
Doszliśmy do takich eksperymentów, jak ten
w którym znowu mówię do paczki chipsów,
ale tym razem kamerę postawiliśmy około 4,5 metra dalej,
za dźwiękoszczelną szybą,
a całość oświetla jedynie światło słoneczne.
Oto, co zarejestrowaliśmy.
Tak słychać było w środku, obok paczki chipsów.
[Dźwięk zarejestrowany w środku]
A to uzyskaliśmy z niemego filmu
nakręconego kamerą zza tej szyby.
[Uzyskane zza dźwiękoszczelnej szyby]
(Brawa)
Przesuwaliśmy granicę na inne sposoby.
To cichszy eksperyment.
Sfilmowaliśmy parę słuchawek podłączonych do laptopa.
Chcieliśmy wydobyć muzykę odtwarzaną z laptopa
za sprawą filmu przedstawiającego
te małe, plastikowe słuchawki.
Sam byłem pod wrażeniem,
że poszło nam tak dobrze.
(Śmiech)
[Dźwięk ze sfilmowanych słuchawek]
(Brawa)
Eksperymentowaliśmy także z naszym sprzętem.
Dotychczasowe eksperymenty
wykonywaliśmy za pomocą kamery rejestrującej obraz
około 100 razy szybciej
niż większość telefonów komórkowych.
Ale znaleźliśmy sposób jak użyć tej techniki
przy pomocy zwykłych kamer.
Wykorzystaliśmy do tego zjawisko, które nazywa się „rolling shutter”.
Większość kamer rejestruje obraz linia po linii,
jeśli więc obiekt się porusza
poszczególne linie rejestrowane są z pewnym opóźnieniem,
co powoduje drobne przesunięcie
w każdej klatce filmu.
Doszliśmy do wniosku, że analizując te przesunięcia
możemy odczytać dźwięk po modyfikacji naszego algorytmu.
Oto eksperyment,
w którym sfilmowaliśmy torbę cukierków
umieszczoną obok głośnika grającego
tę samą melodię "Mary Had a Little Lamb".
Ale tym razem użyliśmy zwykłej kamery.
Za chwilę odtworzę wam to, co uzyskaliśmy.
Tym razem dźwięk będzie zniekształcony,
ale spróbujcie wychwycić melodię.
[Dźwięk uzyskany z filmu]
Jak mówiłem, dźwięk jest zniekształcony,
ale niesamowite, że udało nam się osiągnąć taki efekt
za pomocą sprzętu, który możecie kupić
w pierwszym, lepszym sklepie.
Wiele osób
widząc to
pomyśli o szpiegostwie.
Szczerze mówiąc,
nietrudno sobie wyobrazić zastosowanie tej techniki w celach szpiegowskich.
Pamiętajcie jednak, że istnieje wiele
zaawansowanych technologii szpiegowskich,
od dziesięcioleci stosuje się lasery
żeby podsłuchiwać z daleka.
To, co jest nowe,
co wyróżnia tę technikę,
to możliwość ukazania wibracji obiektu,
co pozwala nam spojrzeć na świat na nowo.
Możemy wykorzystać to narzędzie
nie tylko żeby poznać dźwięki, które wprawiają obiekt w wibracje,
ale też właściwości samego obiektu.
Chciałbym, żebyśmy się zastanowili
do czego jeszcze można wykorzystać tę technologię.
Zwykle dzięki filmom oglądamy przedmioty.
Przed chwilą pokazałem,
jak możemy słuchać przedmiotów.
Ale jest jeszcze jeden ważny sposób poznawania świata:
interakcja.
Popychamy, ciągniemy, szturchamy i trącamy rzeczy.
Trzęsiemy nimi, żeby zobaczyć, co się stanie.
Film nam na to nie pozwala.
Przynajmniej nie w tradycyjnym sensie.
Chcę wam pokazać nowy eksperyment,
oparty na pomyśle sprzed kilku miesięcy.
Pierwszy raz dzielę się nim publicznie.
Chodzi o to, żeby wykorzystać wibracje
w celu interakcji z przedmiotami z filmu
i sprawdzenia ich reakcji.
Oto przedmiot,
jest nim druciana postać.
Sfilmujemy ją za pomocą zwykłej kamery.
Nie ma w niej nic niezwykłego.
Wcześniej użyłem do tego celu mojego telefonu.
Chcemy wprawić obiekt w wibracje,
więc w tym celu
uderzymy kilka razy w podłoże
i to sfilmujemy.
To wszystko: 5 sekund filmu,
w którym walimy w podłoże.
Wykorzystamy wibracje zarejestrowane na filmie,
żeby poznać strukturalne i materialne właściwości przedmiotu.
Wiedzę tę wykorzystamy do stworzenia czegoś nowego i interaktywnego.
Oto, co udało nam się osiągnąć.
Wygląda jak zwykłe zdjęcie,
ale to nie jest zdjęcie ani film,
bo za pomocą myszy
mogę wejść w interakcję z przedmiotem.
To, co widzicie
to symulacja tego, jak przedmiot
odpowiedziałby na siły, których wcześniej nie stosowaliśmy.
Wszystko to na podstawie 5-sekundowego filmu.
(Brawa)
Technika ta ma wiele zastosowań w życiu codziennym,
bo pozwala nam przewidzieć, jak przedmioty zareagują
na nowe sytuacje.
Wyobraźmy sobie, że mamy przed sobą stary most
i zastanawiamy się, czy by wytrzymał
gdybym wjechał na niego samochodem.
Wolelibyśmy znać odpowiedź na to pytanie
zanim wjedziemy na most.
Oczywiście, ta technika ma swoje ograniczenia,
tak jak wizualny mikrofon,
ale działa w wielu sytuacjach,
w których byśmy się tego nie spodziewali,
zwłaszcza przy dłuższych filmach.
Podam kolejny przykład:
oto krzak przed moim mieszkaniem.
Nic z nim nie robiłem
tylko nagrałem minutowy film,
podczas gdy lekki wiatr wprawił go w wibracje,
które wystarczyły, żeby stworzyć tę symulację.
(Brawa)
Technikę tę mógłby wykorzystać reżyser filmowy,
pozwalałaby mu kontrolować
siłę i kierunek wiatru już po nagraniu ujęcia.
W tym przypadku wycelowaliśmy kamerę w zasłonę.
Nie widać żadnego ruchu,
ale w 2-minutowym filmie wystarczyła
naturalna cyrkulacja powietrza w pomieszczeniu,
żeby wywołać delikatne, nieuchwytne wibracje,
dzięki którym mogliśmy stworzyć tę symulację.
Jak na ironię
znamy tego typu interakcję
z wirtualnej rzeczywistości,
z gier komputerowych i modeli 3-D,
ale uzyskanie takich informacji z prawdziwych przedmiotów
zarejestrowanych za pomocą prostych kamer
to coś nowego, co ma potencjał.
Oto niezwykli ludzie, którzy pracowali ze mną nad tymi projektami.
(Brawa)
To, co wam dzisiaj pokazałem to dopiero początek.
To dopiero wierzchołek góry lodowej
tego, co można zrobić za pomocą tej techniki,
bo daje nam ona nowe możliwości
postrzegania otoczenia za pomocą codziennej technologii.
Przed nami ekscytująca przyszłość,
w której będziemy mogli eksplorować świat
i dowiadywać się o nim nowych rzeczy.
Dziękuję.
(Brawa)