Zobaczyć niewidoczne ruchy, usłyszeć niesłyszalne dźwięki. Wspaniałe czy straszne? Trudno powiedzieć

Poznajcie „mikroskop badający ruch”, narzędzie do przetwarzania obrazu, które odsłania mikroskopijne zmiany w ruchu i kolorze, niewidoczne dla nas gołym okiem. Badacz Michael Rubinstein pokazuje serię oszałamiających filmików o tym, jak technologia może wyśledzić puls i bicie serca człowieka ze zwykłego nagrania. Dowiadujemy się też, jak można odtworzyć rozmowę, zwiększając ruchy spowodowane przez fale dźwiękowe odbite od paczki czipsów. Niezwykle inspirujące i przerażające użycia tej technologii to coś, co trzeba zobaczyć.

Przez ostatnie kilka stuleci

mikroskopy zrewolucjonizowały świat.

Odkryły przed nami maleńki świat obiektów,

żywych organizmów i struktur,

zbyt małych, by dostrzec je gołym okiem.

To olbrzymi wkład w naukę i technikę.

Chcę przedstawić nowy typ mikroskopu,

mikroskop śledzący zmiany.

Nie stosuje optyki,
tak jak tradycyjny mikroskop,

by powiększać małe obiekty,

zamiast tego za pomocą kamery
i przetwarzania obrazów,

odkrywa najdrobniejsze ruchy
i zmiany w kolorze obiektów i ludzi.

Zmiany niewidoczne dla nas gołym okiem.

Pozwala to spojrzeć na świat
w zupełnie nowy sposób.

O co chodzi ze zmianą kolorów?

Otóż skóra nieznacznie zmienia kolor,

kiedy krąży pod nią krew.

Zmiany te są niebywale subtelne,

dlatego patrząc na innych,

na osobę siedzącą obok,

nie widzimy zmian w odcieniu skóry.

To nagranie Steve'a
wygląda jak statyczny obraz,

ale gdy przepuścimy je

przez nasz nowy mikroskop,

zobaczymy zupełnie inny obraz.

To nieznaczne zmiany w kolorze skóry,

zwiększone 100 razy, żeby było je widać.

Widzimy ludzki puls.

Widzimy, jak szybko bije serce,

a nawet w którą stronę płynie krew.

Można to robić nie tylko w celu
wizualizacji pulsu,

ale też by odtworzyć rytm pracy serca

i go zmierzyć.

Możemy to robić zwykłymi kamerami,
bez dotykania pacjentów.

Tu widzimy puls i pracę serca noworodka

z filmu nagranego zwykłą kamerą cyfrową.

Otrzymany pomiar pracy serca

jest równie dokładny, jak pomiary
standardowym sprzętem szpitalnym.

Nie musi to być koniecznie
film nagrany przez nas.

Możemy to zrobić z dowolnym filmem.

Oto fragment filmu "Batman: Początek",

widzimy puls Christiana Bale'a.

(Śmiech)

Zapewne ma na sobie makijaż,

oświetlenie nie jest najlepsze,

a i tak można wydobyć jego puls
ze zwykłego nagrania

i pokazać go całkiem dobrze.

Jak to robimy?

Głównie analizujemy zmiany światła

nagrane z czasem w każdym pikselu,

a potem podkręcamy te zmiany.

Zwiększamy je, by były widoczne.

Najtrudniejsze jednak jest to,

że zmiany te są niezwykle subtelne,

trzeba bardzo uważać, by oddzielić je

od szumów zawartych w każdym nagraniu.

Stosujemy sprytne techniki
przetwarzania obrazów,

by uzyskać bardzo dokładne pomiary
koloru każdego piksela w nagraniu,

a potem zmiany tego koloru w czasie.

Następnie wzmacniamy te zmiany.

Zwiększamy je, by stworzyć
mocno przesadzone nagrania,

które pokażą te zmiany.

Okazuje się, że można uwidocznić
nie tylko zmiany koloru,

ale też delikatne ruchy.

Światło zarejestrowane przez kamery

zmienia się nie tylko
wraz z kolorem obiektu,

ale także podczas ruchu.

Oto moja córka, kiedy miała dwa miesiące.

Nagrałem ten film może trzy lata temu.

Młodzi rodzice
martwią się o zdrowie dzieci,

o to, czy oddychają, czy żyją.

Dostałem taki monitor dla dzieci,

aby obserwować córkę, kiedy śpi.

To widać na standardowym monitorze.

Widzimy, że dziecko śpi,
ale nie mamy wielu informacji.

Nie widać za wiele.

Czy nie byłoby lepiej,

gdybyśmy widzieli coś takiego?

Ruchy zostały tutaj zwiększone 30 razy,

dzięki czemu widać wyraźnie,
że moja córka żyje i oddycha.

(Śmiech)

Oto porównanie.

W oryginalnym filmie

nie widać za wiele,

ale po wzmocnieniu ruchów,
oddychanie jest wyraźniejsze.

Jest wiele zjawisk,

które możemy wzmacniać
za pomocą tego mikroskopu.

Widać jak pulsują żyły i arterie.

Widać, że oczy są w ciągłym ruchu,

drgając na różne strony.

To moje oko,

sfilmowane niedługo po narodzinach córki,

jak widać, nie spałem wtedy za dobrze.
(Śmiech)

Nawet, gdy ktoś siedzi nieruchomo,

możemy wydobyć wiele informacji.

Sposób oddychania, delikatna mimika.

Może moglibyśmy użyć tego,

by odkrywać myśli czy emocje?

Możemy zwiększyć także
niewielkie ruchy mechaniczne,

takie jak wibracje silników,

co pomoże inżynierom wykryć
problemy techniczne maszyn,

albo zobaczyć reakcje budynków
na wiatr i przeciążenia.

Wszystko to możemy już mierzyć
na różne sposoby.

Ale pomiary to jedno,

a zobaczenie ruchu na własne oczy

to coś zupełnie innego.

Po odkryciu tej technologii

udostępniliśmy kod w sieci,
by każdy mógł poeksperymentować.

Jest łatwy do użycia.

Może zadziałać na waszych nagraniach.

Nasi współpracownicy z Quantum Research
stworzyli nawet stronę,

gdzie można umieszczać filmy
i przetwarzać je online.

Nawet nie znając się na programowaniu,

i tak można eksperymentować
z tą techniką.

Pokażę kilka przykładów,

co można z nią zrobić.

Oto film użytkownika Youtube Tamez85.

Nie wiem, kto to,

ale użył, lub użyła naszego kodu,

by zwiększyć niewielkie ruchy
brzucha w ciąży.

Wygląda trochę przerażająco.

(Śmiech)

Ludzie zwiększali pulsowanie żył w rękach.

Nie ma prawdziwej nauki
bez świnek morskich.

Ta tutaj nazywa się Tiffany.

Ten użytkownik utrzymuje,
że to pierwszy gryzoń na ziemi,

którego ruchy zwiększono.

Można też tworzyć dzięki temu sztukę.

Oto film nadesłany
przez studentkę designu z Yale.

Chciała sprawdzić, czy są jakieś różnice

w ruchach kolegów i koleżanek.

Kazała im stać nieruchomo,
a potem wzmocniła ruchy.

To tak, jakby obrazy nagle ożyły.

Najlepsze w tych przykładach jest to,

że nie musieliśmy nic z nimi robić.

Dostarczyliśmy tylko nowe narzędzie,
nowy sposób patrzenia na świat.

Ludzie sami znajdują ciekawe
i kreatywne sposoby użycia.

Ale to nie wszystko.

To narzędzie nie tylko pozwala
patrzeć na świat inaczej.

Zmienia definicje i zwiększa zakres tego,

co można uchwycić kamerą.

Jako naukowcy, zastanawialiśmy się,

jakie inne zjawiska fizyczne
powodują niewielkie ruchy,

które teraz można by zmierzyć kamerą?

Ostatnio skupiliśmy się na dźwięku.

Dźwięk to przede wszystkim

zmiany ciśnienia w powietrzu.

Fale akustyczne trafiają na obiekty,
wprawiając je w niewielkie wibracje.

Dzięki temu słyszymy
i rejestrujemy dźwięki.

Okazuje się, że dźwięk
produkuje też widzialne ruchy.

Nie są widoczne dla nas,

ale po odpowiedniej obróbce,
są widoczne dla kamery.

Oto dwa przykłady.

Tutaj prezentuję
wspaniałe zdolności wokalne.

(Śpiew)

(Śmiech)

Nagrałem przyspieszone wideo
grdyki podczas śpiewu.

Patrząc na nagranie,

nie widać za wiele.

Ale po zwiększeniu ruchów 100 razy,
widzimy ruchy i zmarszczki na szyi

związane z produkcją dźwięku.

Widać ten sygnał na filmie.

Śpiewacy mogą rozbijać kieliszki,

jeśli trafią w odpowiedni dźwięk.

Zagramy teraz dźwięki,

odpowiadające rezonansowi tego kieliszka,

za pomocą głośnika.

Po zagraniu i zwiększeniu ruchów 250 razy,

wyraźnie widać, jak kieliszek wibruje

i wpada w rezonans w odpowiedzi na dźwięk.

To niecodzienny widok,

który dał nam do myślenia.
Wpadliśmy na szalony pomysł.

Możemy odwrócić ten proces
i odzyskać dźwięk z nagrania,

analizując delikatne wibracje,
tworzone przez fale na obiektach,

i następnie przetworzyć je na dźwięki.

Dzięki temu zwykłe przedmioty
można zmienić w mikrofony.

To właśnie zrobiliśmy.

Na stole leży pusta paczka po czipsach.

Zrobimy z niej mikrofon,

nagrywając ją kamerą

i analizując delikatne ruchy,
wytworzone przez fale dźwiękowe.

Odtworzyliśmy tam tę piosenkę.

(Muzyka: "Mary małą owcę ma")

A to przyśpieszone wideo
tej paczki czipsów.

Znów je słychać.

Gołym okiem nie widać tu niczego,

ale można odtworzyć sam dźwięk,

analizując lekkie ruchy
widoczne na nagraniu.

(Muzyka: "Mary małą owcę ma")

Nazwałem to... Dziękuję

(Brawa)

Nazwałem to wizualnym mikrofonem.

Wydobywamy sygnały audio z sygnału wideo.

Żeby przedstawić wam skalę tych ruchów:

głośny dźwięk sprawi,
że paczka poruszy się o mikrometr.

To jedna tysięczna milimetra.

Tak małe ruchy możemy wydobyć,

obserwując światło odbite od obiektów,

nagrane kamerą.

To możliwe także z innymi obiektami,
na przykład z roślinami.

(Muzyka: "Mary małą owcę ma")

A także z mową.

Ktoś mówi w tym pokoju.

Głos: Mary małą owcę ma,
owcę ma, owcę ma,

która biała jest jak mgła,
Ach, biała jest jak mgła.

A tutaj ten sam głos po odzyskaniu

z tej samej paczki czipsów.

Głos: Mary małą owcę ma,
owcę ma, owcę ma,

która biała jest jak mgła,
Ach, biała jest jak mgła.

Użyliśmy "Mary małą owcę ma",

bo to ponoć pierwsze słowa,

które Thomas Edison wypowiedział
do fonografu w 1877 roku.

To jedno z pierwszych
nagrań głosu w historii.

Urządzenie kierowało dźwięki na membranę,

która wibrując igłą, grawerowała dźwięk
na folii aluminiowej,

owiniętej wokół cylindra.

Oto pokaz nagrywania i odtwarzania dźwięku
za pomocą fonografu Edisona.

Próba, próba, raz, dwa, trzy.

Mary małą owcę ma,
owcę ma, owcę ma,

która biała jest jak mgła,
Ach, biała jest jak mgła.

Próba, próba, raz, dwa, trzy.

Mary małą owcę ma,
owcę ma, owcę ma,

która biała jest jak mgła,
Ach, biała jest jak mgła.

A teraz, 137 lat później,

możemy odtworzyć dźwięk podobnej jakości

nagrywając obiekty wibrujące od dźwięku.

Da się to zrobić nawet
kamerą oddaloną o kilka metrów,

za dźwiękoszczelną szybą.

Taki dźwięk odtworzymy w tym wypadku.

Mary małą owcę ma,
owcę ma, owcę ma,

która biała jest jak mgła,
Ach, biała jest jak mgła.

Inwigilacja to pierwsza rzecz,
która się przy tym nasuwa.

(Śmiech)

Ale może się to przydać
i do czegoś innego.

Może w przyszłości
będzie można na przykład

odzyskiwać dźwięki z kosmosu.

Dźwięk nie podróżuje w próżni,
ale światło tak.

Dopiero zaczynamy odkrywać

inne możliwości tej nowej techniki.

Pokazuje nam procesy fizyczne,
o których wiedzieliśmy,

ale których dotąd
nie widać było gołym okiem.

Oto nasza ekipa.

Wszystko, co dziś pokazałem,
jest wynikiem współpracy

tej grupy wspaniałych ludzi.

Zachęcam do odwiedzenia naszej strony,

spróbujcie sami jak to działa,

dołączcie do nas,
odkrywając świat maleńkich ruchów.

Dziękuję,

(Brawa)