Увидеть неуловимое движение, услышать бесшумный звук. Здорово? Или вызывает мурашки? Решать вам

Встречайте «микроскоп движений» — инструмент для обработки видео, способный воспроизвести крошечные движения и изменения цвета, скрытые от невооружённого глаза. Исследователь Майкл Рубинштейн показывает один за другим удивительные ролики, демонстрирующие, как новые технологии могут определить человеческий пульс и сердцебиение всего лишь по короткой видеозаписи. Посмотрите, как ему удаётся распознать разговор, усилив движения звуковых волн от упаковки чипсов. Не увидев своими глазами возможности применения этих технологий, вызывающих гамму чувств от восторга до опасений, в это просто невозможно поверить.

За последние несколько столетий
микроскопы произвели революцию в мире.

Они открыли нам крошечный мир
предметов, живых организмов и структур,

которые слишком малы,
чтобы увидеть их невооружённым глазом.

Это огромный вклад в науку и технику.

Сегодня я хочу представить вам
новый тип микроскопа —

микроскоп для изменений.

Он не использует оптику,
как обычный микроскоп,

для увеличения мелких объектов.

Вместо этого он использует видеокамеру
и процессор обработки изображения,

чтобы показать нам мельчайшие движения
и изменения цвета в предметах и людях,

изменения, которые невозможно
увидеть невооружённым глазом.

Это позволяет нам
по-новому взглянуть на мир.

Что я подразумеваю
под изменениями цвета?

Наша кожа, к примеру,
изменяет свой цвет едва заметно,

когда под ней циркулирует кровь.

Это едва уловимое изменение,

поэтому, когда вы смотрите
на других людей,

когда вы смотрите на человека,
сидящего рядом,

вы не видите изменения
цвета их кожи и лица.

Когда мы смотрим на это видео Стива,
оно кажется нам статичным изображением,

но как только мы посмотрим на него
через наш новый особый микроскоп,

неожиданно мы видим
совершенно другую картину.

То, что мы видим здесь, —
это небольшие изменения цвета кожи Стива,

увеличенные в 100 раз,
и теперь их можно увидеть.

Мы можем фактически разглядеть
человеческий пульс.

Мы можем увидеть,
как быстро бьётся сердце Стива

и как именно
кровь приливает к его лицу.

Подобная технология применима
не только для визуализации пульса,

но и для того,
чтобы воспроизвести наш пульс

и измерить его.

Мы можем сделать это обычной камерой,
не касаясь пациентов.

Здесь вы можете увидеть пульс и частоту
сердечных сокращений новорождённого

из видео, снятого на обычную
цифровую зеркальную камеру,

и полученные нами показания,

настолько же точные,
как и показания медицинских приборов.

И видео не обязательно
должно быть записано нами.

Мы с таким же успехом можем
проделывать это с другими видео.

Я взял короткий отрывок
из фильма «Бэтмэн: Начало»,

чтобы показать пульс
Кристиана Бейла.

(Смех)

И вы знаете, вероятно, на нём грим,

и освещение не самое лучшее,

тем не менее, из простого ролика
мы можем получить его пульс

и достаточно наглядно его показать.

Как же нам это удаётся?

В сущности, мы анализируем
изменения света, зафиксированные

в каждом пикселе видео
в течение записи,

а затем максимально раскручиваем их.

Мы увеличиваем изменения,
чтобы увидеть их.

Вся сложность в том, что эти сигналы,

эти изменения, которые мы отслеживаем,
едва уловимы,

и нужно быть очень внимательным,
пытаясь отделить их

от шума, который всегда
присутствует на видео.

Мы используем умные технологии
обработки изображения,

чтобы получить очень точные данные
о цвете в каждом пикселе видео

и о том, как меняется цвет
с течением времени,

после чего мы усиливаем эти изменения.

Мы увеличиваем их, чтобы получились
те самые продвинутые, улучшенные видео,

которые показывают нам эти изменения.

Но мы можем не только показывать
мельчайшие изменения цвета,

но и незаметные движения,

потому что свет, записанный на камеру,

меняется не только
от изменения цвета объекта,

но и от его движения.

Это моя дочка в возрасте
около 2 месяцев.

Я записал это видео
примерно 3 года назад.

Как все молодые родители,
мы хотим быть уверенными,

что наши дети здоровы,
что они дышат, что они живы.

Я тоже приобрёл видеоняню,

чтобы видеть свою дочь, пока она спит.

Вот что вы увидите
с помощью обычной видеоняни.

Видно, что ребёнок спит,
и это вся информация.

Чего-то большего не увидеть.

Не было бы лучше,
более информативно или полезно,

если бы мы могли видеть
изображение таким?

Все движения я усилил в 30 раз,

чтобы я мог отчётливо увидеть,
что моя дочь действительно жива и дышит.

(Смех)

Вот наглядное сравнение.

Повторюсь, в оригинале,
в полученной записи,

мало что можно увидеть,

но если усилить движения,
дыхание видно гораздо лучше.

Оказывается, есть множество явлений,

которые можно обнаружить и усилить
с помощью микроскопа отслеживания движений.

Можно увидеть, как вены и артерии
пульсируют в нашем теле.

Можно увидеть, как наши глаза
непрерывно перемещаются

колебательными движениями.

А это, собственно, мой глаз,

и это видео было снято сразу
после рождения дочери,

и вы видите, что спал я
не слишком много. (Смех)

Даже когда человек сидит неподвижно,

мы можем почерпнуть
много информации

про манеру его дыхания,
мелкие выражения лица.

Вероятно, мы можем
использовать эти движения

чтобы определять мысли и эмоции.

Мы также можем усилить
небольшие механические движения,

такие как вибрации двигателя,

что может помочь механикам находить
и определять проблемы в механизме,

или увидеть колебания зданий и конструкций
под воздействием ветра и внешних сил.

Все подобные вещи в нашем обществе
умеют рассчитывать множеством способов,

но рассчитать движения — это одно,

а увидеть их в действии —

это совершенно другое.

С тех пор как мы открыли
эту новую технологию,

мы сделали нашу программу доступной онлайн
для тестирования другими людьми.

Она очень проста в использовании.

Она может работать с вашими
собственными видео.

Наши коллеги из Quanta Research
даже создали замечательный сайт,

где вы можете загрузить своё видео
и обработать его онлайн,

поэтому, даже если у вас нет опыта
в информатике и программировании,

вы всё равно можете легко
испробовать этот новый микроскоп.

Я покажу вам несколько примеров того,

как его использовали другие.

Это видео снято пользователем
YouTube под ником Tamez85.

Я не знаю этого пользователя,

но он, или она,
использовал нашу программу,

чтобы усилить маленькие движения
живота во время беременности.

Выглядит жутковато.

(Смех)

Люди использовали её для усиления
пульсации вен в руках.

И какая настоящая наука
может обойтись без морских свинок?

По-видимому, эту зовут Тиффани,

и этот пользователь YouTube заявляет,
что это первый грызун на Земле,

чьи движения подвергались усилению.

Всё это применимо и в искусстве.

Это видео мне прислала студентка-дизайнер
из Йельского университета.

Она хотела увидеть, есть ли разница

в движениях её одногруппников.

Она попросила их не двигаться,
а потом усилила скрытые движения.

Мы как будто наблюдаем оживление
неподвижной картины.

Приятный момент
относительно всех этих примеров —

нам не нужно с ними ничего делать.

Мы просто дали новый инструмент,
новый способ взглянуть на мир,

а люди находят ему другие интересные,
новые и нестандартные применения.

Но мы не остановились на этом.

Эта технология позволяет не только
по-новому увидеть мир,

но и переосмыслить наши возможности,

расширить рамки
использования наших камер.

Как учёные, мы задумались,

какие ещё типы физических явлений
вызывают едва заметные движения,

которые мы теперь можем измерить
с помощью нашей новой камеры?

Одно из таких явлений, на котором мы
недавно сфокусировались, — это звук.

Звук, как известно, состоит
из колебаний давления,

которые перемещаются
в воздушной среде.

Звуковые волны, достигая предметов,
создают в них мелкие вибрации,

благодаря которым мы слышим
и записываем звук.

Но оказалось, что звук создаёт
также визуальные движения.

Они незаметны для нас,

но заметны для камеры
с подходящей технологией.

Приведу два примера.

Здесь я демонстрирую
свои вокальные способности.

(Поёт)

(Смех)

Я снял высокоскоростное видео
своего горла, пока я пел.

Если присмотреться к этому видео,

ничего особенного не видно,

но усилив движения в 100 раз,
мы увидим все движения и пульсации на шее,

которые участвуют в формировании звука.

Источник пения теперь заметен на видео.

Мы также знаем, что вокалисты
способны разбить бокал,

если возьмут нужную ноту.

На этом видео мы проиграем ноту

на частоте резонанса бокала

через громкоговоритель рядом с ним.

Когда мы проигрываем эту ноту
и усиливаем движение в 250 раз,

мы можем отчётливо видеть,
как стакан вибрирует

и резонирует в ответ на звук.

Такое не каждый день увидишь.

Но это заставило нас задуматься.
Это натолкнуло нас на сумасшедшую идею.

Можем ли мы обратить процесс
и извлечь звук из видео,

анализируя предметы на мельчайшие
вибрации, которые создают звуковые волны,

и главное, обратить их снова в звук,
который их вызвал.

Таким образом, мы можем превратить
повседневные предметы в микрофоны.

Именно это мы и сделали.

Возьмём пустую упаковку от чипсов,
лежащую на столе,

теперь мы собираемся превратить
эту упаковку в микрофон,

записав её на камеру

и проанализировав её мельчайшие
движения от звуковых волн.

Мы проиграли в комнате следующий звук.

(Музыка: «У Мэри был барашек»)
[американский фольклор]

Мы записали высокоскоростное видео
с этой упаковки чипсов.

Вы смотрите его.

Вы никогда не сможете увидеть
хоть что-то происходящее на этом видео,

просто глядя на него,

но послушайте звук, полученный
путем простого анализа

незаметных движений на видео.

(Музыка: «У Мэри был барашек»)

Я называю это... Спасибо.

(Аплодисменты)

Я называю это визуальным микрофоном.

Мы извлекаем звуковые сигналы
из видеосигналов.

И чтобы вы хорошо понимали
масштабы записанных движений,

довольно громкий звук заставит упаковку
пошевелиться не более, чем на микрометр.

Это одна тысячная миллиметра.

Вот насколько крошечные движения
мы теперь можем выявить,

просто наблюдая за тем,
как свет отражается от предметов

и записывается нашими камерами.

Мы можем воспроизвести звук
из других предметов, например растений.

(Музыка: «У Мэри был барашек»)

Кроме того, мы можем воспроизвести речь.

На примере голоса человека в комнате.

Голос: «У Мэри был барашек,
он снега был белей,

идёт куда-то Мэри,
и он идёт за ней».

И вот эта же речь, восстановленная

по этому видео
всё из той же упаковки чипсов.

Голос: «У Мэри был барашек,
он снега был белей,

идёт куда-то Мэри,
и он идёт за ней».

Мы взяли песню «У Мэри был барашек»,

потому что считается,
что это были первые слова,

произнесённые Томасом Эдисоном
в его фонограф в 1877.

Это было одно из первых
звукозаписывающих устройств в истории.

Оно направляло звук на диафрагму,

которая раскачивала иглу,
и та оставляла след на оловянной оболочке,

обмотанной вокруг цилиндра.

Послушайте, как записывается
и воспроизводится звук фонографом Эдисона.

(Видео) Голос: «Проверка, проверка.
Раз, два, три.

У Мэри был барашек,
он снега был белей,

идёт куда-то Мэри,
и он идёт за ней.

Проверка, проверка.
Раз, два, три.

У Мэри был барашек,
он снега был белей,

идёт куда-то Мэри,
и он идёт за ней».

И теперь, 137 лет спустя,

мы способны получить звук
практически такого же качества,

всего лишь наблюдая через камеру,
как предметы резонируют от звука.

Мы можем сделать это,
даже когда камера

удалена от объекта почти на 5 метров
и находится за звукоизолирующим стеклом.

Послушайте звук,
полученный нами в этом случае.

Голос: «У Мэри был барашек,
он снега был белей,

Идёт куда-то Мэри,
и он идёт за ней».

Конечно, слежка — это первое применение,
которое приходит на ум.

(Смех)

Но это может оказаться полезным
и для других вещей.

Может быть, в будущем мы сможем
использовать это, например,

чтобы получать звуки из космоса,

потому что звук не распространяется
в космосе, в отличие от света.

Мы только начали исследовать

другие возможные способы
применения этой новой технологии.

Она позволяет нам увидеть
физические процессы, о которых мы знаем,

но которые были не в состоянии
увидеть собственными глазами до сих пор.

Это наша команда.

Всё, что я показал вам сегодня, —
результат сотрудничества

с этой замечательной группой людей.

Я призываю и приглашаю вас
ознакомиться с нашим сайтом.

Заходите на него

и присоединяйтесь к нам в исследовании
этого мира крошечных движений.

Спасибо.

(Аплодисменты)