Большинство из нас думают, что движение можно только видеть.
Когда я хожу по сцене или жестикулирую, пока говорю, —
это движение, которое вы видите.
Но есть и целый мир движений, еле заметных человеческому глазу,
и в течение последних лет
мы узнали, что видеокамеры
могут заметить такие движения, даже если их не видит человек.
Сейчас я покажу, что я имею ввиду.
Слева — видео запястья человека,
а справа — видео спящего ребёнка.
Но если бы я не сказал вам, что это видео,
вы могли бы подумать, что смотрите на два изображения.
Потому что в обоих случаях
изображения на видео кажутся застывшими.
На самом деле, там происходит много неуловимых движений,
и если вы могли бы коснуться запястья на видео слева,
то ощутили бы пульс,
а если бы смогли подержать ребёнка на видео справа,
то ощутили бы, как поднимается и опускается грудная клетка
с каждым вздохом.
И эти движения имеют большое значение,
но они обычно настолько слабы, что едва видимы.
Так что мы можем ощутить их,
непосредственно взаимодействуя с объектом, касаясь его.
Но несколько лет назад, мои коллеги из МИТа
создали так называемый микроскоп движения —
это компьютерная программа, которая находит малозаметные движения на видео
и усиливает их так, что они становятся заметными для нас.
Если мы применим программу для видео слева,
то сможем увидеть пульс,
и если мы посчитаем удары,
то сможем узнать частоту сердечных сокращений.
Если мы используем программу на видео справа,
то увидим каждый вдох, который делает ребёнок,
мы можем видеть это без прямого контакта для проверки дыхания.
Эта технология действительно мощная, потому что использует процесс,
который мы привыкли ощущать через прикосновения,
и позволяет воспринимать его зрительно, без вмешательства.
Несколько лет назад я начал работу вместе с группой, создавшей эту программу,
и мы задумали проверить сумасшедшую идею.
Мы подумали: здорово, что можно использовать эту программу
для визуализации незаметных движений
и воспринимать их так, будто это способ расширить наши способности.
А что, если мы могли бы сделать то же с нашей способностью слышать?
Что, если мы могли бы использовать видео, чтобы записать вибрации звука,
что тоже является лишь одной из форм движения,
и превратить любые видимые объекты в микрофон?
Это немного странная идея,
но давайте я поясню её более развёрнуто.
Обычный микрофон устроен так, чтобы преобразовывать движение
внутренней мембраны в электрический сигнал,
и мембрана сделана так, чтобы двигаться под воздействием звука.
Дальше эти вибрации записываются и воспроизводятся как звук.
Но звук заставляет все объекты колебаться.
Эти вибрации малы и слишком быстры, чтобы их заметить.
А что, если мы запишем их с помощью высокоскоростной камеры,
и используем программу для извлечения незаметных движений
из полученного видео,
и обработаем движения, чтобы понять, какие звуки их вызывают?
Это позволило бы нам превратить удалённые видимые объекты в микрофоны.
Так что мы начали испытания.
Вот один из наших экспериментов,
где мы использовали растение в горшке, его вы видите справа.
Мы снимали его на высокоскоростную камеру,
в то время как в динамике рядом проигрывался звук.
(Музыка: «У Мэри был маленький барашек») [Эдисон тоже использовал её на фонографе]
Вот получившаяся видеозапись,
и мы записали её на скорости тысяча кадров в секунду.
Но даже так, если вы всмотритесь,
то увидите только листья,
которые, вероятней всего, совершенно не двигаются.
Всё потому, что звук отклоняет листья на микрометр —
это одна десятитысячная сантиметра,
что равняется примерно одной сотой или тысячной
от пикселя на этом изображении.
Так что вы можете вглядываться, сколько хотите,
но движение настолько мало, что незаметно для глаза.
В то же время то, что настолько неуловимо,
может быть численно оценено.
И используя подходящий алгоритм,
мы можем из этого видео без звука
восстановить музыку.
(Музыка: «У Мэри был маленький барашек»)
(Аплодисменты)
Как же это возможно?
Как нам удалось восстановить столько информации из столь малого движения?
Допустим, эти листья двигаются лишь на один микрометр,
и скажем, что это сдвигает наше изображение на тысячную пикселя.
Кажется, что этого мало,
но на одном кадре такого видео
могут быть сотни тысяч пикселей.
Если мы соберём все микродвижения,
найденные на изображении,
то получим тысячи пикселей
и можем начать составлять из них что-то более заметное.
Честно говоря, мы чуть было не сошли с ума, когда нашли это.
(Смех)
Но даже с хорошим алгоритмом
мы по-прежнему упускали важную деталь мозаики.
Есть много факторов, влияющих на то, когда и как хорошо
сработает эта методика.
Есть объект и расстояние до него;
камера и используемые объективы;
свет, попадающий на объект, и громкость звука.
Даже применяя правильный алгоритм,
нужно быть очень внимательным с ранними экспериментами.
Потому что если какой-то из факторов был упущен,
то нет способа сказать, какой именно.
Всё, что мы получим, — лишь шум.
Поэтому наши первые эксперименты выглядели так.
Вот я,
и слева внизу одна из наших высокоскоростных камер,
которая направлена на пачку чипсов,
место съёмки освещено яркими лампами.
И как я сказал, нужно было быть внимательными на первых этапах,
и вот как это происходило.
(Видео) Эйб Дейвис: «Три, два, раз, запись».
«У Мэри был маленький барашек! Маленький барашек! Маленький барашек!»
(Смех)
ЭД: Да, эксперимент выглядит нелепым.
(Смех)
То есть я кричу на пачку чипсов,
(Смех)
и свет настолько яркий,
что мы почти расплавили упаковку чипсов, пока записывали. (Смех)
Но, несмотря на нелепость эксперимента,
всё это было очень важно,
потому что мы смогли восстановить звук.
(Аудио) «У Мэри был маленький барашек! Маленький барашек! Маленький барашек!»
(Аплодисменты)
ЭД: И это было действительно значимым,
потому что впервые мы чётко восстановили речь человека
из беззвучной съёмки объекта.
Это дало нам точку отсчёта,
и мы могли начать изменять наш эксперимент,
используя разные объекты и отодвигая их дальше от камеры,
уменьшая освещённость или используя более тихий звук.
Мы анализировали все эти эксперименты до тех пор,
пока не поняли границы применения нашей методики,
а когда мы осознали эти границы,
то смогли расширить их.
И мы провели следующий эксперимент:
я снова разговаривал с упаковкой чипсов,
но на этот раз мы отодвинули камеру на 4,5 метра,
установив за звуконепроницаемым стеклом,
используя лишь естественное освещение.
И вот снятое нами видео.
Вот звук, записанный рядом с упаковкой чипсов.
(Аудио) «У Мэри был маленький барашек, Его шерсть была белой как снег,
И всюду, куда Мэри шла, Барашек всегда следовал за ней».
ЭД: А вот звук, который мы смогли восстановить из видео,
снятого за звуконепроницаемым стеклом.
(Аудио) «У Мэри был маленький барашек, Его шерсть была белой как снег,
И всюду, куда Мэри шла, Барашек всегда следовал за ней».
(Аплодисменты)
ЭД: Есть другие пути расширения границ.
Вот эксперимент с более тихим звуком,
в котором мы снимали наушники, подсоединённые к ноутбуку.
Наша цель была восстановить музыку, играющую в этом ноутбуке,
используя беззвучную съёмку
двух пластиковых наушников.
Нам удалось это настолько хорошо,
что даже Shazam может распознать музыку.
(Смех)
(Музыка: «Under Pressure» группы «Queen»)
(Аплодисменты)
Мы смогли ещё дальше сдвинуть границы, меняя аппаратуру для записи.
Все предыдущие эксперименты, которые я показывал,
мы проводили, используя высокоскоростную камеру,
которая может записывать видео со скоростью в 100 раз больше,
чем камеры большинства сотовых телефонов.
Однако мы нашли способ применить наш метод
с помощью обычных камер,
используя эффект сдвига изображения.
Большинство камер записывают изображение объекта построчно,
и если объект движется во время записи,
происходит запаздывание при записи строк,
и это приводит к появлению искажений,
находящихся в каждом кадре видео.
Мы обнаружили, что анализируя эти искажения,
мы можем восстановить звук, используя модификацию нашего алгоритма.
Мы провели следующий эксперимент,
в котором снимали упаковку конфет,
а в динамиках рядом проигрывалась
всё та же музыка «У Мэри был маленький барашек».
Однако в этот раз мы использовали обычную камеру, купленную в магазине.
Сейчас я проиграю восстановленный звук,
и он будет немного искажённым в этот раз,
но послушайте и проверьте, сможете ли вы узнать музыку.
(Аудио: «У Мэри был маленький барашек»)
И хотя звук искажён,
но по-настоящему удивительное в этом то, что вы можете
проделать подобное буквально с камерой,
купленной в обычном магазине.
В этот момент
многие из слушателей
начинают думать про слежку, прослушку.
По правде говоря,
нетрудно представить, как использовать эту технологию для слежки.
Но помните, что уже есть технологии гораздо совершеннее
для подобной прослушки.
Давно используются лазеры,
наведённые на отдалённый объект, для подслушивания.
Но новое в этом,
принципиально отличное заключается в том,
что этот способ, при помощи которого мы снимаем вибрацию с объекта,
даёт нам новый ракурс, с которого мы можем взглянуть на мир.
Мы можем использовать его,
чтобы узнать не только о звуке, заставляющем объект вибрировать,
но и о самом объекте.
Вернёмся теперь немного назад
и подумаем, как это может изменить привычное использование видео.
Мы привыкли использовать видео, чтобы смотреть на вещи,
а недавно я показал, как использовать видео,
чтобы услышать звук.
Но есть и другой важный аспект того, как мы познаём мир:
напрямую взаимодействуя с ним.
Мы толкаем, тянем, тычем в предметы.
Мы трясём предметы, чтобы понять, что произойдёт.
И это именно то, что видео пока не даёт нам испытать,
по крайне мере, в привычном виде.
И я хочу показать вам новый проект,
основанный на идее, возникшей у меня пару месяцев назад,
так что это первый раз, когда я делюсь этой идей с широкой аудиторией.
Основная идея состоит в том, чтобы использовать вибрации в видео
таким образом, который бы позволил нам взаимодействовать с ним
и видеть то, как предмет реагирует на нас.
Перед вами объект.
На этот раз это проволочная фигурка человека,
и мы снимаем этот объект обычной камерой.
Так что нет ничего особенного в этой камере.
В действительности, я проделывал это же с камерой в телефоне.
Нам необходимо увидеть, как объект вибрирует,
и чтобы это сделать,
мы просто постучим по той поверхности, на которой он стоит,
и запишем это на видео.
Вот и всё — пять секунд обычного видео,
пока стучат по поверхности.
Далее мы используем вибрации объекта с видео,
чтобы понять конструктивные свойства и материал этого объекта
и использовать эту информацию, чтобы создать новый способ взаимодействия.
И вот что мы создали.
Это выглядит как обычное изображение,
но это не изображение, и не видео,
потому что как только я беру мышь,
я могу воздействовать с объектом.
То, что вы видите здесь, —
это симуляция того, как объект
будет реагировать на новые воздействия, которые мы ранее не оказывали.
И мы создали это, используя лишь 5 секунд обычного видео.
(Аплодисменты)
И это достаточно мощный способ познания мира,
потому что он может предсказывать, как объект будет реагировать
на новые события.
Вы можете представить ситуацию, к примеру, смотря на старый мост
и задаваясь вопросом: что произойдёт, выдержит ли этот мост,
если я проеду по нему на машине.
И это — вопрос, на который вы захотели бы получить ответ до того,
как проедете по мосту.
Конечно же, будут ограничения в применении такого способа,
так же как это было в экспериментах с визуальным микрофоном.
В то же время, мы поняли, что метод работает во многих ситуациях,
где мы не ожидали успеха,
особенно, если использовать более длинную по времени запись.
Вот, для примера, видео, на котором я заснял куст,
растущий во дворе дома.
Я не делал ничего особенного с ним,
а просто снимал 1 минуту.
Лёгкий ветерок создал вибрации,
которых было достаточно для создания этой симуляции.
(Аплодисменты)
Можете представить, что даёте такой инструмент кинорежиссёру,
и он сможет контролировать
силу и направление ветра в сцене, которую уже сняли.
А вот в этом случае мы снимали занавеску.
Здесь вы не видите даже каких-либо движений,
но за две минуты съёмок
циркуляция воздуха в комнате,
создала лёгкие, едва заметные движения и вибрации,
достаточные, чтобы мы смогли создать симуляцию.
Как ни парадоксально,
но мы привыкли к такому способу взаимодействия,
когда речь идёт о виртуальных объектах
в видеоиграх и трёхмерных моделях.
Но возможность получить такую же информацию от объектов реального мира,
используя простое, обычное видео, —
это действительно что-то новое и с большим потенциалом.
Вот замечательные люди, с которыми я работал над этими проектами.
(Аплодисменты)
И то, что я вам показал сегодня, — это только начало.
Мы только начали по-настоящему узнавать,
чего можно достигнуть, применяя такой подход.
Это даёт нам новый способ
запечатлеть окружающее с помощью простых и доступных технологий.
И заглядывая в будущее,
будет по-настоящему интересно узнать,
что эта технология сможет рассказать нам об окружающем мире.
Спасибо.
(Аплодисменты)