Новая видеотехнология открывает незаметные свойства объектов
-
0:01 - 0:06Большинство из нас думают,
что движение можно только видеть. -
0:06 - 0:11Когда я хожу по сцене
или жестикулирую, пока говорю, — -
0:11 - 0:14это движение, которое вы видите.
-
0:14 - 0:20Но есть и целый мир движений,
еле заметных человеческому глазу, -
0:20 - 0:22и в течение последних лет
-
0:22 - 0:24мы узнали, что видеокамеры
-
0:24 - 0:27могут заметить такие движения,
даже если их не видит человек. -
0:28 - 0:30Сейчас я покажу, что я имею ввиду.
-
0:31 - 0:34Слева — видео запястья человека,
-
0:34 - 0:37а справа — видео спящего ребёнка.
-
0:37 - 0:41Но если бы я не сказал вам,
что это видео, -
0:41 - 0:44вы могли бы подумать, что
смотрите на два изображения. -
0:44 - 0:46Потому что в обоих случаях
-
0:46 - 0:50изображения на видео
кажутся застывшими. -
0:50 - 0:54На самом деле, там происходит
много неуловимых движений, -
0:54 - 0:56и если вы могли бы коснуться
запястья на видео слева, -
0:56 - 0:58то ощутили бы пульс,
-
0:58 - 1:01а если бы смогли подержать
ребёнка на видео справа, -
1:01 - 1:03то ощутили бы, как поднимается
и опускается грудная клетка -
1:03 - 1:06с каждым вздохом.
-
1:06 - 1:09И эти движения имеют
большое значение, -
1:09 - 1:13но они обычно настолько
слабы, что едва видимы. -
1:13 - 1:15Так что мы можем ощутить их,
-
1:15 - 1:19непосредственно взаимодействуя
с объектом, касаясь его. -
1:19 - 1:20Но несколько лет назад,
мои коллеги из МИТа -
1:20 - 1:25создали так называемый
микроскоп движения — -
1:25 - 1:29это компьютерная программа, которая
находит малозаметные движения на видео -
1:29 - 1:33и усиливает их так, что они
становятся заметными для нас. -
1:33 - 1:37Если мы применим программу
для видео слева, -
1:37 - 1:40то сможем увидеть пульс,
-
1:40 - 1:42и если мы посчитаем удары,
-
1:42 - 1:45то сможем узнать частоту
сердечных сокращений. -
1:45 - 1:48Если мы используем программу
на видео справа, -
1:48 - 1:51то увидим каждый вдох,
который делает ребёнок, -
1:51 - 1:56мы можем видеть это без прямого
контакта для проверки дыхания. -
1:57 - 2:02Эта технология действительно мощная,
потому что использует процесс, -
2:02 - 2:05который мы привыкли ощущать
через прикосновения, -
2:05 - 2:08и позволяет воспринимать его
зрительно, без вмешательства. -
2:09 - 2:14Несколько лет назад я начал работу
вместе с группой, создавшей эту программу, -
2:14 - 2:17и мы задумали проверить сумасшедшую идею.
-
2:17 - 2:20Мы подумали: здорово, что можно
использовать эту программу -
2:20 - 2:23для визуализации незаметных движений
-
2:23 - 2:27и воспринимать их так, будто
это способ расширить наши способности. -
2:27 - 2:31А что, если мы могли бы сделать то же
с нашей способностью слышать? -
2:33 - 2:37Что, если мы могли бы использовать
видео, чтобы записать вибрации звука, -
2:37 - 2:40что тоже является
лишь одной из форм движения, -
2:40 - 2:43и превратить любые
видимые объекты в микрофон? -
2:44 - 2:46Это немного странная идея,
-
2:46 - 2:50но давайте я поясню её
более развёрнуто. -
2:50 - 2:53Обычный микрофон устроен так,
чтобы преобразовывать движение -
2:53 - 2:57внутренней мембраны
в электрический сигнал, -
2:57 - 3:01и мембрана сделана так,
чтобы двигаться под воздействием звука. -
3:01 - 3:06Дальше эти вибрации записываются
и воспроизводятся как звук. -
3:06 - 3:09Но звук заставляет все объекты колебаться.
-
3:09 - 3:15Эти вибрации малы и слишком быстры,
чтобы их заметить. -
3:15 - 3:19А что, если мы запишем их
с помощью высокоскоростной камеры, -
3:19 - 3:22и используем программу для
извлечения незаметных движений -
3:22 - 3:24из полученного видео,
-
3:24 - 3:29и обработаем движения, чтобы
понять, какие звуки их вызывают? -
3:30 - 3:35Это позволило бы нам превратить
удалённые видимые объекты в микрофоны. -
3:37 - 3:39Так что мы начали испытания.
-
3:39 - 3:41Вот один из наших экспериментов,
-
3:41 - 3:44где мы использовали растение
в горшке, его вы видите справа. -
3:44 - 3:47Мы снимали его на высокоскоростную камеру,
-
3:47 - 3:50в то время как в динамике рядом
проигрывался звук. -
3:50 - 3:59(Музыка: «У Мэри был маленький барашек»)
[Эдисон тоже использовал её на фонографе] -
4:00 - 4:03Вот получившаяся видеозапись,
-
4:03 - 4:07и мы записали её на скорости
тысяча кадров в секунду. -
4:07 - 4:09Но даже так, если вы всмотритесь,
-
4:09 - 4:11то увидите только листья,
-
4:11 - 4:14которые, вероятней всего,
совершенно не двигаются. -
4:14 - 4:19Всё потому, что звук отклоняет
листья на микрометр — -
4:19 - 4:23это одна десятитысячная
сантиметра, -
4:23 - 4:28что равняется примерно
одной сотой или тысячной -
4:28 - 4:30от пикселя на этом изображении.
-
4:30 - 4:33Так что вы можете вглядываться,
сколько хотите, -
4:33 - 4:37но движение настолько мало,
что незаметно для глаза. -
4:38 - 4:42В то же время то,
что настолько неуловимо, -
4:42 - 4:45может быть численно оценено.
-
4:45 - 4:47И используя подходящий алгоритм,
-
4:47 - 4:50мы можем из этого видео без звука
-
4:50 - 4:53восстановить музыку.
-
4:53 - 5:00(Музыка: «У Мэри был маленький барашек»)
-
5:00 - 5:06(Аплодисменты)
-
5:10 - 5:12Как же это возможно?
-
5:12 - 5:16Как нам удалось восстановить столько
информации из столь малого движения? -
5:16 - 5:22Допустим, эти листья двигаются
лишь на один микрометр, -
5:22 - 5:27и скажем, что это сдвигает наше
изображение на тысячную пикселя. -
5:27 - 5:30Кажется, что этого мало,
-
5:30 - 5:32но на одном кадре такого видео
-
5:32 - 5:35могут быть сотни тысяч пикселей.
-
5:35 - 5:39Если мы соберём все микродвижения,
-
5:39 - 5:41найденные на изображении,
-
5:41 - 5:43то получим тысячи пикселей
-
5:43 - 5:47и можем начать составлять
из них что-то более заметное. -
5:47 - 5:51Честно говоря, мы чуть было
не сошли с ума, когда нашли это. -
5:51 - 5:53(Смех)
-
5:53 - 5:56Но даже с хорошим алгоритмом
-
5:56 - 6:00мы по-прежнему упускали
важную деталь мозаики. -
6:00 - 6:03Есть много факторов, влияющих
на то, когда и как хорошо -
6:03 - 6:05сработает эта методика.
-
6:05 - 6:08Есть объект и расстояние до него;
-
6:08 - 6:11камера и используемые объективы;
-
6:11 - 6:15свет, попадающий на объект,
и громкость звука. -
6:16 - 6:19Даже применяя правильный алгоритм,
-
6:19 - 6:23нужно быть очень внимательным
с ранними экспериментами. -
6:23 - 6:25Потому что если какой-то
из факторов был упущен, -
6:25 - 6:27то нет способа сказать, какой именно.
-
6:27 - 6:30Всё, что мы получим, — лишь шум.
-
6:30 - 6:33Поэтому наши первые эксперименты
выглядели так. -
6:33 - 6:36Вот я,
-
6:36 - 6:40и слева внизу одна из наших
высокоскоростных камер, -
6:40 - 6:42которая направлена на пачку чипсов,
-
6:42 - 6:45место съёмки освещено яркими лампами.
-
6:45 - 6:49И как я сказал, нужно было быть
внимательными на первых этапах, -
6:49 - 6:52и вот как это происходило.
-
6:52 - 6:55(Видео) Эйб Дейвис:
«Три, два, раз, запись». -
6:55 - 7:01«У Мэри был маленький барашек!
Маленький барашек! Маленький барашек!» -
7:01 - 7:05(Смех)
-
7:05 - 7:08ЭД: Да, эксперимент выглядит нелепым.
-
7:08 - 7:10(Смех)
-
7:10 - 7:12То есть я кричу на пачку чипсов,
-
7:12 - 7:14(Смех)
-
7:14 - 7:16и свет настолько яркий,
-
7:16 - 7:20что мы почти расплавили упаковку
чипсов, пока записывали. (Смех) -
7:20 - 7:24Но, несмотря на нелепость эксперимента,
-
7:24 - 7:26всё это было очень важно,
-
7:26 - 7:29потому что мы смогли
восстановить звук. -
7:29 - 7:33(Аудио) «У Мэри был маленький барашек!
Маленький барашек! Маленький барашек!» -
7:33 - 7:37(Аплодисменты)
-
7:37 - 7:39ЭД: И это было действительно значимым,
-
7:39 - 7:43потому что впервые мы чётко
восстановили речь человека -
7:43 - 7:46из беззвучной съёмки объекта.
-
7:46 - 7:48Это дало нам точку отсчёта,
-
7:48 - 7:52и мы могли начать изменять
наш эксперимент, -
7:52 - 7:56используя разные объекты
и отодвигая их дальше от камеры, -
7:56 - 8:00уменьшая освещённость
или используя более тихий звук. -
8:00 - 8:03Мы анализировали все
эти эксперименты до тех пор, -
8:03 - 8:06пока не поняли границы
применения нашей методики, -
8:06 - 8:08а когда мы осознали эти границы,
-
8:08 - 8:11то смогли расширить их.
-
8:11 - 8:14И мы провели следующий эксперимент:
-
8:14 - 8:17я снова разговаривал
с упаковкой чипсов, -
8:17 - 8:21но на этот раз мы отодвинули
камеру на 4,5 метра, -
8:21 - 8:24установив за звуконепроницаемым стеклом,
-
8:24 - 8:28используя лишь естественное освещение.
-
8:28 - 8:31И вот снятое нами видео.
-
8:32 - 8:37Вот звук, записанный
рядом с упаковкой чипсов. -
8:37 - 8:42(Аудио) «У Мэри был маленький барашек,
Его шерсть была белой как снег, -
8:42 - 8:48И всюду, куда Мэри шла,
Барашек всегда следовал за ней». -
8:48 - 8:52ЭД: А вот звук, который мы
смогли восстановить из видео, -
8:52 - 8:54снятого за звуконепроницаемым стеклом.
-
8:54 - 8:58(Аудио) «У Мэри был маленький барашек,
Его шерсть была белой как снег, -
8:58 - 9:04И всюду, куда Мэри шла,
Барашек всегда следовал за ней». -
9:04 - 9:10(Аплодисменты)
-
9:10 - 9:14ЭД: Есть другие пути расширения границ.
-
9:14 - 9:16Вот эксперимент с более тихим звуком,
-
9:16 - 9:20в котором мы снимали наушники,
подсоединённые к ноутбуку. -
9:20 - 9:24Наша цель была восстановить музыку,
играющую в этом ноутбуке, -
9:24 - 9:26используя беззвучную съёмку
-
9:26 - 9:29двух пластиковых наушников.
-
9:29 - 9:31Нам удалось это настолько хорошо,
-
9:31 - 9:33что даже Shazam может распознать музыку.
-
9:33 - 9:38(Смех)
-
9:38 - 9:47(Музыка: «Under Pressure» группы «Queen»)
-
9:50 - 9:55(Аплодисменты)
-
9:55 - 9:59Мы смогли ещё дальше сдвинуть границы,
меняя аппаратуру для записи. -
9:59 - 10:02Все предыдущие эксперименты,
которые я показывал, -
10:02 - 10:04мы проводили, используя
высокоскоростную камеру, -
10:04 - 10:07которая может записывать видео
со скоростью в 100 раз больше, -
10:07 - 10:09чем камеры большинства
сотовых телефонов. -
10:09 - 10:12Однако мы нашли способ
применить наш метод -
10:12 - 10:14с помощью обычных камер,
-
10:14 - 10:18используя эффект сдвига изображения.
-
10:18 - 10:23Большинство камер записывают
изображение объекта построчно, -
10:23 - 10:28и если объект движется
во время записи, -
10:28 - 10:31происходит запаздывание
при записи строк, -
10:31 - 10:34и это приводит к появлению искажений,
-
10:34 - 10:38находящихся в каждом кадре видео.
-
10:38 - 10:42Мы обнаружили,
что анализируя эти искажения, -
10:42 - 10:46мы можем восстановить звук,
используя модификацию нашего алгоритма. -
10:46 - 10:48Мы провели следующий эксперимент,
-
10:48 - 10:50в котором снимали упаковку конфет,
-
10:50 - 10:51а в динамиках рядом проигрывалась
-
10:51 - 10:54всё та же музыка «У Мэри
был маленький барашек». -
10:54 - 10:59Однако в этот раз мы использовали
обычную камеру, купленную в магазине. -
10:59 - 11:02Сейчас я проиграю
восстановленный звук, -
11:02 - 11:04и он будет немного
искажённым в этот раз, -
11:04 - 11:08но послушайте и проверьте,
сможете ли вы узнать музыку. -
11:08 - 11:14(Аудио: «У Мэри был маленький барашек»)
-
11:26 - 11:29И хотя звук искажён,
-
11:29 - 11:33но по-настоящему удивительное
в этом то, что вы можете -
11:33 - 11:36проделать подобное
буквально с камерой, -
11:36 - 11:38купленной в обычном магазине.
-
11:39 - 11:40В этот момент
-
11:40 - 11:42многие из слушателей
-
11:42 - 11:46начинают думать про слежку, прослушку.
-
11:46 - 11:48По правде говоря,
-
11:48 - 11:52нетрудно представить, как использовать
эту технологию для слежки. -
11:52 - 11:56Но помните, что уже есть
технологии гораздо совершеннее -
11:56 - 11:58для подобной прослушки.
-
11:58 - 12:00Давно используются лазеры,
-
12:00 - 12:04наведённые на отдалённый объект,
для подслушивания. -
12:04 - 12:06Но новое в этом,
-
12:06 - 12:07принципиально отличное
заключается в том, -
12:07 - 12:12что этот способ, при помощи которого
мы снимаем вибрацию с объекта, -
12:12 - 12:15даёт нам новый ракурс,
с которого мы можем взглянуть на мир. -
12:15 - 12:17Мы можем использовать его,
-
12:17 - 12:22чтобы узнать не только о звуке,
заставляющем объект вибрировать, -
12:22 - 12:25но и о самом объекте.
-
12:25 - 12:27Вернёмся теперь немного назад
-
12:27 - 12:31и подумаем, как это может изменить
привычное использование видео. -
12:31 - 12:34Мы привыкли использовать видео,
чтобы смотреть на вещи, -
12:34 - 12:37а недавно я показал,
как использовать видео, -
12:37 - 12:39чтобы услышать звук.
-
12:39 - 12:43Но есть и другой важный аспект того,
как мы познаём мир: -
12:43 - 12:45напрямую взаимодействуя с ним.
-
12:45 - 12:48Мы толкаем, тянем, тычем в предметы.
-
12:48 - 12:51Мы трясём предметы,
чтобы понять, что произойдёт. -
12:51 - 12:55И это именно то, что видео пока
не даёт нам испытать, -
12:55 - 12:58по крайне мере, в привычном виде.
-
12:58 - 13:00И я хочу показать вам новый проект,
-
13:00 - 13:02основанный на идее, возникшей
у меня пару месяцев назад, -
13:02 - 13:06так что это первый раз, когда я делюсь
этой идей с широкой аудиторией. -
13:06 - 13:11Основная идея состоит в том,
чтобы использовать вибрации в видео -
13:11 - 13:15таким образом, который бы позволил
нам взаимодействовать с ним -
13:15 - 13:18и видеть то, как предмет реагирует на нас.
-
13:19 - 13:21Перед вами объект.
-
13:21 - 13:25На этот раз это проволочная
фигурка человека, -
13:25 - 13:28и мы снимаем этот объект
обычной камерой. -
13:28 - 13:30Так что нет ничего особенного
в этой камере. -
13:30 - 13:33В действительности, я проделывал
это же с камерой в телефоне. -
13:33 - 13:35Нам необходимо увидеть,
как объект вибрирует, -
13:35 - 13:36и чтобы это сделать,
-
13:36 - 13:40мы просто постучим по той поверхности,
на которой он стоит, -
13:40 - 13:42и запишем это на видео.
-
13:47 - 13:51Вот и всё — пять секунд
обычного видео, -
13:51 - 13:53пока стучат по поверхности.
-
13:53 - 13:57Далее мы используем
вибрации объекта с видео, -
13:57 - 14:01чтобы понять конструктивные
свойства и материал этого объекта -
14:01 - 14:06и использовать эту информацию,
чтобы создать новый способ взаимодействия. -
14:13 - 14:16И вот что мы создали.
-
14:16 - 14:18Это выглядит как обычное изображение,
-
14:18 - 14:21но это не изображение, и не видео,
-
14:21 - 14:23потому что как только я беру мышь,
-
14:23 - 14:26я могу воздействовать с объектом.
-
14:33 - 14:34То, что вы видите здесь, —
-
14:34 - 14:38это симуляция того, как объект
-
14:38 - 14:42будет реагировать на новые воздействия,
которые мы ранее не оказывали. -
14:42 - 14:46И мы создали это, используя
лишь 5 секунд обычного видео. -
14:46 - 14:52(Аплодисменты)
-
14:57 - 15:01И это достаточно мощный
способ познания мира, -
15:01 - 15:04потому что он может предсказывать,
как объект будет реагировать -
15:04 - 15:05на новые события.
-
15:05 - 15:09Вы можете представить ситуацию,
к примеру, смотря на старый мост -
15:09 - 15:12и задаваясь вопросом: что произойдёт,
выдержит ли этот мост, -
15:12 - 15:15если я проеду по нему на машине.
-
15:15 - 15:18И это — вопрос, на который вы
захотели бы получить ответ до того, -
15:18 - 15:22как проедете по мосту.
-
15:22 - 15:25Конечно же, будут ограничения
в применении такого способа, -
15:25 - 15:28так же как это было в экспериментах
с визуальным микрофоном. -
15:28 - 15:31В то же время, мы поняли, что метод
работает во многих ситуациях, -
15:31 - 15:33где мы не ожидали успеха,
-
15:33 - 15:36особенно, если использовать
более длинную по времени запись. -
15:36 - 15:38Вот, для примера, видео,
на котором я заснял куст, -
15:38 - 15:40растущий во дворе дома.
-
15:40 - 15:43Я не делал ничего особенного с ним,
-
15:43 - 15:46а просто снимал 1 минуту.
-
15:46 - 15:50Лёгкий ветерок создал вибрации,
-
15:50 - 15:54которых было достаточно для
создания этой симуляции. -
15:56 - 16:01(Аплодисменты)
-
16:01 - 16:04Можете представить, что даёте такой
инструмент кинорежиссёру, -
16:04 - 16:06и он сможет контролировать
-
16:06 - 16:11силу и направление ветра
в сцене, которую уже сняли. -
16:13 - 16:17А вот в этом случае мы снимали занавеску.
-
16:17 - 16:21Здесь вы не видите даже
каких-либо движений, -
16:21 - 16:24но за две минуты съёмок
-
16:24 - 16:27циркуляция воздуха в комнате,
-
16:27 - 16:31создала лёгкие, едва заметные
движения и вибрации, -
16:31 - 16:34достаточные, чтобы мы смогли
создать симуляцию. -
16:37 - 16:39Как ни парадоксально,
-
16:39 - 16:42но мы привыкли к такому
способу взаимодействия, -
16:42 - 16:44когда речь идёт о виртуальных объектах
-
16:44 - 16:48в видеоиграх и трёхмерных моделях.
-
16:48 - 16:52Но возможность получить такую же
информацию от объектов реального мира, -
16:52 - 16:55используя простое, обычное видео, —
-
16:55 - 16:59это действительно что-то новое
и с большим потенциалом. -
16:59 - 17:03Вот замечательные люди,
с которыми я работал над этими проектами. -
17:04 - 17:10(Аплодисменты)
-
17:12 - 17:16И то, что я вам показал сегодня, —
это только начало. -
17:16 - 17:18Мы только начали по-настоящему узнавать,
-
17:18 - 17:21чего можно достигнуть,
применяя такой подход. -
17:21 - 17:23Это даёт нам новый способ
-
17:23 - 17:28запечатлеть окружающее с помощью
простых и доступных технологий. -
17:28 - 17:30И заглядывая в будущее,
-
17:30 - 17:32будет по-настоящему
интересно узнать, -
17:32 - 17:35что эта технология сможет
рассказать нам об окружающем мире. -
17:35 - 17:36Спасибо.
-
17:36 - 17:43(Аплодисменты)
- Title:
- Новая видеотехнология открывает незаметные свойства объектов
- Speaker:
- Эйб Девис
- Description:
-
Вокруг нас полно неуловимых движений, мельчайших колебаний, вызванных звуком. Новая технология позволяет использовать такие колебания, чтобы восстановить вызвавший их звук, используя лишь видео неподвижного объекта. Однако Эйб Девис не останавливается на этом. Смотрите презентацию программы, которая позволяет взаимодействовать со скрытыми свойствами объекта, снятого на обычное видео.
- Video Language:
- English
- Team:
- closed TED
- Project:
- TEDTalks
- Duration:
- 17:57
Anna Kotova approved Russian subtitles for New video technology that reveals an object's hidden properties | ||
Anna Kotova edited Russian subtitles for New video technology that reveals an object's hidden properties | ||
Anna Kotova edited Russian subtitles for New video technology that reveals an object's hidden properties | ||
Anna Kotova edited Russian subtitles for New video technology that reveals an object's hidden properties | ||
Aleks Teri accepted Russian subtitles for New video technology that reveals an object's hidden properties | ||
Aleks Teri edited Russian subtitles for New video technology that reveals an object's hidden properties | ||
Aleks Teri edited Russian subtitles for New video technology that reveals an object's hidden properties | ||
Aleks Teri edited Russian subtitles for New video technology that reveals an object's hidden properties |