1 00:00:01,114 --> 00:00:08,606 За последние несколько столетий микроскопы произвели революцию в мире. 2 00:00:09,036 --> 00:00:14,252 Они открыли нам крошечный мир предметов, живых организмов и структур, 3 00:00:14,252 --> 00:00:17,158 которые слишком малы, чтобы увидеть их невооружённым глазом. 4 00:00:17,158 --> 00:00:20,177 Это огромный вклад в науку и технику. 5 00:00:20,177 --> 00:00:23,404 Сегодня я хочу представить вам новый тип микроскопа — 6 00:00:23,404 --> 00:00:25,982 микроскоп для изменений. 7 00:00:25,982 --> 00:00:28,884 Он не использует оптику, как обычный микроскоп, 8 00:00:28,884 --> 00:00:30,881 для увеличения мелких объектов. 9 00:00:30,881 --> 00:00:35,257 Вместо этого он использует видеокамеру и процессор обработки изображения, 10 00:00:35,257 --> 00:00:40,513 чтобы показать нам мельчайшие движения и изменения цвета в предметах и людях, 11 00:00:40,513 --> 00:00:44,355 изменения, которые невозможно увидеть невооружённым глазом. 12 00:00:44,355 --> 00:00:48,475 Это позволяет нам по-новому взглянуть на мир. 13 00:00:48,475 --> 00:00:50,385 Что я подразумеваю под изменениями цвета? 14 00:00:50,385 --> 00:00:53,217 Наша кожа, к примеру, изменяет свой цвет едва заметно, 15 00:00:53,217 --> 00:00:55,214 когда под ней циркулирует кровь. 16 00:00:55,214 --> 00:00:57,611 Это едва уловимое изменение, 17 00:00:57,611 --> 00:00:59,674 поэтому, когда вы смотрите на других людей, 18 00:00:59,674 --> 00:01:01,925 когда вы смотрите на человека, сидящего рядом, 19 00:01:01,925 --> 00:01:05,500 вы не видите изменения цвета их кожи и лица. 20 00:01:05,500 --> 00:01:09,860 Когда мы смотрим на это видео Стива, оно кажется нам статичным изображением, 21 00:01:09,860 --> 00:01:13,720 но как только мы посмотрим на него через наш новый особый микроскоп, 22 00:01:13,720 --> 00:01:16,320 неожиданно мы видим совершенно другую картину. 23 00:01:16,320 --> 00:01:20,250 То, что мы видим здесь, — это небольшие изменения цвета кожи Стива, 24 00:01:20,250 --> 00:01:24,686 увеличенные в 100 раз, и теперь их можно увидеть. 25 00:01:24,686 --> 00:01:27,953 Мы можем фактически разглядеть человеческий пульс. 26 00:01:27,953 --> 00:01:31,180 Мы можем увидеть, как быстро бьётся сердце Стива 27 00:01:31,180 --> 00:01:36,535 и как именно кровь приливает к его лицу. 28 00:01:36,544 --> 00:01:39,175 Подобная технология применима не только для визуализации пульса, 29 00:01:39,175 --> 00:01:42,646 но и для того, чтобы воспроизвести наш пульс 30 00:01:42,646 --> 00:01:44,439 и измерить его. 31 00:01:44,439 --> 00:01:48,892 Мы можем сделать это обычной камерой, не касаясь пациентов. 32 00:01:48,892 --> 00:01:54,509 Здесь вы можете увидеть пульс и частоту сердечных сокращений новорождённого 33 00:01:54,509 --> 00:01:57,390 из видео, снятого на обычную цифровую зеркальную камеру, 34 00:01:57,390 --> 00:01:59,206 и полученные нами показания, 35 00:01:59,206 --> 00:02:04,017 настолько же точные, как и показания медицинских приборов. 36 00:02:04,017 --> 00:02:06,659 И видео не обязательно должно быть записано нами. 37 00:02:06,659 --> 00:02:09,654 Мы с таким же успехом можем проделывать это с другими видео. 38 00:02:09,654 --> 00:02:13,555 Я взял короткий отрывок из фильма «Бэтмэн: Начало», 39 00:02:13,555 --> 00:02:15,459 чтобы показать пульс Кристиана Бейла. 40 00:02:15,459 --> 00:02:17,281 (Смех) 41 00:02:17,281 --> 00:02:19,404 И вы знаете, вероятно, на нём грим, 42 00:02:19,404 --> 00:02:21,357 и освещение не самое лучшее, 43 00:02:21,357 --> 00:02:24,308 тем не менее, из простого ролика мы можем получить его пульс 44 00:02:24,308 --> 00:02:26,326 и достаточно наглядно его показать. 45 00:02:26,326 --> 00:02:28,246 Как же нам это удаётся? 46 00:02:28,246 --> 00:02:32,844 В сущности, мы анализируем изменения света, зафиксированные 47 00:02:32,844 --> 00:02:35,115 в каждом пикселе видео в течение записи, 48 00:02:35,115 --> 00:02:36,913 а затем максимально раскручиваем их. 49 00:02:36,913 --> 00:02:39,075 Мы увеличиваем изменения, чтобы увидеть их. 50 00:02:39,075 --> 00:02:40,977 Вся сложность в том, что эти сигналы, 51 00:02:40,977 --> 00:02:43,910 эти изменения, которые мы отслеживаем, едва уловимы, 52 00:02:43,910 --> 00:02:46,689 и нужно быть очень внимательным, пытаясь отделить их 53 00:02:46,689 --> 00:02:50,520 от шума, который всегда присутствует на видео. 54 00:02:50,520 --> 00:02:53,515 Мы используем умные технологии обработки изображения, 55 00:02:53,515 --> 00:02:57,509 чтобы получить очень точные данные о цвете в каждом пикселе видео 56 00:02:57,509 --> 00:03:00,179 и о том, как меняется цвет с течением времени, 57 00:03:00,179 --> 00:03:02,872 после чего мы усиливаем эти изменения. 58 00:03:02,872 --> 00:03:06,852 Мы увеличиваем их, чтобы получились те самые продвинутые, улучшенные видео, 59 00:03:06,852 --> 00:03:09,024 которые показывают нам эти изменения. 60 00:03:09,024 --> 00:03:13,262 Но мы можем не только показывать мельчайшие изменения цвета, 61 00:03:13,262 --> 00:03:15,503 но и незаметные движения, 62 00:03:15,503 --> 00:03:19,079 потому что свет, записанный на камеру, 63 00:03:19,079 --> 00:03:21,889 меняется не только от изменения цвета объекта, 64 00:03:21,889 --> 00:03:24,257 но и от его движения. 65 00:03:24,257 --> 00:03:27,893 Это моя дочка в возрасте около 2 месяцев. 66 00:03:27,893 --> 00:03:30,892 Я записал это видео примерно 3 года назад. 67 00:03:30,892 --> 00:03:34,100 Как все молодые родители, мы хотим быть уверенными, 68 00:03:34,100 --> 00:03:36,642 что наши дети здоровы, что они дышат, что они живы. 69 00:03:36,642 --> 00:03:38,784 Я тоже приобрёл видеоняню, 70 00:03:38,784 --> 00:03:41,253 чтобы видеть свою дочь, пока она спит. 71 00:03:41,253 --> 00:03:44,780 Вот что вы увидите с помощью обычной видеоняни. 72 00:03:44,780 --> 00:03:48,462 Видно, что ребёнок спит, и это вся информация. 73 00:03:48,474 --> 00:03:50,078 Чего-то большего не увидеть. 74 00:03:50,078 --> 00:03:52,902 Не было бы лучше, более информативно или полезно, 75 00:03:52,902 --> 00:03:55,892 если бы мы могли видеть изображение таким? 76 00:03:55,892 --> 00:04:02,248 Все движения я усилил в 30 раз, 77 00:04:02,248 --> 00:04:06,074 чтобы я мог отчётливо увидеть, что моя дочь действительно жива и дышит. 78 00:04:06,074 --> 00:04:08,327 (Смех) 79 00:04:08,327 --> 00:04:10,249 Вот наглядное сравнение. 80 00:04:10,249 --> 00:04:12,732 Повторюсь, в оригинале, в полученной записи, 81 00:04:12,732 --> 00:04:14,368 мало что можно увидеть, 82 00:04:14,368 --> 00:04:18,075 но если усилить движения, дыхание видно гораздо лучше. 83 00:04:18,075 --> 00:04:20,145 Оказывается, есть множество явлений, 84 00:04:20,145 --> 00:04:23,768 которые можно обнаружить и усилить с помощью микроскопа отслеживания движений. 85 00:04:23,768 --> 00:04:28,332 Можно увидеть, как вены и артерии пульсируют в нашем теле. 86 00:04:28,332 --> 00:04:30,960 Можно увидеть, как наши глаза непрерывно перемещаются 87 00:04:30,960 --> 00:04:32,847 колебательными движениями. 88 00:04:32,847 --> 00:04:34,356 А это, собственно, мой глаз, 89 00:04:34,356 --> 00:04:37,421 и это видео было снято сразу после рождения дочери, 90 00:04:37,421 --> 00:04:41,623 и вы видите, что спал я не слишком много. (Смех) 91 00:04:41,623 --> 00:04:44,339 Даже когда человек сидит неподвижно, 92 00:04:44,339 --> 00:04:46,383 мы можем почерпнуть много информации 93 00:04:46,383 --> 00:04:49,912 про манеру его дыхания, мелкие выражения лица. 94 00:04:49,912 --> 00:04:51,537 Вероятно, мы можем использовать эти движения 95 00:04:51,537 --> 00:04:54,691 чтобы определять мысли и эмоции. 96 00:04:54,691 --> 00:04:57,946 Мы также можем усилить небольшие механические движения, 97 00:04:57,946 --> 00:04:59,501 такие как вибрации двигателя, 98 00:04:59,501 --> 00:05:03,193 что может помочь механикам находить и определять проблемы в механизме, 99 00:05:03,193 --> 00:05:07,931 или увидеть колебания зданий и конструкций под воздействием ветра и внешних сил. 100 00:05:07,931 --> 00:05:12,512 Все подобные вещи в нашем обществе умеют рассчитывать множеством способов, 101 00:05:12,512 --> 00:05:14,965 но рассчитать движения — это одно, 102 00:05:14,965 --> 00:05:17,241 а увидеть их в действии — 103 00:05:17,241 --> 00:05:19,795 это совершенно другое. 104 00:05:19,795 --> 00:05:22,836 С тех пор как мы открыли эту новую технологию, 105 00:05:22,836 --> 00:05:26,789 мы сделали нашу программу доступной онлайн для тестирования другими людьми. 106 00:05:26,789 --> 00:05:28,664 Она очень проста в использовании. 107 00:05:28,664 --> 00:05:30,708 Она может работать с вашими собственными видео. 108 00:05:30,708 --> 00:05:33,901 Наши коллеги из Quanta Research даже создали замечательный сайт, 109 00:05:33,901 --> 00:05:36,579 где вы можете загрузить своё видео и обработать его онлайн, 110 00:05:36,579 --> 00:05:40,395 поэтому, даже если у вас нет опыта в информатике и программировании, 111 00:05:40,395 --> 00:05:43,331 вы всё равно можете легко испробовать этот новый микроскоп. 112 00:05:43,331 --> 00:05:45,735 Я покажу вам несколько примеров того, 113 00:05:45,735 --> 00:05:48,470 как его использовали другие. 114 00:05:48,470 --> 00:05:53,787 Это видео снято пользователем YouTube под ником Tamez85. 115 00:05:53,787 --> 00:05:55,250 Я не знаю этого пользователя, 116 00:05:55,250 --> 00:05:57,595 но он, или она, использовал нашу программу, 117 00:05:57,595 --> 00:06:01,310 чтобы усилить маленькие движения живота во время беременности. 118 00:06:01,310 --> 00:06:02,912 Выглядит жутковато. 119 00:06:02,912 --> 00:06:04,525 (Смех) 120 00:06:04,525 --> 00:06:09,486 Люди использовали её для усиления пульсации вен в руках. 121 00:06:09,486 --> 00:06:13,268 И какая настоящая наука может обойтись без морских свинок? 122 00:06:13,268 --> 00:06:16,658 По-видимому, эту зовут Тиффани, 123 00:06:16,658 --> 00:06:19,607 и этот пользователь YouTube заявляет, что это первый грызун на Земле, 124 00:06:19,607 --> 00:06:22,295 чьи движения подвергались усилению. 125 00:06:22,295 --> 00:06:24,483 Всё это применимо и в искусстве. 126 00:06:24,483 --> 00:06:27,501 Это видео мне прислала студентка-дизайнер из Йельского университета. 127 00:06:27,501 --> 00:06:29,638 Она хотела увидеть, есть ли разница 128 00:06:29,638 --> 00:06:31,160 в движениях её одногруппников. 129 00:06:31,160 --> 00:06:35,369 Она попросила их не двигаться, а потом усилила скрытые движения. 130 00:06:35,369 --> 00:06:38,747 Мы как будто наблюдаем оживление неподвижной картины. 131 00:06:38,747 --> 00:06:41,180 Приятный момент относительно всех этих примеров — 132 00:06:41,180 --> 00:06:43,476 нам не нужно с ними ничего делать. 133 00:06:43,476 --> 00:06:47,330 Мы просто дали новый инструмент, новый способ взглянуть на мир, 134 00:06:47,330 --> 00:06:52,462 а люди находят ему другие интересные, новые и нестандартные применения. 135 00:06:52,462 --> 00:06:54,226 Но мы не остановились на этом. 136 00:06:54,226 --> 00:06:57,477 Эта технология позволяет не только по-новому увидеть мир, 137 00:06:57,477 --> 00:06:59,845 но и переосмыслить наши возможности, 138 00:06:59,845 --> 00:07:03,026 расширить рамки использования наших камер. 139 00:07:03,026 --> 00:07:05,255 Как учёные, мы задумались, 140 00:07:05,255 --> 00:07:09,040 какие ещё типы физических явлений вызывают едва заметные движения, 141 00:07:09,040 --> 00:07:11,943 которые мы теперь можем измерить с помощью нашей новой камеры? 142 00:07:11,943 --> 00:07:15,944 Одно из таких явлений, на котором мы недавно сфокусировались, — это звук. 143 00:07:15,944 --> 00:07:18,049 Звук, как известно, состоит из колебаний давления, 144 00:07:18,049 --> 00:07:20,232 которые перемещаются в воздушной среде. 145 00:07:20,232 --> 00:07:23,853 Звуковые волны, достигая предметов, создают в них мелкие вибрации, 146 00:07:23,853 --> 00:07:26,385 благодаря которым мы слышим и записываем звук. 147 00:07:26,385 --> 00:07:30,053 Но оказалось, что звук создаёт также визуальные движения. 148 00:07:30,053 --> 00:07:32,886 Они незаметны для нас, 149 00:07:32,886 --> 00:07:35,887 но заметны для камеры с подходящей технологией. 150 00:07:35,887 --> 00:07:37,460 Приведу два примера. 151 00:07:37,460 --> 00:07:40,074 Здесь я демонстрирую свои вокальные способности. 152 00:07:41,064 --> 00:07:42,698 (Поёт) 153 00:07:42,698 --> 00:07:44,134 (Смех) 154 00:07:44,134 --> 00:07:47,120 Я снял высокоскоростное видео своего горла, пока я пел. 155 00:07:47,120 --> 00:07:48,884 Если присмотреться к этому видео, 156 00:07:48,884 --> 00:07:50,960 ничего особенного не видно, 157 00:07:50,960 --> 00:07:55,292 но усилив движения в 100 раз, мы увидим все движения и пульсации на шее, 158 00:07:55,292 --> 00:07:58,566 которые участвуют в формировании звука. 159 00:07:58,566 --> 00:08:01,306 Источник пения теперь заметен на видео. 160 00:08:01,306 --> 00:08:03,976 Мы также знаем, что вокалисты способны разбить бокал, 161 00:08:03,976 --> 00:08:05,439 если возьмут нужную ноту. 162 00:08:05,439 --> 00:08:07,204 На этом видео мы проиграем ноту 163 00:08:07,204 --> 00:08:09,730 на частоте резонанса бокала 164 00:08:09,730 --> 00:08:11,778 через громкоговоритель рядом с ним. 165 00:08:11,778 --> 00:08:16,197 Когда мы проигрываем эту ноту и усиливаем движение в 250 раз, 166 00:08:16,197 --> 00:08:18,535 мы можем отчётливо видеть, как стакан вибрирует 167 00:08:18,535 --> 00:08:22,105 и резонирует в ответ на звук. 168 00:08:22,105 --> 00:08:24,525 Такое не каждый день увидишь. 169 00:08:24,525 --> 00:08:28,054 Но это заставило нас задуматься. Это натолкнуло нас на сумасшедшую идею. 170 00:08:28,054 --> 00:08:33,662 Можем ли мы обратить процесс и извлечь звук из видео, 171 00:08:33,662 --> 00:08:37,697 анализируя предметы на мельчайшие вибрации, которые создают звуковые волны, 172 00:08:37,697 --> 00:08:42,474 и главное, обратить их снова в звук, который их вызвал. 173 00:08:42,474 --> 00:08:46,931 Таким образом, мы можем превратить повседневные предметы в микрофоны. 174 00:08:46,931 --> 00:08:49,163 Именно это мы и сделали. 175 00:08:49,163 --> 00:08:51,979 Возьмём пустую упаковку от чипсов, лежащую на столе, 176 00:08:51,979 --> 00:08:54,804 теперь мы собираемся превратить эту упаковку в микрофон, 177 00:08:54,804 --> 00:08:56,395 записав её на камеру 178 00:08:56,395 --> 00:08:59,623 и проанализировав её мельчайшие движения от звуковых волн. 179 00:08:59,623 --> 00:09:02,419 Мы проиграли в комнате следующий звук. 180 00:09:02,419 --> 00:09:06,853 (Музыка: «У Мэри был барашек») [американский фольклор] 181 00:09:10,007 --> 00:09:13,032 Мы записали высокоскоростное видео с этой упаковки чипсов. 182 00:09:13,032 --> 00:09:14,306 Вы смотрите его. 183 00:09:14,306 --> 00:09:17,648 Вы никогда не сможете увидеть хоть что-то происходящее на этом видео, 184 00:09:17,648 --> 00:09:18,706 просто глядя на него, 185 00:09:18,706 --> 00:09:21,690 но послушайте звук, полученный путем простого анализа 186 00:09:21,690 --> 00:09:23,873 незаметных движений на видео. 187 00:09:23,873 --> 00:09:26,682 (Музыка: «У Мэри был барашек») 188 00:09:40,985 --> 00:09:42,471 Я называю это... Спасибо. 189 00:09:42,471 --> 00:09:47,696 (Аплодисменты) 190 00:09:49,878 --> 00:09:52,223 Я называю это визуальным микрофоном. 191 00:09:52,223 --> 00:09:55,613 Мы извлекаем звуковые сигналы из видеосигналов. 192 00:09:55,613 --> 00:09:58,794 И чтобы вы хорошо понимали масштабы записанных движений, 193 00:09:58,799 --> 00:10:04,135 довольно громкий звук заставит упаковку пошевелиться не более, чем на микрометр. 194 00:10:04,135 --> 00:10:06,874 Это одна тысячная миллиметра. 195 00:10:06,874 --> 00:10:10,435 Вот насколько крошечные движения мы теперь можем выявить, 196 00:10:10,435 --> 00:10:13,678 просто наблюдая за тем, как свет отражается от предметов 197 00:10:13,678 --> 00:10:15,814 и записывается нашими камерами. 198 00:10:15,814 --> 00:10:19,064 Мы можем воспроизвести звук из других предметов, например растений. 199 00:10:19,064 --> 00:10:25,380 (Музыка: «У Мэри был барашек») 200 00:10:27,214 --> 00:10:29,211 Кроме того, мы можем воспроизвести речь. 201 00:10:29,211 --> 00:10:31,788 На примере голоса человека в комнате. 202 00:10:31,788 --> 00:10:35,991 Голос: «У Мэри был барашек, он снега был белей, 203 00:10:35,991 --> 00:10:40,221 идёт куда-то Мэри, и он идёт за ней». 204 00:10:40,221 --> 00:10:42,980 И вот эта же речь, восстановленная 205 00:10:42,980 --> 00:10:46,254 по этому видео всё из той же упаковки чипсов. 206 00:10:46,254 --> 00:10:51,085 Голос: «У Мэри был барашек, он снега был белей, 207 00:10:51,085 --> 00:10:55,944 идёт куда-то Мэри, и он идёт за ней». 208 00:10:55,944 --> 00:10:58,290 Мы взяли песню «У Мэри был барашек», 209 00:10:58,290 --> 00:11:00,413 потому что считается, что это были первые слова, 210 00:11:00,413 --> 00:11:04,574 произнесённые Томасом Эдисоном в его фонограф в 1877. 211 00:11:04,574 --> 00:11:07,802 Это было одно из первых звукозаписывающих устройств в истории. 212 00:11:07,802 --> 00:11:11,129 Оно направляло звук на диафрагму, 213 00:11:11,129 --> 00:11:15,208 которая раскачивала иглу, и та оставляла след на оловянной оболочке, 214 00:11:15,208 --> 00:11:17,483 обмотанной вокруг цилиндра. 215 00:11:17,483 --> 00:11:23,426 Послушайте, как записывается и воспроизводится звук фонографом Эдисона. 216 00:11:23,426 --> 00:11:26,446 (Видео) Голос: «Проверка, проверка. Раз, два, три. 217 00:11:26,446 --> 00:11:29,859 У Мэри был барашек, он снега был белей, 218 00:11:29,859 --> 00:11:33,528 идёт куда-то Мэри, и он идёт за ней. 219 00:11:33,528 --> 00:11:36,268 Проверка, проверка. Раз, два, три. 220 00:11:36,268 --> 00:11:40,424 У Мэри был барашек, он снега был белей, 221 00:11:40,424 --> 00:11:45,648 идёт куда-то Мэри, и он идёт за ней». 222 00:11:45,648 --> 00:11:49,665 И теперь, 137 лет спустя, 223 00:11:49,665 --> 00:11:53,752 мы способны получить звук практически такого же качества, 224 00:11:53,752 --> 00:11:57,831 всего лишь наблюдая через камеру, как предметы резонируют от звука. 225 00:11:57,831 --> 00:11:59,765 Мы можем сделать это, даже когда камера 226 00:11:59,765 --> 00:12:03,999 удалена от объекта почти на 5 метров и находится за звукоизолирующим стеклом. 227 00:12:03,999 --> 00:12:07,219 Послушайте звук, полученный нами в этом случае. 228 00:12:07,219 --> 00:12:12,513 Голос: «У Мэри был барашек, он снега был белей, 229 00:12:12,513 --> 00:12:17,272 Идёт куда-то Мэри, и он идёт за ней». 230 00:12:17,404 --> 00:12:21,034 Конечно, слежка — это первое применение, которое приходит на ум. 231 00:12:21,034 --> 00:12:24,029 (Смех) 232 00:12:24,029 --> 00:12:28,085 Но это может оказаться полезным и для других вещей. 233 00:12:28,085 --> 00:12:30,925 Может быть, в будущем мы сможем использовать это, например, 234 00:12:30,925 --> 00:12:33,177 чтобы получать звуки из космоса, 235 00:12:33,177 --> 00:12:36,753 потому что звук не распространяется в космосе, в отличие от света. 236 00:12:36,753 --> 00:12:39,157 Мы только начали исследовать 237 00:12:39,157 --> 00:12:42,176 другие возможные способы применения этой новой технологии. 238 00:12:42,176 --> 00:12:45,008 Она позволяет нам увидеть физические процессы, о которых мы знаем, 239 00:12:45,008 --> 00:12:48,564 но которые были не в состоянии увидеть собственными глазами до сих пор. 240 00:12:48,564 --> 00:12:49,768 Это наша команда. 241 00:12:49,768 --> 00:12:52,647 Всё, что я показал вам сегодня, — результат сотрудничества 242 00:12:52,647 --> 00:12:54,838 с этой замечательной группой людей. 243 00:12:54,838 --> 00:12:58,005 Я призываю и приглашаю вас ознакомиться с нашим сайтом. 244 00:12:58,005 --> 00:12:59,451 Заходите на него 245 00:12:59,451 --> 00:13:02,423 и присоединяйтесь к нам в исследовании этого мира крошечных движений. 246 00:13:02,423 --> 00:13:04,048 Спасибо. 247 00:13:04,048 --> 00:13:05,302 (Аплодисменты)