Нова технологія, яка виявляє приховані властивості об'єкта

Навколо нас постійно відбувається безліч непомітних рухів, наприклад, дрібні коливання від звуку. Нові технології розкривають можливість вихопити ці коливання та фактично відтворити звук і розмову з відеозапису, з вигляду, з нерухомого об’єкта. Абе Давіс пішов ще на крок вперед: подивіться на демоверсію його програми, яка дає змогу будь-кому взаємодіяти з прихованими властивостями на основі простого відеозапису.

Більшість з нас сприймає рух
як візуальну категорію.

Якщо я рухаюсь цією сценою
або жестикулюю під час промови,

то рух є тим, що ви можете побачити.

Але одночасно безліч важливих рухів
є непомітними для людського ока.

За кілька останніх років

ми почали переконуватися,

що камери фіксують такі рухи,
навіть коли люди їх не помічають.

Продемонструю, про що мова.

Ліворуч ви бачите відеозапис людського
зап'ястка,

а праворуч ви бачите відеозапис
дитини, яка спить,

але, якби я не сказав, що це відеозаписи,

ви б гадали, що це звичайні
зображення,

тому що в обох випадках

рух на відеозаписах виявляється майже
зовсім відсутнім.

Насправді, на відео відбувається
безліч ледь помітних рухів,

і якби вам довелося торкнутися зап'ястка
з відео ліворуч,

ви б відчули пульс,

а якби ви тримали дитину з
відео праворуч,

ви б відчули, як рухається
її грудна клітка

від кожного подиху.

Такі рухи мають велике значення,

але вони надто непомітні для нашого зору,

отже натомість нам треба стежити за ними

через прямий контакт, через дотик.

Кілька років тому мої колеги з
Массачусетського технологічного інституту

розробили так званий мікроскоп руху -

це програмне забезпечення, яке
знаходить ці непомітні рухи на відео

і посилює їх настільки,
щоб ми змогли їх побачити.

І якщо ми застосуємо це програмне
забезпечення до відео ліворуч,

то побачимо пульсацію на зап'ястку,

і якби нам довелось рахувати пульс,

ми б змогли навіть визначити швидкість
серцебиття тієї людини.

Якщо ми застосуємо це ПЗ
до відео праворуч,

воно дасть нам змогу побачити кожен подих
цієї дитини,

і ми можемо використати це як
безконтактний спосіб контролю її дихання.

Ця технологія надзвичайно потужна,
адже вона дає змогу такі феномени,

які ми зазвичай відчуваємо через дотик,

зафіксувати візуально і без втручання.

Так, кілька років тому я почав співпрацю
з винахідниками цього ПЗ,

і ми вирішили реалізувати
чудернацьку ідею.

Ми бачили, як це класно
використовувати ПО

для візуалізації дрібних рухів
як ось ці,

і можна сприймати це як спосіб
посилити наше чуття дотику.

А як щодо того, що ми повторили це з нашою
здатністю чути?

Що як ми використаємо відео
для захоплювання звукових вібрацій,

які є іншим видом коливань,

таким чином перетворивши все
що ми бачимо на мікрофон?

Так, це трохи дивна ідея,

тож дозвольте мені
продемонструвати її для вас.

Класичні мікрофони працюють через
конвертацію коливань

вбудованої діафрагми
в електричний сигнал,

ця діафрагма спроектована
рухатись під впливом звуку

так, щоб її коливання можна було записати
і декодувати в аудіо формат.

Але всі об'єкти вібрують від звука.

Такі вібрації зазвичай надто непомітні і
зашвидкі для нашого ока.

Що як ми запишемо їх за допомогою
високошвидкісної камери,

і потім використаємо ПЗ для
відокремлення дрібних коливань

з нашого високошвидкісного відеозапису,

і проаналізуємо, які звуки спричинили
ці коливання?

Таким чином ми перетворимо об'єкти
у візуальні мікрофони на відстані.

Ми таки спробували це зробити,

ось один з наших експериментів,

в якому ми використали цю рослину
в горщику, ви її бачите тут праворуч,

і записали на великій швидкості

як поруч з нею з динаміків лунав цей звук.

(Музика: "Було у Мері маленьке ягня")

А ось і відео, яке ми записали,

і ми записали його на швидкості
тисячі фреймів на секунду,

але, навіть уважно поглянувши,

ви тільки побачите листя,

з яким нічого не відбувається.

Тому що наш звук зрушив листя
приблизно на мікрометр.

Це одна десятитисячна сантиметра,

що еквівалентно проміжку десь
між сотою і тисячною пікселя

на цьому зображенні.

Ви можете напружено придивлятись,

але таке дрібне коливання доволі
непомітне для сприйняття.

Виявляється, що дещо
може бути невидимим для сприйняття

і все ж значущим за числовим
значенням.

Тому що за допомогою
відповідного алгоритму

ми можемо відтворити звук

цього, здається, німого відео.

(Музика: "Було у Мері маленьке ягня")

(Оплески)

Як це зробити?

Як дістати так багато інформації
з дрібних коливань?

Скажімо, що листя
зрушилося лише на мікрометр,

а на зображенні ця зміна
відбулась на тисячну пікселя.

Це може здатися незначним,

але єдиний фрейм відеозапису

може охоплювати сотні тисяч
пікселів,

і так, якщо ми об'єднаємо всі ці
видимі дрібні коливання

з усього зображення,

несподівано тисячна пікселя

стане у підсумку доволі значущою.

Від себе зауважу, що ми ледь не здуріли,
коли зрозуміли це.

(Сміх)

Але навіть з відповідним алгоритмом,

нам все ще не вистачало
доволі важливого елемента пазлу.

Бачите, існує багато факторів,
які впливають на те, коли і як добре

цей метод спрацює.

Ось об'єкт і на якій він відстані;

ось камера і лінза, яку ви
використовуєте;

наскільки освітлений об'єкт
і наскільки гучний звук.

І навіть з відповідним алгоритмом,

ми мусили бути обережними у
перших наших спробах,

адже з хибними факторами

неможливо було визначити,
в чому полягала проблема.

Ми просто отримували запис шуму.

А тому багато з перших експериментів
були такими.

Ось я, а в нижньому лівому кутку

ви побачите нашу
високошвидкісну камеру,

націлену на пакет чіпсів,

і вся ця інсталяція освітлена
потужними лампами.

Як я вже казав, ми мусили бути
обережними в перших спробах,

і ось так це виглядало.

(Відео) Абе Давіс:
Три, два, один, почали.

Було у Мері маленьке ягня!
Маленьке ягня! Маленьке ягня!

(Сміх)

Цей експеримент виглядає
дуже кумедно.

(Сміх)

Я кричу на пакет чіпсів.

(Сміх)

І ми зіпсували стільки світла на нього,

що буквально розплавили наш перший
експериментальний пакет. (Сміх)

Попри те, що цей експеримент
такий кумедний,

важливо,

що ми змогли відновити звук.

(Аудіо) Було у Мері маленьке ягня!
Маленьке ягня! Маленьке ягня!

(Оплески)

АД: Показовим було те,

що ми вперше відтворили
зрозуміле людське мовлення

з німого відеозапису об'єкта.

Це була наша точка відліку,

і поступово ми почали
вносити зміни в експеримент,

використовуючи різні об'єкти
або збільшуючи відстань до об'єктів,

зменшуючи освітлення або звук.

І ми аналізували всі ці експерименти,

допоки не зрозуміли обмеження
нашого методу,

адже, зрозумівши, в чому ці обмеження
полягають, ми могли визначити,

як їх подолати.

І це привело нас до експериментів
на кшталт ось цого.

В ньому я знову говоритиму до
пакета чіпсів,

але цього разу ми переставили камеру
на 4,5 метри далі,

за звукоізоляційне вікно,

а вся інсталяція була освітлена лише
природнім сонячним світлом.

А ось і відео, яке ми відзняли.

Такий текст звучав
поруч з пакетом чіпсів.

(Аудіо) Було у Мері маленьке ягня,
з білим мов сніг кожушком,

і куди б Мері собі не пішла,
ягня бігло за нею хвостом.

АД: А це те, що нам вдалось відтворити
з німого відеозапису,

знятого з іншого боку вікна.

(Аудіо) Було у Мері маленьке ягня
з білим мов сніг кожушком,

і куди б Мері собі не пішла,
ягня бігло за нею хвостом.

(Оплески)

Існують інші способи розширити
обмеження.

Ось тихіший експеримент.

Ми зробили відеозапис навушників,
ввімкнених у портативний комп'ютер.

В цьому випадку нашою метою було
записати музику, яка грала на комп'ютері,

з німого відеозапису

цих двох пластикових навушників,

і нам це так добре вдалось,

що я навіть зміг розпізнати
результат в Shazam.

(Сміх)

(Музика: "Under Pressure" група Queen)

(Оплески)

Ми також можемо розширювати обмеження,
змінюючи обладнання, яке використовуємо.

Продемонстровані експерименти

було зроблено за допомогою
високошвидкісної камери,

яка записує відео в 100 разів
швидше,

ніж більшість мобільних телефонів.

Але ми також знайшли спосіб
використовувати цей метод

зі звичайними камерами,

при цьому ми використовуємо
ефект зсуву зображення.

Бачите, більшість камер записують
зображення по одному рядку в час,

а під час запису зображення
об'єкта, який рухається,

відбувається деяка затримка в часі
між рядами,

що викликає деяке розмивання,

яке кодується в кожний фрейм відео.

Проаналізувавши ці розмивання,
ми з'ясували те, що

можемо відтворити звук за допомогою
модифікованої версії нашого алгоритму.

Ось експеримент, який ми провели

з пакетиком цукерок, під час якого

гучномовець грав ту саму музику:

"Було у Мері маленьке ягня",

але цього разу ми використовували звичайну
камеру, яку можна купити в магазині,

а через секунду я програю для вас
звук, який ми записали,

він буде спотворений цього разу,

але послухайте, чи ви зможете розпізнати
музику.

(Аудіо: "Було у Мері маленьке ягня")

Знову скажу, що звук спотворений,

але найдивовижніше в цьому те,
що ми зробили це

за допомогою пристрою,

який є загальнодоступним.

На цьому етапі

багато людей бачать цю роботу

і миттєво уявляють
спостереження.

Чесно кажучи, не важко уявити,
як можна використати цю технологію

для шпигування за кимось.

Але пам'ятайте, що вже
існує багато готових технологій

для спостереження.

Насправді, десятиліттями
люди використовують лазер

для прослуховування об'єктів
на відстані.

Натомість інновація,

справжня відмінність полягає в тому,

що тепер ми маємо спосіб
фотографувати вібрації об'єкта,

що є новою лінзою бачення світу,

і через цю лінзу ми можемо

вивчати не тільки такі сили, як звук,
що змушують об'єкт вібрувати,

а й сам об'єкт.

Я хочу повернутися назад

і звернути увагу на те, як може змінитись
використання відео.

Адже ми використовуємо відео
для перегляду об'єктів,

а щойно я продемонстрував вам,
як ми можемо його використати

для прослуховування об'єктів.

Існує ще один важливий спосіб
сприйняття світу:

взаємодія з ним.

Ми штовхаємо і тягнемо,
встромляємо і проштрикуємо речі.

Ми трусимо речі і дивимось на результат.

Відео не дає нам змоги
робити це

в традиційному сенсі.

Я хочу показати вам нову розробку,

вона базується на ідеї, що
виникла в мене лише кілька місяців тому.

Я вперше демонструю її публічно.

Основна ідея в тому, що ми використаємо
вібрації на відео,

щоб захопити об'єкти таким чином,
щоб взаємодіяти з ними,

і побачити, як вони на нас реагують.

Отже це об'єкт,

в даному випадку це - фігурка з дроту
в формі чоловічка.

Ми зафільмуємо цей об'єкт
за допомогою звичайної камери.

В цій камері нічого особливого немає.

Взагалі, раніше я робив це за
допомогою свого мобільного телефону.

Але нам потрібно побачити,
як коливається об'єкт.

Тому задля цього

ми просто трохи постукаємо
по поверхні, на якій він стоїть

під час запису відео.

Отак просто: п'ять секунд
звичайного відео,

поки ми стукаємо по поверхні.

Використаємо коливання в цьому відео

для вивчення структурних
і фізичних характеристик нашого об'єкта.

А потім використаємо цю інформацію, щоб
створити щось нове й інтерактивне.

І ось що ми створили.

Виглядає як звичайне зображення,

але це ані зображення, ані відео.

Тому що зараз я візьму мишку

і почну взаємодіяти з об'єктом.

Те, що ви тут бачите,

є симулюванням того,

як цей об'єкт реагуватиме на нові сили,
яких ми ніколи не бачили досі,

і це ми створили на основі 5 секунд
звичайного відеозапису.

(Оплески)

Це справді потужний спосіб
сприйняття світу,

тому що він дає нам змогу
спрогнозувати, як об'єкти реагуватимуть

на нові ситуації.

Ви можете уявити, наприклад,
дивлячись на старий міст

і уявляючи, що трапиться,
як він буде триматись,

якби вам довелось його переїхати.

І це, напевно, те питання, на яке
ви хочете мати відповідь,

перш ніж почнете рух через
той міст.

Звичайно, у цього методу будуть
обмеження,

так само як були обмеження
у візуального мікрофону.

Але ми відстежили, що він працює
в багатьох ситуаціях,

коли ви, можливо, цього не очікуєте.

Особливо, коли ви працюєте з довшими
відеозаписами.

Наприклад, ось відео куща,
яке я зробив

біля моєї квартири.

Я нічого не робив з цим кущем,

але під час хвилинної зйомки
цього відео

легкий вітерець спричинив достатньо
вібрацій,

щоб ми могли достатньо вивчити цей кущ
і створити цю симуляцію.

(Оплески)

Уявіть, що ви віддаєте це режисеру
фільму

і даєте йому змогу, наприклад,

контролювати силу і напрям вітру
в кадрі, який вже було відзнято.

Або, в іншому випадку, ми встановили
камеру перед шторою, яка висить,

і ви навіть не побачите будь-яких
коливань на цьому відео,

але під час двохвилинної зйомки відео

природні потоки повітря в кімнаті

створили достатньо дрібних
непомітних рухів і коливань,

які ми достатньо вивчили,
аби створити цю симуляцію.

Як не дивно,

ми наче застосовували
таку інтерактивність

до віртуальних об'єктів,

коли це стосується відеоігор
і 3D-моделей,

але отримувати цю інформацію від
справжніх об'єктів в реальному світі

за допомогою простого звичайного відео

є явищем новим і має значний потенціал.

Ось дивовижні люди, які співпрацювали
зі мною в цих проектах.

(Оплески)

Те, що я вам сьогодні показав,
це тільки початок.

Ми тільки поверхово торкнулись

можливостей такого
відтворення зображень.

Тому що воно відкриває нам
новий спосіб

охоплювати середовище за
допомогою простої, доступної технології.

Так, зазираючи в майбутнє,

буде цікаво дослідити,

що ми дізнаємось про наш світ.

Дякую.

(Оплески)