Teknologi video baru yang mengungkapkan sifat benda yang tersembunyi

Gerakan halus terjadi di sekitar kita setiap waktu, termasuk getaran halus yang disebabkan oleh suara. Teknologi baru menunjukkan bahwa kita bisa menangkap getaran ini dan menangkap kembali suara dan percakapan dari rekaman video objek yang tampaknya diam tak bergerak. Tapi Abe Davis membawanya satu langkah lebih jauh: Lihat demo piranti lunaknya yang memungkinkan kita berinteraksi dengan sifat benda yang tersembunyi, hanya dengan menggunakan video sederhana.

Kebanyakan kita menganggap
gerakan adalah hal yang bisa terlihat.

Jika saya berjalan di atas panggung atau
menggerakkan tangan sambil berbicara,

gerakan ini tentu bisa Anda lihat.

Akan tetapi banyak sekali gerakan yang
terlalu halus untuk dilihat mata manusia,

dan selama beberapa tahun terakhir,

kami menemukan bahwa kamera

seringkali dapat melihat gerakan, bahkan
yang tidak bisa dilihat mata manusia.

Mari saya tunjukkan.

Di kiri, Anda melihat video rekaman
pergelangan tangan seseorang,

dan di kanan, Anda melihat video
seorang bayi yang sedang tidur,

tapi kalau saya tidak menyampaikan
bahwa keduanya adalah video,

Anda mungkin berpikir bahwa
yang Anda lihat hanyalah gambar,

karena gambar pada kedua video ini

terlihat hampir tak bergerak.

Tapi sebenarnya ada banyak gerakan halus
yang sedang terjadi,

dan jika Anda menyentuh pergelangan tangan
yang ada di kiri,

Anda akan merasakan denyut nadi,

dan jika Anda menyentuh bayi
di video sebelah kanan,

Anda akan merasakan
gerakan naik turun dadanya

ketika bayi ini bernafas.

Dan gerakan ini memiliki makna
yang sangat banyak,

tapi biasanya terlalu halus
untuk bisa kita lihat,

sehingga kita bisa mengetahui
perbedaannya

hanya melalui kontak langsung,
melalui sentuhan.

Tapi beberapa tahun lalu,

rekan-rekan saya di MIT mengembangkan
alat yang mereka sebut mikroskop gerakan,

yaitu sebuah piranti lunak untuk menemukan
gerakan halus seperti ini pada video

dan memperbesarnya
sehingga dapat kita lihat.

Jika piranti lunak ini kita gunakan
pada video yang kiri,

kita akan bisa melihat gerakan nadi
di pergelangan tangan,

dan jika kita menghitungnya,

kita bisa menentukan detak jantungnya.

Dan jika kita gunakan
pada video di sebelah kiri,

kita bisa melihat
tiap tarikan nafas bayi ini,

dan kita bisa menggunakannya untuk
memonitor nafas bayi dari jarak jauh.

Jadi, teknologi ini sangat bermanfaat
karena bisa menangkap kejadian

yang biasanya hanya dapat kita amati
lewat sentuhan

tapi kini bisa kita pantau secara visual
dan tanpa sentuhan.

Beberapa tahun lalu,
saya mulai bekerja sama

dengan pencipta piranti lunak ini,

dan kami memutuskan untuk mencapai
sesuatu yang lebih gila lagi.

Kami pikir, keren juga kalau
kita bisa menggunakan piranti ini

untuk memperlihatkan gerakan halus
seperti ini,

alat ini seakan menjadi
perpanjangan indra peraba kita.

Tapi bagaimana jika kita bisa melakukan
hal yang sama

untuk memperpanjang
indra pendengaran kita?

Bagaimana jika kita menggunakan video
untuk menangkap getaran suara,

yang mana juga merupakan
satu bentuk gerakan,

dan mengubah apa pun yang bisa kita lihat
menjadi mikrofon?

Ini ide yang agak aneh,

izinkan saya menjelaskannya untuk Anda.

Mikrofon tradisional bekerja dengan
mengubah gerakan

dari diafragma yang ada di dalamnya
menjadi sinyal listrik,

yang mana diafragma itu dirancang untuk
bergerak jika ada suara masuk

sehingga gerakan tersebut dapat direkam
dan diterjemahkan menjadi suara.

Tapi, gelombang suara membuat
semua benda bergetar.

Getaran tersebut biasanya terlalu halus
dan terlalu cepat untuk bisa kita lihat.

Bagaimana jika kita merekamnya dengan
kamera berkecepatan tinggi,

lalu menggunakan piranti lunak ini
untuk memperbesar getaran halus

dari video berkecepatan tinggi itu,

kemudian menganalisanya untuk mencari tahu
suara apa yang menimbulkan getaran itu?

Ini bisa mengubah semua objek yang
bisa dilihat menjadi mikrofon jarak jauh.

Jadi kami mencobanya,

dan ini adalah salah satu percobaan kami,

Kami menggunakan tanaman
yang Anda lihat di sebelah kanan

yang kami rekam dengan
kamera kecepatan tinggi

ketika sebuah speaker didekatnya
memainkan nada ini.

[Video berkecepatan tinggi]

(Musik yang diputar dalam ruangan:
"Mary Had a Little Lamb")

Dan inilah video yang kami rekam

dengan kecepatan ribuan frame per detik,

tapi seberapa pun dekatnya Anda
melihatnya,

yang Anda lihat hanyalah dedaunan

yang cuma diam saja,

karena suara tadi hanya menggerakkan daun
sekitar satu mikrometer.

Itu artinya satu per sepuluh ribu dari
satu sentimeter,

atau hanya berkisar antara seperseratus
sampai seperseribu

dari satu pixel dalam gambar ini.

Anda boleh memicingkan mata semau anda,

tapi gerakan sekecil itu memang
relatif tidak terlihat.

Ternyata sesuatu yang
relatif tidak terlihat

tetap signifikan secara matematis,

karena dengan algoritma yang tepat,

kita bisa menggunakan video
yang kelihatannya diam ini

untuk mendapatkan suaranya lagi.

(Musik yang didapat dari video:
"Mary Had a Little Lamb")

(Tepuk tangan)

Bagaimana mungkin?

Bagaimana kita bisa mendapat begitu banyak
informasi dari gerakan yang begitu halus?

Katakanlah bahwa daun itu bergerak
sejauh satu mikrometer,

yang berarti gambar kita bergeser
seperseribu pixel.

Kelihatannya memang tidak besar,

tapi satu gambar dalam video

bisa memiliki ratusan ribu pixel
di dalamnya,

dan jika kita menggabungkan seluruh
gerakan kecil yang kita lihat

dari seluruh gambar,

maka seperseribu dari satu pixel

bisa jadi cukup penting
ketika semuanya dikumpulkan.

Bagi saya pribadi, kami cukup tercengang
ketika kami berhasil melakukannya.

(Tertawa)

Tapi bahkan dengan
algoritma yang tepat pun,

ada bagian penting dari teka-teki ini
yang masih hilang.

Begini, ada banyak sekali faktor yang
mempengaruhi kapan dan bagaimana

teknik ini bisa berhasil.

Seperti objek itu sendiri serta jaraknya;

jenis kamera dan lensa yang digunakan;

tingkat pencahayaan dan
besar volume suaranya.

Dan bahkan dengan algoritma
yang tepat pun,

kami masih harus sangat berhati-hati
di awal percobaan kami,

karena jika ada satu faktor saja
yang salah,

akan sulit menentukan
letak permasalahannya.

Kami hanya akan mendapatkan suara bising.

Jadi banyak percobaan awal kami berjalan
seperti ini.

Ini saya,

dan di kiri bawah, bisa Anda lihat
kamera kecepatan tinggi kami,

yang mengarah ke sekantung keripik,

dan semuanya diterangi oleh
lampu-lampu terang ini.

Dan seperti yang saya sampaikan, kami
harus berhati-hati sekali dalam percobaan,

jadi inilah yang terjadi.

(Video) Abe Davis: Tiga, dua, satu, mulai.

Mary punya kambing kecil!
Kambing kecil! Kambing kecil!

(Tertawa)

AD: Jadi percobaan ini betul betul
terlihat konyol.

(Tertawa)

Saya berteriak pada sekantung keripik --

(Tertawa)

dan cahaya yang kami gunakan begitu kuat,

hingga kantung keripik pertama kami
meleleh. (Tertawa)

Tapi walaupun percobaan ini
terlihat konyol,

tapi sebenarnya sangat penting,

karena kami berhasil mendapatkan
kembali suaranya.

(Audio) Mary punya kambing kecil!
Kambing kecil! Kambing kecil!

(Tepuk tangan)

AD: Dan ini sangat penting,

karena inilah pertama kali
kami berhasil mendapatkan

suara manusia yang dapat dipahami

dari sebuah video diam.

Percobaan ini memberi kami
titik referensi,

dan secara bertahap kami dapat
mengembangkan percobaan berikutnya,

dengan menggunakan objek berbeda
atau dengan menambah jarak kamera,

dengan cahaya yang lebih redup atau
suara yang lebih halus.

Dan kami menganalisa semua percobaan
yang kami lakukan

sampai kami mendapatkan batasan
yang dapat dicapai teknik ini,

karena jika kita tahu batasannya,

kita bisa tahu bagaimana mendorong
batasan itu lebih jauh lagi.

Sehingga sampai pada percobaan
seperti ini,

dimana sekali lagi,
saya berteriak pada sekantung keripik,

tapi kali ini kami memposisikan kamera
4,5 meter dari keripik,

di luar ruangan,
di balik jendela kedap suara

dan kami hanya menggunakan cahaya alami
dari sinar matahari.

Dan inilah video yang kami dapatkan.

Dan inilah yang terdengar di dalam
ruangan, dekat kantung keripik.

(Audio) Mary punya domba kecil,
bulunya seputih salju,

dan kemanapun Mary pergi,
sang domba pasti mengikuti.

AD: Dan inilah yang kami dapatkan
dari video bisu tersebut

yang diambil dari balik jendela.

(Audio) Mary punya domba kecil,
bulunya seputih salju,

dan kemanapun Mary pergi,
sang domba pasti mengikuti.

(Tepuk tangan)

AD: Dan ada cara lain untuk meningkatkan
batasan teknik ini.

Ini percobaan dengan
suara yang lebih halus

dimana kami merekam beberapa earphone
yang terpasang pada laptop,

tujuannya adalah mendapatkan musik
yang sedang diputar di laptop

melalui rekaman video diam
dua earphone plastik ini,

dan kami berhasil melakukannya
dengan sangat baik

bahkan aplikasi Shazam pun bisa
mengenali musiknya.

(Tertawa)

(Musik yang didapat dari video:
"Under Pressure" oleh Queen)

(Tepuk tangan)

Kita juga bisa meningkatkan batasannya

dengan mengganti piranti keras
yang digunakan.

Karena percobaan yang
sudah saya tunjukkan sejauh ini

direkam dengan kamera kecepatan tinggi,

yang bisa merekam video
100 kali lebih cepat

dari kamera ponsel biasa,

tapi kami menemukan cara untuk
menerapkan teknik ini

menggunakan kamera biasa,

dengan memanfaatkan fitur
yang disebut rana putar.

Kebanyakan kamera merekam gambar
per baris,

jadi jika objeknya bergerak
saat gambar diambil,

ada penundaan waktu rekam
antara setiap baris rekaman,

yang akan menimbulkan
sedikit kesalahan gambar

yang akan terekam pada setiap frame video.

Kami menemukan bahwa,
dengan menganalisa kesalahan gambar ini,

kami bisa mendapatkan kembali suaranya,
dengan memodifikasi algoritmanya.

Dan inilah percobaan yang kami lakukan.

Kami merekam sekantung permen

di samping sebuah speaker

yang memainkan musik yang sama,
"Mary had a Little Lamb."

Tapi kali ini, kami memakai kamera biasa
yang bisa dibeli di toko.

Sebentar lagi saya akan memutar
suara yang kami dapatkan,

suaranya agak jelek kali ini,

tapi coba dengar,
apa Anda masih mengenali musiknya.

(Audio yang didapat dari video:
"Mary had a Little Lamb")

[Kiri: Video diam dari kamera SLR biasa]

[Kanan: Suara yang terekam
dari kantung permen]

Jadi, memang suaranya agak jelek,

tapi hebatnya adalah,
kita bisa menerapkan aplikasi ini

dengan alat yang bisa dengan mudah
Anda dapatkan

di toko elektronik.

Jadi sampai disini,

banyak orang melihat percobaan ini

dan langsung berpikir tentang pengintaian.

Dan jujur saja,

tidak sulit membayangkan alat ini
bisa digunakan untuk memata matai.

Tapi ingatlah, sudah banyak
teknologi siap pakai saat ini

untuk pengintaian.

Bahkan, masyarakat sudah lazim
memakai sinar laser

untuk menguping dari jarak jauh.

Tapi hal yang baru disini,

yang benar-benar berbeda,

adalah kita sekarang mampu menggambarkan
getaran dari sebuah objek,

yang memberi kita lensa baru
untuk memandang dunia,

dan kita bisa menggunakannya
untuk mempelajari

tidak saja berbagai gaya seperti suara
yang dapat membuat benda bergetar,

tapi juga tentang objek itu sendiri.

Saya sedikit mundur ke belakang

dan memikirkan bagaimana ini bisa
mengubah cara kita menggunakan video.

Kalau sebelumnya kita menggunakan
video untuk melihat objek,

kini kita bisa menggunakannya
untuk mendengarkan sesuatu.

Tapi satu cara lain untuk belajar
tentang dunia:

yaitu dengan berinteraksi dengannya.

Kita bisa menarik, menekan, mencolek
dan mendorong benda.

Kita menggoyang benda dan
melihat apa yang terjadi.

Tapi kita masih belum bisa melakukannya
melalui video,

setidaknya secara tradisional.

Saya ingin menunjukkan percobaan
baru kami,

yang idenya saya dapat
beberapa bulan yang lalu,

dan ini adalah pertama kalinya
saya menunjukkannya pada umum.

Ide dasarnya adalah untuk menggunakan
getaran dalam satu video

untuk menangkap objek sedemikian rupa
sehingga kita bisa berinteraksi dengannya

dan melihat reaksinya.

Ini adalah sebuah objek,

sebuah patung kawat berbentuk manusia,

yang kami rekam dengan kamera biasa.

Kamera ini tidak istimewa.

Bahkan, saya pernah melakukannya
dengan kamera HP saya.

Tapi kita butuh objek ini bergetar.

Untuk itu,

kita pukul sedikit permukaan meja
dimana ia terletak,

sambil kita merekam videonya.

Itu saja.
Lima detik rekaman video biasa,

sambil kita mengetuk meja,

dan kita akan menggunakan
getaran dari video tersebut

untuk mempelajari
sifat struktural dan material objek ini.

Lalu informasi tersebut akan digunakan

untuk membuat sesuatu
yang baru dan interaktif.

Inilah yang kami buat.

Terlihat seperti gambar biasa,

tapi ini bukan gambar,
juga bukan video,

karena jika saya gerakkan mouse saya,

dan berinteraksi dengan objek ini.

Yang Anda lihat disini

adalah simulasi bagaimana objek ini

akan bereaksi terhadap daya baru,

yang belum pernah kita lihat sebelumnya,

dan kami membuatnya hanya dari
video biasa berdurasi 5 detik.

(Tepuk tangan)

Ini cara hebat untuk melihat dunia,

karena kita bisa memprediksi reaksi objek

dalam situasi baru,

dan bisa Anda bayangkan, contohnya,
jika kita melihat jembatan tua

lalu kita bayangkan apa yang akan terjadi,

mampukah jembatan ini bertahan
jika mobil saya melintas di atasnya.

Dan Anda mungkin akan ingin
mendapat jawabannya

sebelum Anda melintasinya juga.

Tentu saja, teknik ini memiliki batasan,

sama seperti pada mikrofon visual,

tapi kami menemukan bahwa
teknik ini bekerja baik

dalam banyak situasi yang tidak disangka,

apalagi jika videonya berdurasi
lebih panjang.

Ini contohnya, ini adalah video rekaman

semak-semak di luar apartemen saya,

saya tidak melakukan apa-apa
terhadap semak-semak ini,

tapi dengan merekamnya selama satu menit,

hebusan angin sepoi-sepoi
menggetarkan semak-semak

sehingga kami bisa membuat
simulasi berikut.

(Tepuk tangan)

Bisa Anda bayangkan jika kita
memberikannya ke sutradara,

dia bisa mengendalikan

kekuatan dan arah angin dalam suatu adegan
setelah adegannya selesai direkam.

Atau, dalam hal ini, kami arahkan kamera
ke sebuah tirai yang tergantung,

Anda bahkan tidak melihat gerakan apa pun
dalam video ini,

tapi dengan merekamnya selama dua menit,

aliran udara alami dalam ruangan ini

menimbulkan getaran yang
halus dan tak terlihat

yang memungkinkan kami
untuk membuat simulasi ini.

Tapi ironisnya,

kita sudah terbiasa dengan
interaksi semacam ini

dalam dunia virtual,

terutama dalam video game ataupun
model 3D lainnya,

tapi dengan memperoleh informasi ini
dari objek nyata

dengan menggunakan
video biasa dan sederhana,

adalah satu hal baru
yang punya banyak potensi.

Ini adalah para rekan yang bekerja dengan
saya dalam proyek ini.

(Tepuk tangan)

Yang saya tunjukkan hari ini
hanyalah permulaan.

Kami baru mengetahui kulitnya saja

dari apa yang bisa kita lakukan
dengan pencitraan seperti ini,

karena teknik ini memberi kita cara baru

untuk mengamati lingkungan kita dengan
perangkat yang lazim dan terjangkau.

Jadi ke depan, akan sangat menarik
untuk menggali

apa yang bisa diajarkan teknik ini
tentang dunia.

Terima kasih.

(Tepuk tangan)