Nesnelerin gizli özelliklerini ortaya çıkaran yeni video teknolojisi

Sesin neden olduğu küçücük titreşimler de dâhil, belirsiz hareketler etrâfımızda hep olur. Yeni teknoloji, bu titreşimleri toplayabileceğimizi ve yalnızca görünürde hareketsiz olan nesnenin bir videosundan sesi yeniden oluşturabileceğimizi gösteriyor. Fakat artık Abe Davis bunu bir adım ileri götürüyor: Yalnızca basit bir videoyla herhangi birinin bu gizli özelliklerle etkileşime geçebilmesini sağlayan yazılımını tanıtan Abe'i izleyin.

Çoğumuz hareketi oldukça
görsel bir şey olarak düşünürüz.

Bu sahne boyunca yürüsem
ya da konuşurken el hareketleri yapsam,

bu hareketler görebileceğiniz şeylerdir.

Fakat insan gözünün göremeyeceği
belirsizlikte önemli hareketler dünyâsı vardır,

ve geçen birkaç yıl içinde,

kameraların bu hareketleri sıklıkla

insanların göremediği zamanlarda bile
görebildiğini bulmaya başladık.

Ne demek istediğimi göstereyim.

Sol tarafta, birisinin bileğinin
videosunu görüyorsunuz,

ve sağ tarafta, uyuyan bir bebeğin
videosunu görüyorsunuz,

fakat size bunların
video olduğunu söylemesem,

iki sıradan fotoğrafa bakıyor
olduğunuzu sanabilirsiniz,

çünkü iki durumda da,

bu videolar neredeyse tamâmen
hareketsiz görünüyor.

Fakat aslında burada
birçok belirsiz hareketlenme var

ve soldaki bileğe
dokunacak olsanız,

nabzı hissedersiniz

ve sağdaki bebeği
tutuyor olsanız,

göğsündeki yükselişi ve alçalışı

her nefes alışında hissedersiniz.

Bu hareketler birçok
önemli bilgi taşır,

fakat genellikle
göremeyeceğimiz kadar belirsizdir,

bu yüzden, bunun yerine doğrudan temasla,

dokunarak gözlememiz gerekir.

Fakat birkaç yıl önce,

MIT'teki meslektaşlarım hareket mikroskobu
dedikleri mikroskobu geliştirdi,

videodaki belirsiz hareketleri bulan

ve görebileceğimiz biçimde olması için
büyüten bir yazılımı.

Ve bu sayede, soldaki videoda
onların yazılımını kullanırsak,

bilekteki nabzı görmemizi sağlıyor

ve bu nabzı saysak,

bu kişinin kalp atış hızını
bile bulabiliriz.

Ve aynı yazılımı
sağdaki videoda kullansak,

bu bebeğin aldığı her nefesi
görmemizi sağlıyor

ve bunu onun nefesini izlemek için
temassız bir yöntem olarak kullanabiliriz.

Ve bu teknoloji gerçekten güçlü
çünkü normalde dokunarak

deneyimlememiz gereken
bütün bu durumları

görsel olarak ve müdahalesizce
elde etmemizi sağlıyor.

Birkaç yıl önce, bu yazılımı oluşturan
insanlarla çalışmaya başladım

ve çılgın bir fikrin peşinden
gitmeye karar verdik.

Düşündük ki, bunun gibi
küçücük hareketleri

görselleştirmek için yazılımı
kullanabilmemiz harika

ve bunu, neredeyse dokunma duyumuzun
bir uzantısı olarak düşünebilirsiniz.

Fakat, ya aynı şeyi
duyma yetimiz için de yapabilsek?

Ya videoyu ses titreşimlerini
elde etmek için kullanabilsek,

ses titreşimleri de diğer bir tür harekettir,

ya gördüğümüz her şeyi
mikrofona dönüştürebilsek?

Şimdi, bu birazcık tuhaf bir fikir,

bu yüzden, gelin size bir
bakış açısı kazandırmaya çalışayım.

Geleneksel mikrofonlar
içsel bir zara gelen

hareketi elektrik sinyaline
dönüştürerek çalışır

ve bu zar sesle birlikte
hareket edecek şekilde tasarlanmıştır,

bu sâyede, zarın hareketi ses olarak
kaydedilebilir ve yorumlanabilir.

Fakat ses bütün nesneleri titreştirir.

Bu titreşimler genellikle göremeyeceğimiz
kadar belirsiz ve hızlıdır.

Ya yüksek hızlı bir kamerayla
bu titreşimleri kaydetsek

ve sonra yüksek hızlı videomuzdaki
küçücük hareketleri elde etmek için

yazılımı kullansak

ve bu hareketleri, hangi seslerin
oluşturduğunu anlamak için çözümlesek?

Bu durum bizim görünen nesneleri uzak
görsel mikrofonlara dönüştürmemizi sağlar.

Ve biz bunu yapmaya çalıştık

ve işte deneylerimizden birisi,

sağda gördüğünüz
bu saksı bitkisini aldık

ve yüksek hızlı bir kamerayla

bir hoparlör yakınında
bu sesi çıkarırken kaydettik.

(Müzik: "Mary Had a Little Lamb")

Ve işte kaydettiğimiz video

ve bu videoyu sâniyede bin karelik
bir hızda kaydettik,

fakat çok yakından bile baksanız,

göreceğiniz tek şey hiçbir şey yapmadan

olduğu yerde duran birkaç yaprak,

çünkü ses bu yaprakları yalnızca
bir mikrometre kadar oynattı.

Bu ölçü bir santimetrenin on binde biridir

bu da, bu görüntüdeki bir pikselin
yüz ile binde biri arasındaki

bir bölüme karşılık gelir.

Bu yüzden, ne kadar
gözlerinizi kısarak bakarsanız bakın

bu küçüklükteki hareket,
algılanamayacak kadar görünmezdir.

Fakat şu ortaya çıktı, bir şey
algılanamayacak şekilde görünmez olabilir

ve yine de sayısal olarak önemlidir,

çünkü doğru algoritmalarla,

hâlâ bu sessiz, görünürde
hareketsiz olan videoyu alıp

şu sesi kurtarabiliriz.

(Müzik: "Mary Had a Little Lamb")

(Alkış)

Peki, bu nasıl mümkün oluyor?

Bu kadar az hareketten bu kadar
çok bilgiyi nasıl elde edebiliyoruz?

Bu yaprakların yalnızca bir mikrometre
hareket ettiğini varsayalım,

ve bunun görüntümüzü yalnızca bir pikselin
binde biri değiştirdiğini varsayalım.

Bu miktar çok görünmeyebilir,

fakat bir videonun tek karesinde

yüz binlerce piksel bulunuyor olabilir

ve o fotoğrafta gördüğümüz
bütün küçücük hareketleri

birleştirirsek,

birden, bir pikselin binde biri

çok önemli bir şeye
katkı sağlayabilir.

Bu arada, bunu keşfettiğimizde
kafayı yedik.

(Gülüşmeler)

Fakat doğru algoritmayla bile,

yapbozun oldukça önemli
bir parçası eksikti.

Bu tekniğin ne zaman
ve nasıl çalışacağını etkileyecek

çok fazla etmen var.

Nesnenin uzaklığı var,

kullandığınız kamera
ve lens var;

nesneye gelen ışığın parlaklığı
ve sesinizin yüksekliği var.

Ve doğru algoritmayla bile,

ilk deneylerimizde çok dikkâtli
olmak zorundaydık,

çünkü bu etmenlerden
herhangi birinde yanlışlık olursa,

sorunun ne olduğunu anlamanın
hiçbir yolu yoktu.

Tek dönüt videodaki gürültü olur.

Ve bu yüzden, ilk deneylerimizin çoğu
şunun gibiydi.

Buradaki benim

ve sol altta, yüksek hızlı kameramızın
bir kısmını görüyorsunuz,

bir cips paketine doğrultulmuş durumda

ve paketin her yeri bu parlak
lambayla aydınlatılmış durumda.

Ve dediğim gibi, bu ilk deneylerde
çok dikkâtli olmak zorundaydık,

bu yüzden şöyle yaptık.

(Video) Abe Davis: Üç, iki, bir, başla.

Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!

(Gülüşmeler)

AD: Bu yüzden bu deney
çok ama çok saçma görünüyor.

(Gülüşmeler)

Şuna bakın, bir cips paketine bağırıyorum

(Gülüşmeler) --

ve paketi o kadar çok ışıkla kavurduk ki

denediğimiz ilk paketi
gerçek anlamda erittik. (Gülüşmeler)

Fakat ne kadar saçma görünürse görünsün,

aslında çok önemliydi,

çünkü şu sesi kurtarmayı başardık.

(Ses) Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!

(Alkış)

AD: Ve bu gerçekten önemliydi,

çünkü bu anlaşılır insan sesini
bir nesnenin sessiz bir videosundan

kurtardığımız ilk zamandı.

Ve bu bize başlangıç noktası oldu

ve adım adım deney üzerinde
değişiklikler yapmaya başlayabildik,

farklı nesneler kullandık,
nesneleri daha uzaktan kaydettik,

daha az ışık ya da daha kısık ses kullandık.

Ve bütün bu deneyleri

tekniğimizin sınırlarını
anlayana dek çözümledik,

çünkü bu sınırları anlayınca,

nereye kadar zorlayabileceğimizi öğreniriz.

Ve bu da bizi şöyle bir deneye yöneltti,

yine bir cips paketine
karşı konuşuyorum,

ama bu kez kameramızı
4,5 metre uzağa yerleştirdik,

dışarıya, ses geçirmez bir pencerenin arkasına,

ve bütün her şey yalnızca
doğal güneş ışığıyla aydınlatıldı.

Ve bu kaydettiğimiz video.

Ve içerde, cips paketinin yanında
oynatılan ses şöyle.

(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,

Mary nereye gitse,
kuzu peşinden giderdi.

AD: Ve o pencerenin dışından kaydedilen
sessiz videodan kurtarmayı

başardığımız ses şöyle.

(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,

Mary nereye gitse,
kuzu peşinden giderdi.

(Alkış)

AD: Ve sınırlarımızı zorlayabileceğimiz
başka yollar da var.

Şöyle daha sessiz bir deneyimiz var,

dizüstü bilgisayara takılı
kulaklıkları kaydettik

ve bu sefer, amacımız
dizüstünde çalan müziği

şu küçük plastik kulaklıkların

sessiz videosundan yakalamaktı

ve bunu o kadar iyi başardık ki

sonuçlarımızı Shazam'layabiliyorum bile.

(Gülüşmeler)

(Müzik: "Under Pressure", Şarkıcı: Queen)

(Alkış)

Ve kullandığımız donanımı değiştirerek de
sınırlarımızı zorlayabiliriz.

Çünkü şimdiye dek size
gösterdiğim deneyler

yüksek hızlı bir kamerayla
yapılmıştı,

bu kamera videoyu
çoğu cep telefonundan

100 kat daha hızlı kaydedebilir,

ama bu tekniği
çoğu sıradan kamerayla da

kullanmanın bir yolunu bulduk

ve bunu jöle etkisi denen
bir şeyden yararlanarak yapıyoruz.

Çoğu kamera, görüntüyü
tek seferde tek satır olarak kaydeder

ve bir nesne, tek bir görüntünün
çekildiği anda kıpırdarsa,

her satır arasında küçük bir gecikme olur

ve bu durum, bir videonun her karesine

işlenen küçük kusurlara neden olur.

Ve bu kusurları çözümleyip
algoritmamızın değiştirilmiş

sürümünü kullanarak
sesi kurtarabileceğimizi bulduk.

Yaptığımız deney şöyle:

bir şeker paketini

yakınında bir hoparlörden

daha önceki aynı "Mary Had a Little Lamb"
müziğini çalarken kaydettik,

ama bu sefer, mağazadan alınma
sıradan bir kamera kullandık

ve birazdan, kurtardığımız sesi
size dinleteceğim

ve bu sefer,
bozuk bir ses çalacak,

ama dinleyip müziği yine de
tanıyıp tanımayacağınızı görün.

(Ses: "Mary Had a Little Lamb")

Dediğim gibi, ses bozuk çalıyor,

fakat buradaki şaşırtıcı olan şey,
bunu, gerçekten gidip

Best Buy'dan (teknoloji mağazası)
aldığımız bir ürünle

yapabilmiş olmamızdır.

Şu anda,

birçok insan bu çalışmayı görüyor

ve hemen birilerini gözetleme
hakkında düşünüyorlar.

Ve dürüst olmak gerekirse,

bu teknolojinin birisini gözetlemek için
kullanıldığını hayâl etmek zor değil.

Fakat şunu aklınızda tutun,
hâli hazırda zâten gözetleme üzerine

birçok tamamlanmış teknoloji var.

Aslında, insanlar lazerleri uzak mesâfeden

nesneler aracılığıyla gizlice
dinleme için onyıllardır kullanıyor.

Fakat burada yeni olan şey,

farklı olan şey,

bir nesnenin titreşimlerini görüntülemek
için bir yol bulmuş olmamızdır,

bu da bize, dünyâya bakmamız için
yeni bir lens veriyor

ve bu lensi, yalnızca nesneleri

titreştiren ses gibi güçler hakkında bilgi
öğrenmek için değil, nesnenin kendisi

hakkında bilgi için de kullanabiliriz.

Ve böylece, bir adım geri dönmek

ve bunun videoyu kullanışımızı nasıl
değiştirebileceğini düşünmek istiyorum,

çünkü genellikle videoyu nesnelere
bakmak için kullanırız

ve demin videoyu nasıl nesneleri dinlemek

için kullanabileceğimizi gösterdim.

Fakat dünyâyı öğrenme şeklimizle ilgili
önemli başka bir yol var:

onunla etkileşim kurmak.

Nesneleri iter, çeker, dürter ve kakarız.

Sallar ve ne olacağına bakarız.

Ve bu, videonun yapmamıza
izin vermediği bir şey,

en azından geleneksel olarak böyle.

Size yeni bir çalışmayı
göstermek istiyorum

ve bu çalışma, yalnızca birkaç ay
önceki fikrime dayanıyor,

bu yüzden, bu, herkese açık olarak
göstereceğim ilk an olacak.

Ve temel fikir, videodaki titreşimleri

nesnelerle etkileşebileceğimiz
bir şekilde yakalamamız

ve nasıl tepki vereceklerini
görmemizle ilgili.

Burada bir nesne var

ve bu örnekte,
insan şeklinde bir telimiz var

ve bu nesneyi sıradan bir kamerayla
kaydedeceğiz.

Kameranın hiçbir özel yanı yok.

Hattâ, bunu daha önceden
kendi cep telefonumla da yaptım.

Fakat nesnenin titreştiğini görmek istiyoruz,

bunu yapmak için,

nesne orada dururken,
kayıt sırasında

yüzeye biraz vuracağız.

Bu kadar: sıradan bir videonun
yüzeye vururkenki

yalnızca beş sâniyesi

ve bu videodaki titreşimleri,

nesnemizin yapı ve malzeme
özelliklerini öğrenmek için kullanacağız

ve bu bilgiyi yeni ve etkileşimli
bir şey oluşturmak için kullanacağız.

Ve yaptığımız şey şöyle.

Sıradan bir görüntü gibi görünüyor,

ama bu bir görüntü değil,
bir video da değil,

çünkü şimdi faremi alabilir

ve nesneyle etkileşime geçebilirim.

Burada gördüğünüz şey,

bu nesnenin daha önce hiç görmediğimiz

yeni güçlere
nasıl tepki verdiğinin benzetimidir

ve biz bunu sıradan bir videonun
yalnızca beş sâniyesinden oluşturduk.

(Alkış)

Ve bu dünyâmıza bakmak için
gerçekten güçlü bir yöntem,

çünkü nesnelerin yeni durumlara
nasıl tepki vereceğini

tahmin etmemizi sağlıyor

ve örneğin, eski bir köprüye bakarak

arabamla üstünden geçsem ne olur
diye düşündüğünüzü

hayâl edebilirsiniz.

Ve bu muhtemelen, köprünün
üzerinde sürmeye başlamadan önce

yanıtlamak isteyeceğiniz bir sorudur.

Ve tabii ki, bu tekniğin
sınırları olacak,

tıpkı görsel mikrofonda olduğu gibi,

fakat ummayacağınız
birçok durumda

işe yaradığını bulduk,

özellikle uzun videolar çekerseniz.

Örneğin, burada
apartmanımın dışındaki

çalıları çektiğim bir video var

ve bu çalılığa hiçbir şey yapmadım,

ama bir dakîkalık uzunluktaki videoda,

hafif bir rüzgâr, bu benzetimi oluşturmak için

çalı hakkında öğrenebileceğimiz
yeterli titreşimi sağladı.

(Alkış)

Ve bunu bir
film yönetmenine verdiğinizi

ve yönetmenin, örneğin, rüzgârın

yönünü ve şiddetini çekimden sonra
değiştirebildiğini hayâl edebilirsiniz.

Ya da şu örnekte, kameramızı
asılı bir perdeye doğrulttuk

ve bu videoda hiçbir
hareket göremiyorsunuz,

ama iki dakîkalık bir video çekerek,

odadaki doğal hava akışı

yeterli belirsiz, algılanamaz
hareket ve titreşimi sağladı

ve bu benzetimi oluşturmamıza
yetecek kadarını öğrendik.

Ve ne gariptir ki

bir bakıma bu türde etkileşime

sanal nesnelerde,

bilgisayar oyunlarında ve
3B modellerde alışkınız,

ama bu bilgiyi
gerçek dünyâdaki gerçek nesnelerden,

basit, sıradan videolar kullanarak

kurtarmak, birçok potansiyeli olan
yeni bir şey.

Karşınızda bu projelerde benimle
çalışan inanılmaz insanlar.

(Alkış)

Ve bugün size gösterdiğim
yalnızca başlangıç.

Bu türde görüntü işlemeyle

neler yapılabileceğinin
daha yalnızca yüzeyini kazıdık,

çünkü bu bize; genel, erişilebilir

teknolojiyle çevremizi kaydetmek için
yeni bir yol sağlıyor.

Ve geleceğe bakınca, bu teknolojinin

dünyâmız hakkında
söyleyebileceklerini keşfetmek

gerçekten heyecan verici olacak.

Teşekkür ederim.

(Alkış)