Uma nova tecnologia de vídeo que revela as propriedades ocultas de um objeto.

Movimentos subtis estão sempre a ocorrer à nossa volta, incluindo pequenas vibrações provocadas pelo som. Uma nova tecnologia mostra que podemos agarrar nessas vibrações e recrear o som e as conversas a partir dum vídeo dum objeto aparentemente imóvel. Abe Davis ainda dá mais um passo em frente: Observem-no a mostrar um "software" que permite interagir com essas propriedades ocultas, a partir de um simples vídeo.

Quase todos nós pensamos no movimento
como uma coisa muito visual.

Se eu passear por este palco,
ou gesticular enquanto falo,

esses movimentos são uma coisa
que vocês veem.

Mas há um mundo de movimentos importantes

que são demasiado subtis
para os olhos humanos.

Nos últimos anos,

começámos a descobrir que as câmaras

veem esses movimentos
que os nossos olhos não conseguem ver.

Vou mostrar-vos o que quero dizer.

Aqui à esquerda, veem um vídeo
do pulso duma pessoa

e à direita, veem um vídeo
de um bebé a dormir.

Se eu não vos tivesse dito
que isto eram vídeos,

vocês podiam julgar que estavam a olhar
para duas fotos normais

porque, em ambos os casos,

estes vídeos parecem estar
totalmente imóveis.

Na realidade, há aqui
muito movimento subtil.

Se tocassem neste pulso à esquerda,

sentiriam a pulsação,

se agarrassem no bebé da direita,

sentiriam o erguer e descer do peito dele

quando respira.

Esses movimentos têm muito significado

mas normalmente são demasiado subtis
para os podermos ver.

Em vez disso, temos que os observar

através de contacto direto,
através do tato.

Mas há uns anos,

os meus colegas no MIT
desenvolveram uma coisa

a que chamaram um microscópio do movimento

que é um "software" que encontra
esses movimentos subtis no vídeo

e os amplifica até eles ficarem
suficientemente grandes para os vermos.

Assim, se eu usar esse "software"
no vídeo da esquerda,

passamos a ver a pulsação deste pulso,

e se contarmos a pulsação

podemos deduzir
o ritmo cardíaco desta pessoa.

Se eu usar o mesmo "software"
no vídeo da direita,

passamos a ver cada inspiração
que o bebé faz

e podemos usar isso
como uma forma isenta de contacto

para vigiar a sua respiração.

Esta tecnologia é muito poderosa
porque agarra nestes fenómenos

que normalmente só conseguimos
perceber através do tato

e faz com que passemos a visualizá-los
de forma não invasiva.

Há uns anos, comecei a trabalhar
com as pessoas que criaram este "software"

e decidimos avançar com uma ideia maluca.

Pensámos que era fixe
poder usar um "software"

para visualizar pequenos movimentos
como estes,

e até podíamos pensar nisso como uma forma
de expandir o nosso sentido do tato.

E se pudéssemos fazer o mesmo
com a nossa capacidade para ouvir?

E se usássemos o vídeo para captar
as vibrações dos sons,

que afinal são um outro tipo de movimento,

e transformar tudo o que vemos
num microfone?

Esta é uma ideia um pouco extravagante

por isso vou tentar pô-la em perspetiva.

Os microfones tradicionais funcionam
transformando o movimento

de um diafragma interior
num sinal elétrico,

e esse diafragma está concebido
para se mover prontamente com os sons

de forma a que os movimentos podem ser
gravados e interpretados como áudio.

Ma o som faz com que
todos os objetos vibrem.

Mas essas vibrações são normalmente
demasiado subtis e demasiado rápidas

para nós as podermos ver.

E se as gravássemos
com uma câmara de alta velocidade

e depois usássemos o "software"
para extrair pequenos movimentos

do nosso vídeo de alta velocidade,

e analisássemos esses movimentos
para ver que sons os tinham criado?

Isso permitir-nos-ia
transformar objetos visíveis

em microfones visuais à distância.

Então, foi o que tentámos fazer.

Esta é uma das nossas experiências,

em que agarrámos neste vaso
com uma planta que estão a ver à direita

e filmámos com uma câmara
de alta velocidade

enquanto um altifalante ali ao pé
transmitia este som.

(Música: "Maria tinha um cordeirinho")

E este é o vídeo que gravámos.

Gravámos a uma velocidade
de milhares de imagens por segundo.

Mas, mesmo que observemos muito de perto,

só vemos algumas folhas

que estão ali paradas sem fazer nada,

porque o nosso som limitou-se a fazer
mover estas folhas apenas um micrómetro,

ou seja uma décima milésima
de um centímetro,

o que corresponde mais ou menos
entre um centésimo e um milésimo

de um pixel nesta imagem.

Por isso, podem piscar os olhos
quanto quiserem,

mas um movimento tão pequeno
é praticamente invisível.

Mas acontece que uma coisa
pode ser invisível à nossa perceção

e mesmo assim ser
numericamente significativo,

porque com os algoritmos adequados

podemos agarrar neste vídeo silencioso,
aparentemente parado,

e podemos recuperar esse som.

(Música: "Maria tinha um cordeirinho")

(Aplausos)

Como é que isto é possível?

Como é que podemos obter tantas informações
a partir de tão pouco movimento?

Digamos que estas folhas
se movem apenas um micrómetro,

e digamos que movimenta a nossa imagem
apenas numa milésima de pixel

Pode não parecer muito,

mas uma única imagem do vídeo

pode conter centenas de milhares de pixéis.

Por isso, se combinarmos
todos os pequenos movimentos

que vemos em toda a imagem,

um milésimo de um pixel

pode, de repente, tornar-se
numa coisa significativa.

Aqui para nós, ficámos malucos
quando descobrimos isto.

(Risos)

Mas, mesmo com o algoritmo adequado,

ainda nos faltava uma peça
muito importante do "puzzle".

Há muitos fatores que afetam
quando e como funciona esta técnica.

Há o objeto e a distância a que ele está.

Há a câmara e as lentes que usamos.

A quantidade de luz que incide no objeto
e a intensidade do som.

E, mesmo com o algoritmo adequado,

tivemos que ter muito cuidado
com as nossas primeiras experiências,

porque, se considerássemos erradamente
qualquer destes fatores,

não tínhamos forma de saber
qual era o problema.

Só obtínhamos ruído.

Portanto, muitas das nossas
primeiras experiências foram assim.

Aqui estou eu.

Em baixo à esquerda, podem ver
a nossa câmara de alta velocidade,

que está apontada
para um pacote de batatas fritas.

Está tudo iluminado
por aquelas lâmpadas brilhantes.

Como já disse, temos que ter muito cuidado
nestas primeiras experiências,

por isso, foi assim
que as coisas se passaram.

(Vídeo): Três, dois, um... Começar.

(Aos gritos): Mary tinha um carneirinho!

Carneirinho! Carneirinho!

(Risos)

Esta experiência parece mesmo ridícula.

(Risos)

Estou para aqui a gritar
para um pacote de batatas...

(Risos)

... e está tudo iluminado com tanta luz

que literalmente derretemos o primeiro
pacote de batatas nesta experiência.

(Risos)

Mas, por mais ridícula
que esta experiência pareça,

foi de facto muito importante,

porque pudemos recuperar este som.

(Áudio) Mary tinha um cordeirinho!
Cordeirinho! Cordeirinho!

(Aplausos)

Isto foi muito significativo

porque foi a primeira vez
que recuperámos fala humana inteligível

a partir do vídeo silencioso de um objeto.

Isso deu-nos este ponto de referência

e a pouco e pouco pudemos
começar a modificar a experiência,

usando objetos diferentes,
ou afastando mais o objeto,

usando menos luz ou sons mais abafados.

Analisámos todas essas experiências

até percebermos bem
os limites da nossa técnica,

porque, depois de
percebermos esses limites,

podíamos pensar em como alargá-los.

Isso levou-nos a experiências como esta,

em que, de novo, eu vou falar
para um pacote de batatas

mas, desta vez, afastámos a câmara
cerca de 5 metros,

atrás duma vidraça à prova de som,

e está tudo iluminado
apenas por luz natural.

Este é o vídeo do que captámos.

Isto é como as coisas soaram, no interior,
junto do pacote de batatas.

(Áudio) Mary tinha um carneirinho!
Branco como a neve.

Sempre que a Maria vai,
o carneirinho vai também.

Isto foi o que conseguimos recuperar
a partir do nosso vídeo silencioso

captado no exterior
por detrás daquele vidro.

(Áudio) Mary tinha um carneirinho!
Branco como a neve.

Sempre que a Maria vai,
o carneirinho vai também.

(Aplausos)

Também há outras formas
de podermos alargar estes limites.

Esta é uma experiência mais tranquila

em que filmámos uns auscultadores
ligados a um computador portátil.

Neste caso, o nosso objetivo
era recuperar a música

que estava a tocar nesse computador

a partir de um vídeo silencioso

destes dois pequenos
auscultadores de plástico.

Conseguimos fazer isto tão bem feito

que até pude dizer Shazam aos resultados.

(Risos)

(Áudio): (Música:
"Under Pressure" dos Queen)

(Aplausos)

Também podemos ir mais longe,
mudando o "hardware" que usamos.

As experiências que vos mostrei até aqui

foram feitas com uma câmara
de alta velocidade,

que pode registar um vídeo
cerca de 100 vezes mais depressa

do que a maior parte dos telemóveis.

Mas também arranjámos forma
de usar esta técnica

com câmaras mais vulgares.

Fazemos isso tirando partido
do que se chama "rolling shutter".

A maior parte das câmaras regista
imagens seguidas, uma a uma.

Por isso, se um objeto se move
durante a gravação duma mesma imagem,

há um pequeno compasso de atraso
entre cada imagem,

o que causa pequenas distorções

que ficam registadas
em cada imagem do vídeo.

Descobrimos que,
analisando essas distorções,

podemos recuperar o som, usando
uma versão modificada do nosso algoritmo.

Esta foi uma experiência que fizemos

em que filmámos um pacote de rebuçados

junto dum altifalante que tocava

a mesma "Maria tinha um carneirinho"

mas, desta vez, usámos uma câmara vulgar
comprada no supermercado.

Vou passar já o som que recuperámos.

Desta vez, vai soar distorcido,

mas oiçam com atenção
e vejam se reconhecem a música.

(Áudio): (Música:
Mary tinha um cordeirinho.)

De novo, esse som distorcido,

mas o que é deveras espantoso nisto
é que conseguimos fazê-lo

com uma coisa que vocês podem usar

e comprar numa Loja de Audiovisuais.

Nesta altura, há muitas pessoas
que olham para isto

e pensam logo na vigilância.

(Risos)

Realmente,

não é difícil imaginar como é que podemos
usar esta tecnologia para espiar alguém.

Mas lembrem-se que já há
imensa tecnologia muito sofisticada

para a vigilância.

Na verdade, há décadas
que se usam os raios "laser"

para escutar objetos à distância.

O que isto tem de novo

o que é mesmo diferente,

é que agora temos uma forma de representar
as vibrações dum objeto,

que nos dá novas lentes
através das quais vemos o mundo,

e podemos usar essas lentes

para ver as forças, como o som,
que fazem vibrar um objeto,

mas também o próprio objeto.

Vou recuar um pouco

e pensar como é que podíamos
alterar a forma de usar o vídeo,

porque habitualmente usamos
o vídeo para observar as coisas

e eu acabei de mostrar como podemos usá-lo

para escutar as coisas.

Mas há outra importante forma
de conhecermos o mundo:

é interagindo com ele.

Nós pressionamos, empurramos
e espicaçamos as coisas.

Abanamos as coisas e vemos o que acontece.

É uma coisa que o vídeo
ainda não nos deixa fazer,

pelo menos habitualmente.

Vou mostrar-vos um trabalho novo

baseado numa ideia
que eu tive há uns meses.

É a primeira vez
que mostro isto em público.

A ideia básica é que vamos usar
as vibrações num vídeo

para captar objetos duma forma
que nos permite interagir com eles

e ver como é que eles reagem.

Isto é um objeto.

Neste caso, é um boneco de arame
com a forma dum ser humano.

Vamos filmar este objeto
com uma câmara normal.

Esta câmara não tem nada de especial.

Na verdade, já fiz isto
com o meu telemóvel.

Mas queremos ver o objeto a vibrar,

portanto, para que isso aconteça,

vamos bater na superfície
onde ele está poisado

enquanto gravamos este vídeo.

Já está: são cinco segundos
de gravação normal,

enquanto batemos na superfície.

Vamos usar as vibrações deste vídeo

para conhecer as propriedades
estruturais e materiais do nosso objeto.

Vamos usar essas informações
para criar uma coisa nova e interativa.

Isto é o que criámos.

Parece uma imagem normal,

mas isto não é uma imagem, nem é um vídeo

porque agora eu posso agarrar no rato

e posso começar a interagir com o objeto.

O que estão a ver aqui

é uma simulação de como
este objeto responde a novas forças

que nunca tínhamos visto.

Criámos isto a partir de apenas
cinco segundos dum vídeo normal.

(Aplausos)

Isto é de facto uma forma muito poderosa
de olhar para o mundo

porque nos permite prever

como o objetos reagem a novas situações.

Podemos imaginar, por exemplo,
olhar para uma ponte antiga

e pensar o que pode acontecer,

se essa ponte aguentará
o peso do meu carro a atravessá-la.

Isso é uma pergunta que provavelmente
todos querem ver respondida

antes de começar a atravessar essa ponte.

Claro que há limitações para esta técnica,

tal como havia para o microfone visual,

mas verificámos que funciona
em muitas situações

em que não estávamos à espera,

especialmente se obtivermos
vídeos mais longos.

Por exemplo, este é um vídeo que eu gravei

de um arbusto à porta do meu apartamento.

Não fiz nada a este arbusto,

mas gravei um vídeo
com a duração de um minuto.

Uma leve brisa provocou
vibrações suficientes

para eu poder criar esta simulação.

(Aplausos)

Podemos imaginar dar este vídeo
a um realizador de cinema

e ele poder controlar, por exemplo,

a força e a direção do vento numa cena,
depois de ela ter sido gravada.

Ou, neste caso, apontámos
a câmara para uma cortina pendurada.

Não conseguimos ver
qualquer movimento neste vídeo

mas, gravando o vídeo
com a duração de dois minutos,

as correntes de ar naturais nesta sala

criaram movimentos
e vibrações subtis, impercetíveis,

suficientes para sabermos
criar esta simulação.

Ironicamente,

estamos fartos de ter
este tipo de interatividade

no que refere a objetos virtuais,

no que respeita a videojogos
e modelos a 3D,

mas ser capaz de captar estas informações
a partir de objetos reais do mundo real

usando apenas um vídeo simples, normal,

é uma coisa totalmente nova
que tem imenso potencial.

Estas são as pessoas espantosas
que trabalharam comigo nestes projetos.

(Aplausos)

O que vos mostrei hoje é apenas o início.

Só começámos a arranhar a superfície

do que podemos fazer
com este tipo de imagens

porque nos dão uma nova forma

de captar o nosso meio envolvente
com uma tecnologia comum, acessível.

Olhando para o futuro,

vai ser uma coisa excitante para explorar

o que isto nos pode revelar sobre o mundo.

Obrigado.

(Aplausos)