Veja movimentos invisíveis, escute sons silenciosos. Legal? Estranho? Não sabemos

Conheça o "microscópio de movimento", uma ferramenta de processamento que aumenta mudanças minúsculas no movimento e cor que são impossíveis de ver a olho nu. O pesquisador de vídeo Michael Rubinstein mostra vídeos incríveis detalhando como essa tecnologia pode detectar o pulso e batida do coração de um indivíduo apenas com um pedaço de um vídeo. Veja-o recriar uma conversa pela amplificação dos movimentos de ondas sonoras se refletindo em um saco de batatas fritas. Só mesmo vendo para acreditar nas aplicações fantásticas e sinistras desta tecnologia.

Ao longo dos últimos séculos,
microscópios revolucionaram nosso mundo.

Eles nos revelaram um mundo minúsculo
de objetos, vida e estruturas

que são pequenos demais
para vermos a olho nu.

Eles são uma enorme contribuição
para a ciência e tecnologia.

Hoje eu gostaria de apresentá-los
à um novo tipo de microscópio,

um microscópio que amplifica mudanças.

Ele não usa ótica,
como um microscópio comum,

para aumentar pequenos objetos,

mas em vez disso, usa uma câmera de vídeo
e processamento de imagem

para nos revelar os movimentos ínfimos
e mudanças de cor em objetos e pessoas,

mudanças que são impossíveis
de serem vistas a olhos nus.

E isso permite-nos olhar o nosso mundo
de uma forma totalmente nova.

Então, o que quero dizer
com alterações de cor?

Nossa pele, por exemplo,
muda de cor muito ligeiramente

quando o sangue flui sob ela.

Essa mudança é incrivelmente sutil,

por isso quando você vê outras pessoas,

quando olha para a pessoa
sentada ao seu lado,

você não vê sua pele
ou seu rosto mudando de cor.

Quando vemos este vídeo do Steve aqui,
a aparência é de uma imagem estática,

mas quando vemos o vídeo através
do nosso novo e especial microscópio,

de repente, vemos uma imagem
completamente distinta.

O que veem aqui são pequenas mudanças
na cor da pele do Steve,

ampliadas 100 vezes,
de modo que se tornam visíveis.

Na verdade, podemos ver um pulso humano.

Podemos ver o quão rápido
o coração de Steve está batendo,

mas também podemos ver a forma real
com que o sangue flui em seu rosto.

E podemos fazer isso não só
para visualizar o pulso,

mas também para efetivamente
extrair e medir a frequência cardíaca,

E podemos fazer isso com câmeras comuns
e sem tocar nos pacientes.

Aqui vemos o pulso e frequência cardíaca
que extraímos de um bebê recém-nascido

a partir um vídeo feito
com uma câmera DSLR comum,

e a frequência cardíaca que obtemos

é tão precisa quanto aquela
de um monitor padrão de hospital.

E nem precisa ser um vídeo que gravamos.

Podemos essencialmente fazê-lo
com outros vídeos também.

Então, peguei um pequeno clipe
de "Batman Begins" aqui,

só para mostrar o pulso de Christian Bale.

(Risos)

E presumivelmente,
ele está usando maquiagem,

iluminação aqui
é um pouco desafiadora,

mesmo assim, a partir do vídeo,
podemos extrair seu pulso

e mostrá-lo muito bem.

Então, como fazemos isso?

Basicamente analisamos
as mudanças na luz que é gravada

em cada pixel do vídeo, ao longo do tempo,

e depois aumentamos essas mudanças.

Tornamos elas maiores
para que possamos vê-las.

A parte complicada é que esses sinais,

essas mudanças que queremos ver,
são extremamente sutis,

por isso temos que ter muito cuidado
ao separá-las do ruído

que sempre existe em vídeos.

Então, usamos algumas técnicas
inteligentes de processamento de imagem

para obter uma medida muito precisa
da cor de cada pixel no vídeo,

e em seguida, a forma
como a cor muda ao longo do tempo,

e então amplificamos essas mudanças.

Tornamo-as maiores para criar esses tipos
de vídeos melhorados, ou ampliados,

que realmente nos mostram essas mudanças.

Acontece que podemos fazer isso não apenas
para mostrar pequenas mudanças de cor,

mas também pequenos movimentos,

e isso é porque a luz
que fica gravada em nossas câmeras

muda não somente com a cor do objeto,

mas também quando o objeto se move.

Então, esta é a minha filha
quando tinha cerca de dois meses de idade.

É um vídeo que gravei
há cerca de três anos atrás.

E como pais iniciantes, todos queremos
que nossos bebês estejam saudáveis,

respirando, e que estejam vivos, é claro.

Então, eu também tinha
um desses monitores de bebê

para ver minha filha
enquanto estava dormindo.

E isso é o que você verá
com um monitor de bebê padrão.

Vocês podem ver o bebê dormindo,
mas não há muita informação aí.

Não há muito que podemos ver.

Não seria melhor,
ou mais informativo, ou mais útil,

se em vez disso pudéssemos
observar a cena assim.

Aqui eu ampliei os movimentos em 30 vezes,

então pude ver claramente que minha filha
estava realmente viva e respirando.

(Risos)

Aqui está uma comparação lado-a-lado.

Novamente, no vídeo de origem,
no vídeo original,

Não há muito que podemos ver,

mas uma vez que aumentamos os movimentos,
a respiração torna-se muito mais visível.

E acontece que,
há muitos fenômenos

que podemos revelar e ampliar
com o nosso novo microscópio de movimento.

Podemos ver como nossas veias e artérias
estão pulsando em nossos corpos.

Podemos ver que nossos olhos
estão em constante movimento

nesse padrão cambaleante.

Isso é na verdade o meu olho,

e esse vídeo foi feito
logo depois que minha filha nasceu,

então vocês podem ver que eu não
estava dormindo muito. (Risos)

Até mesmo quando uma pessoa está parada,

há muita informação
que podemos extrair

dos seus padrões de respiração
e pequenas expressões faciais.

Talvez pudéssemos usar esses movimentos

para nos dizer algo sobre
nossos pensamentos ou emoções.

Também podemos ampliar
pequenos movimentos mecânicos,

como vibrações em motores,

que podem ajudar engenheiros a detectar
e diagnosticar problemas em máquinas,

ou ver como nossos edifícios e estruturas
balançam ao vento e reagem às forças.

Essas são coisas que a nossa sociedade
sabe como medir de várias maneiras,

mas medir esses movimentos é uma coisa,

e ver esses movimentos
enquanto eles acontecem

é algo totalmente diferente.

E desde que descobrimos
essa nova tecnologia,

divulgamos o nosso código online para que
outros pudessem usar e experimentar.

É muito simples de usar.

Pode funcionar em seus próprios vídeos.

Nossos colaboradores na Quantum Research
criaram este belo site

onde vocês podem fazer o upload
de vídeos e processá-los online,

e mesmo que não tenham experiência
em ciência da computação ou programação,

ainda podem facilmente
experimentar esse novo microscópio.

E eu gostaria de mostrar-lhes
alguns exemplos

do que as pessoas fizeram com ele.

Este vídeo foi feito por
um usuário do YouTube chamado Tamez85.

Eu não sei quem é esse usuário,

mas ele, ou ela, usou o nosso código

para ampliar pequenos movimentos
da barriga durante a gravidez.

É meio assustador.

(Risos)

Pessoas ampliaram as veias em suas mãos.

E sabemos que não é ciência de verdade
a menos que se use cobaias,

e, aparentemente, esta cobaia
se chama Tiffany,

e esse usuário do YouTube
diz que ela é o primeiro roedor na Terra

a ter os movimentos ampliados.

Você também pode fazer arte.

Este vídeo me foi enviado por uma
estudante de design em Yale.

Ela queria ver se há alguma diferença

na forma como seus
colegas de classe se movem.

Ela fez com que todos ficassem parados,
então ampliou seus movimentos.

É como ver fotografias ganharem vida.

E a coisa legal nesses exemplos

é que não tivemos nada a ver com eles.

Nós apenas provemos essa nova ferramenta,
uma nova maneira de olhar o mundo,

e então as pessoas acham outras formas
interessantes e criativas de usá-la.

Mas não paramos por aí.

Esta ferramenta não só nos permite
ver o mundo de uma nova maneira,

ela também redefine e expande
os limites do que podemos fazer

com nossas câmeras.

Então, como cientistas,
começamos a nos perguntar,

quais outros tipos de fenômenos físicos
produzem pequenos movimentos

que podemos usar
nossas câmeras para medir?

Um desses fenômenos no qual recentemente
nos concentramos é o som.

O som, como sabemos,
é basicamente mudanças

de pressão se propagam no ar.

Essas ondas de pressão batem em objetos
e criam pequenas vibrações neles,

é assim que ouvimos e gravamos o som.

Mas acontece que o som
também produz movimentos visuais.

Esses movimentos
não são visíveis para nós,

mas são visíveis para uma câmera
com o tratamento correto.

Então, aqui estão dois exemplos.

Esse sou eu demonstrando
minhas grandes habilidades de canto.

(Cantando)

(Risos)

Fiz um vídeo em câmera lenta da minha
garganta enquanto cantava.

Novamente, se vocês olharem para o vídeo,

não há muito que conseguirão ver,

mas ao ampliarmos os movimentos 100 vezes,
vemos todos os movimentos e ondulações

do pescoço que estão envolvidos
na produção do som.

Esse sinal está alí naquele vídeo.

Também sabemos que cantores
podem quebrar uma taça

se atingirem a nota correta.

Aqui, vamos tocar uma nota

que está em ressonância
com a frequência da taça

através de um alto-falante
que está ao lado dela.

Uma vez que tocamos essa nota
e ampliamos os movimentos 250 vezes,

podemos ver muito claramente
como o vidro vibra

e ressoa em resposta ao som.

Não é algo que vemos todos os dias.

Mas isso nos fez pensar.
Isso nos deu uma ideia maluca.

Será que podemos inverter este processo
e recuperar o som a partir do vídeo

através da análise de minúsculas vibrações
que as ondas sonoras criam em objetos,

e, essencialmente, convertê-las
de volta para os sons que as produziram?

Desta forma, podemos transformar
objetos do cotidiano em microfones.

Então, isso é exatamente o que fizemos.

Aqui está um saco de batatas vazio
que estava em uma mesa,

e vamos transformar esse saco
de batatas em um microfone

filmando-o com uma câmera de vídeo

e analisando os mínimos movimentos
que as ondas sonoras criam nele.

Aqui está o som que tocamos no quarto.

(Música: "Mary Had a Little Lamb")

E este é um vídeo em alta velocidade
desse saco de batatas fritas.

A música está tocando.

Não há como vocês verem
nada acontecendo nesse vídeo

somente olhando para ele,

mas aqui está o som que conseguimos
recuperar apenas por meio da análise

dos minúsculos movimentos no vídeo.

(Música: "Mary Had a Little Lamb")

Eu chamo isso de... Obrigado.

(Aplausos)

Eu chamo isso de microfone visual.

Nós realmente extraímos sinais de áudio
a partir de sinais de vídeo.

E só para dar-lhes um sentido
da escala dos movimentos aqui,

um som bem alto fará com que o saco
de batatas se mova menos de um micrômetro.

Isso é um milésimo de um milímetro.

Esses são os movimentos minúsculos
que agora somos capazes de obter

apenas observando como a luz
rebate em objetos

e é gravada por nossas câmeras.

Podemos recuperar sons a partir
de outros objetos, tais como plantas.

(Música: "Mary Had a Little Lamb")

E podemos recuperar falas também.

Então aqui está uma pessoa
falando em um quarto.

Voz (em inglês): Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

Michael Rubinstein: E aqui está
a fala recuperada

a partir desse mesmo vídeo
do batatas fritas.

Voz (em inglês): Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

MR: Usamos "Mary Had a Little Lamb"

porque acredita-se que foram
as primeiras palavras

que Thomas Edison falou
em seu fonógrafo em 1877.

Ele foi um dos primeiros
gravadores de som na história.

Ele basicamente direcionava o som
para um diafragma

que vibrava uma agulha que, basicamente,
gravava o som em papel alumínio

enrolado em torno de um cilindro.

Aqui está uma demonstração de gravação e
reprodução de som no fonógrafo de Edison:

(Video) Voz: Testando,
testando, um, dois, três.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

Testando, testando, um, dois, três.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

MR: E agora, 137 anos depois,

somos capazes de obter som
praticamente com a mesma qualidade

apenas observando objetos
vibrando ao som com câmeras,

e podemos fazer isso mesmo com a câmera

a 4,5 metros de distância do objeto,
e atrás de um vidro à prova de som.

Este é o som que conseguimos
recuperar nesse caso.

Voz: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

MR: E, claro, vigilância é a primeira
aplicação que vem em mente.

(Risos)

Mas isso pode ser realmente útil
para outras coisas também.

Talvez no futuro, sejamos capazes
para usá-lo, por exemplo,

para recuperar som através do espaço,

porque o som não pode viajar
no espaço, mas a luz pode.

Nós apenas começamos a explorar

outros usos possíveis
para esta nova tecnologia.

Ela nos permite ver processos físicos
que sabemos que estão lá

mas que nunca pudemos ver
com nossos próprios olhos até agora.

Esta é a nossa equipe.

Tudo o que eu mostrei hoje
é o resultado de uma colaboração

com este incrível grupo
de pessoas que vocês veem aqui,

e encorajo e convido vocês
a conhecerem nosso site,

experimentá-lo vocês mesmos,

e se juntarem a nós na exploração
desse mundo de pequenos movimentos.

Obrigado.

(Aplausos)