看到不可见的运动，听到沉默的声音。酷？令人毛骨悚然？我们不能决定

看看“运动显微镜”，一个视频处理软件，可以把运动或颜色的微小变化转化为肉眼可见。视频研究员迈克尔·鲁宾斯坦播放了一段令人惊异的视频，视频中展示了这项技术可以从一段视频获取某人的脉搏和心跳。看他通过放大声音在薯片袋上造成的震动，重构出声音。这项技术令人叹为观止的邪恶应用，您有必要眼见为实。

过去的几个世纪，显微镜改变了世界。

它揭示了肉眼难以看到的

物体，生命和结构的微观世界。

它对科技进步做出了巨大的贡献。

今天我要向您介绍一类新型显微镜，

观察变化的显微镜。

它不是通常所说的光学显微镜

可以放大微小物体，

它利用视频摄像机和图像处理

来揭示物体和人的微小的颜色和运动变化，

这些变化是光凭肉眼难以分辨的。

它可以让我们以全新角度看世界。

我所说的颜色变化是什么意思呢？

举例来说，我们的皮肤，当血液流动时

皮肤表面的颜色有微弱变化。

变化十分微小，

小到当你观察坐在

你身边的人的时候，

你不能看到他脸上皮肤的颜色变化。

我们看看史蒂夫的这段视频，看上去好像是静态图片，

但是一旦我们通过我们新的、特别的显微镜看这段视频，

我们会看到完全不同的影像。

您在这里看到的是史蒂夫皮肤颜色微小变化

放大100倍之后的肉眼可见的效果。

我们可以明确的看到人体的脉搏。

我们可以看到史蒂夫心脏跳动得多快，

我们还可以明确地看到血液是如何流经史蒂夫脸部的。

我们不仅可以看到脉搏，

还可以推测心跳速率，

得到我们心跳速率。

我们可以通过常用摄像机，不需碰触病人就可以实现。

这里您可以看到我们提取的新生儿宝宝的脉搏和心跳速率

这是从常规数码单反相机视频中提取的，

我们测出的心率

和医院监测器测出的一样精确。

而且我们的软件甚至不需要我们自己专门拍摄的视频。

我们可以对其他视频作同样处理。

这是我截取《蝙蝠侠：侠影之谜》（Batman Begins）的一小段片断

显示演员克里斯蒂安·贝尔（Christian Bale）的脉搏。

（笑声）

你知道，他应该是化了妆了，

灯光也是挑战，

但是我们同样从这段视频中提取到了他的脉搏

演示效果不错。

我们是如何做到的呢？

首先我们分析了录像中每个像素

的光线随时间发生的变化，

我们放大这些变化。

经过放大使我们肉眼可以看见这些变化。

棘手的部分是，那些信号，

那些我们要放大的信号十分微小，

所以我们必须把它们和视频中存在的噪音

区分出来。

所以我们应用了一些聪明的影像处理技巧

精确的测量每个像素中的颜色，

然后得出颜色随时间的变化，

再然后我们放大这些变化。

我们可以放大这些变化，增强视频、或放大视频，

这样就可以演示出变化。

事实上，我们不仅可以展示颜色的细小变化，

同样也可以展示微小的运动，

这是因为我们的摄像机

不仅记录物体的颜色变化，

同样也记录了物体的运动。

这是我女儿，那时她才两个月大。

这是我三年前拍的。

作为初为人父母，我们要确保孩子的健康，

当然是，确保呼吸，确保活着。

所以我也买了个婴儿监控器

这也我可以在她睡着时看到她。

这是标准婴儿监控器所看到的。

您可以看到孩子睡着了，但没有其他信息了。

我们看不到更多东西。

可不可以更好点儿，有更多信息，更有用，

就像这样。

这里我放大了运动30倍，

这样我就可以真切地看到我女儿还活着，在呼吸。

（笑声）

这是效果对比。

同样，在原始视频上，

我们看不到什么，

但是一旦我放大了运动，呼吸变得肉眼可见了 。

事实上，我们用我们的“运动显微镜”

可以揭示很多现象。

我们可以看到体内静脉和动脉的脉动。

我们可以看到我们的眼睛在不断运动

在晃动中。

这实际上是我的眼睛，

同样，这段视频拍摄于我女儿出生不久之后，

所以你可以看到我睡得不多。（血丝）（笑声）

即使当人在静止坐着，

我们也可以提取许多信息

如呼吸节律，面部表情微小变化。

也许这可以

告诉我们，我们的想法或情绪。

我们同样也可以方法微小的机械运动，

如引擎的震动，

这可以帮助工程师诊断机械问题，

或者看到建筑或结构的随风摇动。

我们知道这些变化可以通过其他方法测量，

但是测量是一回事，

肉眼看到的又是

另一回事。

自从我们开发者这项新技术，

我们便把代码放到了网上，这样其他人可以使用试验它。

用起来很简单。

可以处理你自己拍的视频。

我们的合作伙伴，量研科技(Quanta Research)，甚至建了个网站

这里可以上传视频并在线处理，

这样即使你没有计算机科学或编程经验

也可以试验这种新型“显微镜”。

我要演示几个其他的例子

别人用它做了什么。

这段视频是一个叫Tamez85的YouTube用户作的

我不知道他是谁，

但是他(她)用我们的代码

方法了孕妇腹部的运动。

令人毛骨悚然。

（笑声）

人们用它放在自己的腕部脉搏。

你知道要能被称为科学必须用到豚鼠，

显然这只豚鼠叫蒂芙妮，

这位YouTube用户声称

这是地球上首个运动被放大的啮齿类动物。

你也可以用它进行艺术创作。

这是耶鲁大学设计系学生发给我的视频。

她想看看

她同学运动的方式有何不同。

她让他们静止站立然后放大他们的运动。

者看上去像是图片有了生命。

这些例子的有意思的地方是

我们没有进行干预。

我们只是提供了新工具，一种看世界的新方法，

然后人们就找到其他有意思、新的创造性地方法使用这个工具。

我们不满足于此。

这个工具不仅使我们有了看世界的新方法，

同样它还重新定义了

摄像机的功能限制。

作为科学家，我们开始思考，

其他物理现象造成的微小振动

现在我们可以用摄像机来测量？

其中一种现象就是，声音。

声音，我们知道

声音是一种压力波，依靠空气的压缩变化在空气中传播。

压力波碰到物体，就会引起物体本身的微小震动。

这就是我们听到了录音的原理。

这样，声音也会造成物体的视觉运动。

这些运动，肉眼难于分辨

但是通过处理摄像机却可见。

这里有两个例子。

这里我展示我伟大的歌唱技巧。

（歌唱）

（笑声）

我哼唱时，我录了一段高速视频。

如果您盯着视频看的话，

仅凭肉眼您是看不出什么端倪的，

但是当我把运动方法100倍后我们就可以看到颈部的运动和波纹

这是由于声音震动造成的。

信号就藏在这段视频中。

我们知道，歌唱家可以震碎酒杯

如果他们发出正确的音符。

我们播放一个音符

玻璃杯旁边音箱发出

的共振频率。

我们播放音符，然后方法运动250倍，

我们可以清楚的看到

玻璃杯是如何响应声音共振的振动的。

这是我们日常见不到的。

但是这激发了我们思考。给我们一个疯狂的主意。

我们能不能通过分析声音在物体上造成的微小振动

从视频中逆向重构出声音来呢，

重构出原来的声音呢？

依靠这种方法，我们可以把任何物体变成麦克风。

我们真的照做了。

这是一个空薯片袋，放在桌上，

我们要把这个薯片袋变为一个麦克风

用摄像机拍摄视频

然后分析视频中声音造成的微小振动。

这是我们在房间中播放的声音。

（音乐：“Mary Had a Little Lamb”）

这是我们摄制的薯片袋的高速视频。

同样，

您凭肉眼

是看不出来什么的，

但是我们可以通过分析视频中微小的振动

恢复出原有的声音。

（音乐：“Mary Had a Little Lamb”）

我叫它 —— 谢谢。

（掌声）

我叫它视觉麦克风。

实际上我们从视频信号中提取了音频信号。

为了让您了解运动的大小，

一个特别大的声音可以导致薯片袋一微米的变化。

也就是千分之一毫米。

这就是我们能够提取出来的微小运动

仅仅是通过摄像机录制的视频

观察光线在物体上的变化。

我们可以从物体上重构出原声音，如植物。

（音乐：“Mary Had a Little Lamb”）

我们也可以重构出讲话。

这是一个人在房间中讲话。

（声音：Mary had a little lamb
whose fleece was white as snow,）

and everywhere that Mary went,
that lamb was sure to go.

迈克尔·鲁宾斯坦：这是一个讲话

这段视频同样是由那个薯片袋重构出声音。

声音：Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

迈克尔·鲁宾斯坦：我们用儿歌“Mary Had a Little Lamb”

因为托马斯 爱迪生在1877年

第一次录制在留声机上的也是这首儿歌。

这是历史上第一个录音设备。

原理是把声音录在薄膜上

声音通过振动的针头刻录在锡箔上

锡箔被包裹在圆柱体上。

这是演示爱迪生留声机的录制和回放。

（视频）声音：Testing,
testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

Testing, testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

迈克尔·鲁宾斯坦：137年过去了，

我们可以重构出同样质量的声音

却是通过观察摄像机拍摄的物体振动实现的，

我们甚至可以把摄像机

放到15英尺外隔音玻璃后边。

这是我们在这种情况下还原的声音。

声音：Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

迈克尔·鲁宾斯坦：当然，监控是我们想到的第一个应用。

（笑声）

但是它应该还有其他用处。

可能，未来我们可以用它

太空中还原声音，

因为声音不可以在太空中传播，但光可以。

我们仅仅是刚刚开始探索

这项新技术的可能用途。

这让我们熟知的物理过程

变得肉眼可见了。

这是我们的团队。

今天我展示的一切

都是这群伟大的人的协作成果。

我鼓励您，欢迎您访问我们的网站，

亲身体验，

加入我们，一同探索微小振动的世界。

谢谢。

（掌声）