지난 수 세기동안 현미경은 우리 삶에 혁명과도 같은 변화를 가져왔습니다.
현미경은 사물, 생명체, 구조물의 미시적 세계를 우리에게 보여줬습니다.
너무 작아서 맨눈으로는 관찰이 불가능했던 것들을 말이죠.
현미경은 과학과 기술에 위대한 공헌을 하였습니다.
오늘 저는 새로운 형태의 현미경을 소개하고자 합니다.
변화된 현미경을 말이죠.
이 현미경은 일반 현미경과 같은 광학렌즈를 쓰지 않습니다.
광학렌즈는 작은 대상을 확대해 주지만
이 현미경은 대신 비디오 카메라와 영상 처리를 이용해서
사물이나 사람의 매우 미세한 움직임이나 색의 변화를 보여줍니다.
너무나 미세해서 맨눈으로는 관찰이 어려운 그러한 변화들 말이죠.
덕분에 우리는 완전히 다른 눈으로 세상을 보게 됩니다.
색의 변화란 어떤 의미일까요?
일례로, 피부는 혈액의 흐름에 따라
매우 미세한 색의 변화를 보입니다.
하지만 너무 미세한 변화여서
우리가 다른 사람들이나
옆에 있는 사람을 볼 때
피부색이나 얼굴색의 변화를 느낄 수 없는 것입니다
여기 스티브의 비디오를 보시면 정지된 사진처럼 보이죠.
하지만 새롭고 특별한 현미경으로 보면
갑자기 완전히 다른 이미지를 보게 됩니다
여러분이 지금 보시는 것은 스티브의 얼굴색 변화인데
100배로 확대했기 때문에 비로소 볼 수 있는 것입니다.
또 실제로 사람의 맥박이 뛰는 것을 볼 수 있습니다.
스티브의 심장박동 속도 뿐 아니라
그의 얼굴에 혈액이 흐르는 양상까지 볼 수 있습니다.
단순히 맥박을 시각화 하는 것이 아니라
실제로 심장박동을 복원하고
심장박동을 측정할 수 있습니다.
일반 카메라로 환자에 접촉하지 않고도 측정할 수 있습니다.
여기 보시면, 신생아에게서 얻은 맥박과 심장박동수를 알 수 있습니다.
일반 DSLR 카메라로 찍은 비디오를 통해서 말이죠.
우리가 얻은 심박동 수치는
병원의 표준 모니터에서 얻는 수치만큼 정확합니다.
심지어 우리가 직접 촬영한 영상이 아닌
다른 영상으로도 근본적으로 가능합니다.
그래서 영화 '배트맨 비긴즈'의 한 장면을 가져왔습니다.
크리스찬 베일의 맥박을 보여드리려구요.
(웃음)
아마도 분장을 한 상태일 것입니다.
여기 조명이 좋은 편은 아니지만
그래도 영상에서 배우의 맥박을 추출할 수 있습니다.
심지어 상당히 잘 보입니다.
그렇다면 어떻게 이게 가능할까요?
저희는 기본적으로 영상에서 기록되어 있는 빛의 변화를 분석합니다.
동영상의 모든 픽셀에서 말이죠.
그런 뒤 이런 변화들을 증폭시킵니다.
우리 눈에 보일 만큼 확대하는 것이죠.
이 과정에서 까다로운 부분은
우리가 찾는 이런 변화들이 극도로 미세하다는 점입니다.
따라서 영상에 있는 노이즈에서 변화를 분리할 때
매우 주의를 기울여야만 했습니다.
그래서 우리는 고도의 영상 처리 기술을 이용하여
영상에 있는 각 픽셀의 정확한 색상 측정값을 알아낸 후
시간에 따라 색상이 변화하는 양상을 정확히 측정해 냅니다.
그리고 그 변화를 증폭시키죠.
그렇게 해서 이러한 향상된 영상, 증폭된 영상을 만들어 내는 것입니다.
이런 변화를 실제로 보여줍니다.
색상의 작은 변화만 보여주지 않고
미세한 움직임도 보여줍니다.
왜냐하면 우리 카메라에 기록되는 빛이
대상의 색이 변할 때만 변하지 않고
그 움직임에도 반응하기 때문입니다.
제 딸이 생후 2개월일 때입니다.
3년 전에 제가 찍은 것인데요.
처음 부모가 되면 아이가 건강한지 확인하고 싶어합니다.
아이가 숨은 잘 쉬는지, 또 살아 있는지도 말이죠.
그래서 저도 아기 모니터를 설치해서
아이가 잘 때도 볼 수가 있었죠.
그리고 이것이 보통의 아기 모니터에서 보이는 모습입니다.
아이가 자는 것 외에 다른 정보는 딱히 없습니다.
관찰할 것이 별로 없죠.
더 유익하고 유용한 정보가 있다면 더 좋지 않을까요?
예를 들면 이렇게 해볼 수 있겠죠.
아이의 움직임을 촬영하고 삼십 배로 확대해보았습니다.
그제서야 제 딸이 진짜로 살아서 숨쉬고 있다는 걸 분명히 알겠더군요.
(웃음)
둘을 나란히 놓고 비교해 봅시다.
다시 보시면 원래의 비디오에서는
보이는 것이 별로 없죠.
하지만 움직임을 확대해보면 숨쉬는 모습이 확실해집니다.
이로써 새로운 모션 현미경을 통해
많은 현상들을 밝혀내고 확대할 수 있다는 것이 밝혀졌습니다.
몸 속의 정맥과 동맥이 고동치는 모습도 볼 수 있고
눈동자가 흔들흔들 하면서
끊임없이 움직이는 것도 볼 수 있죠.
이건 사실은 제 눈인데요.
제 딸이 태어난 직후에 찍어서
잠을 충분이 자지 못해서 이렇습니다. (웃음)
심지어 사람이 가만히 앉아 있을 때 조차
많은 정보를 얻어 낼 수 있습니다.
호흡패턴이나 작은 얼굴 표정에서 말이죠.
어쩌면 이러한 움직임을 통해
사람의 생각이나 감정을 읽어 낼 수도 있습니다.
또 기계의 미세한 움직임도 확대할 수 있을 겁니다.
엔진의 진동처럼 말이죠.
기술자들이 기계 문제를 발견하고 진단하는데 도움이 될 겁니다.
건물과 구조물이 어떻게 바람에 흔들리고 힘에 반응하는지 알 수 있죠.
이것들은 이미 우리 사회가 다양한 방법으로 측정할 수 있는 것들입니다.
하지만 이런 움직임을 측정하는 것과
무슨 일이 일어나는지 실제로 보는 것은
완전히 다른 것입니다.
그리고 이 신기술을 발견한 이래로
온라인 상에 다른 이들도 이용하고 실험해 볼 수 있도록 공개했습니다.
사용 방법은 매우 간단합니다.
가지고 계신 영상에도 적용 가능합니다.
'콴타 리서치'의 공동 연구진은 심지어 웹사이트를 제작했는데
여기에 영상을 올려 온라인으로 처리할 수 있습니다.
그렇기 때문에 컴퓨터 공학이나 프로그래밍에 경험이 없을지라도
손쉽게 이 새로운 현미경을 시험해 볼 수 있습니다.
다른 사람들의 활용 사례를
몇 가지 보여드리겠습니다.
Tamez85라는 유튜버의 영상인데요.
누군지는 모르겠지만
이분이 우리 코드를 이용해서
임신 중인 복부의 작은 움직임을 확대했습니다.
조금 징그럽네요.
(웃음)
어떤 이들은 손에 있는 핏줄의 박동을 확대해 보기도 했습니다.
그리고 기니피그가 등장하지 않는다면 진정한 과학이라고 할 수 없죠.
이 기니피그는 티파니라고 하는데
어떤 유튜버는 녀석이 모션확대경에 찍힌
지구 최초의 설치류라고 하더군요.
이걸로 예술을 할 수도 있습니다.
한 예일대 디자인과 학생이 저에게 보내준 영상입니다.
이 학생은 친구들이 움직이는 방식에
차이가 있는지 보고 싶었답니다.
그래서 모두를 부동자세로 서게 한 뒤 그들의 움직임을 확대했습니다.
마치 사진에서 생명이 꽃피는 걸 보는 느낌이죠.
그리고 여기서 진정 의미있는 부분은
저희는 아무것도 하지 않았다는 겁니다.
저희는 단지 세상을 보는 새로운 방법, 새로운 도구를 제공했을 뿐이고
흥미롭고, 새롭고, 창의적인 사용법은 사람들이 발견한 겁니다.
하지만 여기서 멈추지 않았습니다.
이 도구로 우리는 세상을 새로운 시각으로 볼 뿐 아니라
우리의 가능성을 재정립하고
카메라 활용의 한계를 뛰어넘었습니다.
저희는 과학자로서 의문을 갖기 시작했습니다.
어떤 종류의 물리적 현상이 작은 움직임을 만들어내는지 말이죠.
우리 카메라로 측정할 수 있는 작은 움직임들 말입니다.
최근엔 소리에 초점을 두고 있습니다.
소리는 다들 아시듯이
기압에 영향을 받아 변화합니다.
기압파가 어떤 물체에 부딪치면 그 안에서 작은 진동이 만들어지는데
이것을 우리가 듣고 녹음하는 겁니다.
그런데 소리도 시각적 움직임을 만들어 낸다는 것이 밝혀졌습니다.
이 움직임은 눈에는 보이지 않습니다.
그러나 적절한 과정을 거친 카메라로는 볼 수 있습니다.
두 가지 예가 있습니다.
제가 엄청난 가창력을 뽐내고 있죠.
(노래)
(웃음)
제가 흥얼거리는 동안 고속촬영한 제 목의 모습입니다.
다시 비디오를 가만히 보아도
보이는 것이 별로 없습니다.
그러나 움직임을 100배 확대하면 모든 움직임과 파문을 볼 수 있습니다.
소리를 만들어내는 목에서 말이죠.
이 신호는 모두 저 비디오 속에 있는 것들입니다.
우리는 가수들이 특정 음에 도달하면
와인잔을 깰 수 있음을 압니다.
여기 음을 하나 틀어보겠습니다.
이 음은 와인잔의 공명주파수 범위 내에 있고,
옆에 있는 확성기에서 흘러나옵니다.
음을 틀고 잔의 움직임을 250배로 확대해 보면
잔이 소리에 맞춰서 진동하고 공명하는 모습을
분명하게 볼 수 있습니다.
우리가 일상생활에서 흔히 보는 광경은 아니지만
말도 안되는 생각을 하나 떠올리게 해주었습니다.
이 과정을 역으로 적용해서 비디오에서 소리를 도출해 낼 수 있지 않을까?
음파가 물체에서 만들어내는 미세한 진동을 분석해서
이 진동을 원래의 소리로 전환 시킬수 있지 않을까?
이렇게 하면 일상적인 물건들을 마이크로 바꿀 수 있습니다.
그래서 정말 그렇게 해봤죠.
자, 여기 탁자 위에 빈 과자봉지가 하나 있습니다.
이걸 마이크로 바꿔볼게요.
비디오카메라로 촬영을 해서
음파가 만들어 낸 미세한 움직임을 분석할 겁니다.
이게 바로 저희가 실험 공간에 틀었던 소리입니다.
(음악: "Mary Had a Little Lamb")
그리고 이건 저 과자봉지를 고속촬영한 영상입니다.
다시 돌려봐도
그냥 보기만 해서는 저 비디오에서 무슨 일이 일어나는지
절대 알 수가 없죠.
그렇지만 여기 이 소리가 바로 저 비디오의 미세한 움직임을
분석해서 복구한 것입니다.
(음악: "Mary Had a Little Lamb")
저는 이것을.... 감사합니다.
(박수)
저는 이것을 시각 마이크라고 부릅니다.
실제로 비디오 신호로부터 오디오 신호를 추출하는 것입니다.
여기서 움직임의 규모에 대한 감을 잡게 도와 드리자면
꽤 큰 소리여야 저 과자봉지를 겨우 1마이크로미터 움직일 수 있습니다.
1mm의 1000분의 1이죠.
이렇게 작은 움직임들은 이제 우리가 추출할 수 있게 되었습니다.
어떻게 빛이 물체에 반사가 되어
카메라에 기록되는지를 통해서요.
다른 대상, 예를 들면 식물로부터 소리를 복원할 수 있습니다.
(음악: "Mary Had a Little Lamb")
심지어 말소리도 복원할 수 있죠.
한 사람이 방에서 말을 하고 있습니다.
(목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)
(매리가 어디를 가든지, 그 양은 늘 함께 였죠)
이건 저희가 복원한 말소리 입니다.
아까 과자봉지 영상에서처럼요.
(목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)
(매리가 어디를 가든지, 그 양은 늘 함께 였죠)
굳이 이 노래를 고른 이유는
1877년에 토마스 에디슨이
자신의 축음기에 녹음한 첫마디가 바로 이것이었기 때문입니다.
축음기는 역사상 첫 음성 기록장치 였습니다.
축음기는 기본적으로 소리가 진동판으로 가서
은박지에 소리를 새겨 넣도록 바늘을 진동시키는 구조입니다.
이 은박지는 실린더에 감겨 있었죠.
에디슨의 축음기로 녹음하고 재생하는 모습입니다.
(비디오) 목소리: 테스팅, 테스팅, 하나 둘 셋.
(매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,)
(매리가 어디를 가든지, 그 양은 늘 함께 였죠.)
(테스팅, 테스팅, 하나 둘 셋.)
매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,
매리가 어디를 가든지, 그 양은 늘 함께 였죠.
그리고 137년이 지난 지금
우리는 매우 유사한 음질의 소리를 들을 수 있습니다.
카메라를 통해 진동하는 물체를 보면서 말이죠.
그것도 심지어 카메라가
물체에서 4.6m나 멀리, 방음유리 너머에 있어도 가능합니다.
이것이 바로 그러한 조건에서 복원한 소리입니다.
목소리: 매리는 털이 눈송이 만큼 하얀 어린 양이 한마리 있었는데,
매리가 어디를 가든지, 그 양은 늘 함께 였죠.
처음 떠오르는 활용방법은 물론 도청이겠죠?
(웃음)
하지만 다른 식으로도 아주 유용하게 쓰일 수도 있습니다.
어쩌면 미래에는 이 기술을 이용해서
우주 너머의 소리를 복원할 수도 있을겁니다.
왜냐하면 소리는 우주를 여행하지 못하지만 빛은 할 수 있으니까요.
이 신기술의 활용 가능성에 대한 연구는
아직 시작에 불과합니다.
우리가 지금까지 알고 있었지만 눈으로 확인할 수 없었던
물리적 과정들을 직접 볼 수 있게 되었습니다.
우리 연구팀원들입니다.
오늘 제가 보여드린 것은 모두 여기 보고계신
훌륭한 연구진들이 협력한 결과입니다.
저희 웹사이트에 와보시면 좋겠습니다.
오셔서 직접 체험해 보시고
미세한 움직임 세계를 함께 탐험해 보세요.
감사합니다.
(박수)