자레드 픽클린: 색깔과 불을 가지고 음악을 보는 새로운 방법

디자이너인 자레드 픽클린은 소리가 어떻게 사람들을 느끼게 하는지 알아보기 위해서, 색깔과 심지어 불을 가지고 음악을 볼 수 있도록하는 시각화 방법을 만들었습니다. 한가지 예로, 스케이트를 타는 공원에서 나는 소리를 분석하여 어떻게 소리가 창의성을 개발 하도록 돕는지를 알려줍니다.

제가 열정적으로 하는 것에는

음악, 기술 그리고 뭔가를 만드는 일 같은 것을이 있습니다.

그래서 이런 것들을 조합하다보니

제게 음향 시각화라는 취미를 갖게 만들었습니다.

그리고 가끔은 불을 가지고 놀기도 했죠.

이건 루벤스 튜브인데요.
수년간 제가 만들었던 것들 중에 하나입니다.

오늘 저녁에 제가 한개 가지고 왔습니다.

2.4미터 정도 길이의 쇠로된 관입니다.

윗부분에 수백개의 구멍이 나있고,

그 부분이 스피커라고 할 수 있습니다.

그리고 여기 관들을 이용해서

프로판 가스 탱크와 연결합니다.

자, 이제 불을 붙여서 어떻게 되는지 보죠.

550헤르쯔 주파수로 연주를 했을 때

어떻게 되는지 보시죠.

(주파수)

감사합니다. (박수)

물리 법칙에 박수를 보내는건 좋아요,

근본적으로 지금 여기에 벌어지고 있는 일은

(웃음)

공기를 통과하는 소리에서 나오는 에너지와 가스 분자가

프로판 가스의 연소 성질에 영향을 주어,

시각적으로 물결 형태를 만들고 있습니다.

그리고 보통 주파수라고 부르는 압축과 희박함의 영역이

교차하는 것을 볼 수 있습니다.

그리고 그 높이는 진폭을 보여주고 있습니다.

소리의 주파수를 바꿔보죠,

그리고 불이 어떻게 되는지 봅시다.

(더 높은 주파수)

공명 주파수를 보낼 때마다 정상파가 생기고

불의 모양이 새로운 사인(Sine)곡선을 만들게 됩니다.

여기는 실내니까 이제 끄죠.

감사합니다. (박수)

저는 불꽃 탁자도 가지고 나왔는데요.

루벤스 튜브와 아주 유사하고, 소리의 물리적 성질을

시각화하는데 사용 할 수 있습니다.

예를들어, 고유효과(Eigenmode)와 같은거 말이죠.
불을 붙여 볼께요.

어떻게 되는지 보세요.

와..(웃음)

네.. 탁자가 압력을 받는 동안은

소리가 흔들리지 않고 일정하게 퍼져나가죠.

사실 소리는 여러 방향으로 퍼집니다.

그리고 루벤스 튜브는 그 불꽃파를 선으로 이등분하고,

이 탁자의 불꽃은

불꽃파를 면으로 이등분하는 것과 같습니다.

이것은 미묘한 복잡성을 보여주는데 매우 적합합니다.

그것이 제가 지오프 파리나(Geoff Farina)의
기타 연주를 보려고 이걸 사용하는 이유이기도 합니다.

(음악)

좋습니다, 이건 아주 섬세한 춤이죠.

더 가까이 보시면 - (박수)

가까이 보시면 고유모드를

보실 수 있고, 또한 재즈음악이

불과 함께 들리니 더 좋아 보이기도 합니다.

사실 제 작업에서는 많은 것들이 불과 함께 잘 어우러집니다.

하지만 불은 그냥 일종의 토대가 되는겁니다.

이것은 눈이 들을 수 있다는 것을 잘 보여주고

그리고 제가 여기서 재미를 느끼는 것은

마치 시간을 제거하는 것 같이

소리를 보는데 눈의 장점을 최대한 사용하는 방식으로

소리를 눈에 표현해주는 기술이기 때문입니다.

그래서, 여기에 저는 "Smells Like Teen Spirit"라는 노래를

눈이 하나의 시각적 영상으로 받아들일 수 있는 방식으로

표현하는 알고리즘을 사용해 보았습니다.

이런 기술은

패턴 인식에 사용되는

뇌속 시각 중추의 장점을 잘 보여주고 있습니다.

제가 이 앨범안의 다른 곡을 보여드리고,

또 한곡을 더 보여드리면, 너바나(Nirvana) 밴드가

반복적으로 사용하는 패턴을 쉽게 발견하실 수 있습니다.

그리고 주파수 분포와 색깔에서

유명했던 곡의 소리가

깔끔하고 지저분해졌다가 다시 깔끔해지는
패턴을 볼 수 있습니다,

또한 이 사진은 전체 앨범을
단일 시각화 이미지로 그려본건데요,

제 생각에 이런 이미지는 정말 강렬합니다.

제가 이 네개의 곡들을 보여드리면,

정말 대단한 걸 아실겁니다,

이곡이 조금전에 보여드린
"Smells Like Teen Spirit" 라는걸 기억하세요,

아마도 여러분이 듣지 않고도 어떤 음악이든지

알아 맞힐 수 있습니다, 광적인 너바나의 팬들이

좋아하는 노래가 바로 이 노래라는걸 알게 됩니다.

푸 파이터스(Foo Fighters)의 "I'll Stick Around" 인데요,

이 노래의 리더가 너바나의 드러머였던

데이브 그롤(Dave Grohl) 입니다.

이 노래들은 비슷하죠,

하지만 대부분 제게 관심을 끄는 것은
언젠가는 눈에 비치는 노래의 모습이 좋아서

그 노래를 구매하게 될지도 모른다는 점입니다.

네 좋습니다, 몇개의 다른 소리를 들어보죠.

이 소리는 스케이트 공원에서 추출했는데요,

텍사스 오스틴에 있는

마벨 데이비스(Mabel Davis) 스케이트 공원입니다.
(스케이트 소리)

그리고 여러분께서 듣고 있는 이 소리는 공원 주변에 설치된

8개의 마이크에서 수집된 소리입니다.

이 소리는 소음처럼 들리지만, 사실은

모든 묘기들은 뚜렷한 박수 소리로 시작했다가,

성공적으로 끝날 때는 뭔가 튀는 소리로 끝나죠,

반면에 실패한 묘기는

뭔가 긁거나 떨어지는 소리에 가깝습니다.

그리고 레일위에서 하는 묘기는 징소리가 나구요,

그리고 그케이트장에서 목소리는
매우 독특한 주파수를 만들게 됩니다.

그래서 이 소리들을 시각적으로 그려보면,

이렇게 그려질수 있습니다.

이 화면은 40분간 녹음한 분량인데요,

이 알고리즘은 성공한 스케이트 묘기보다

실패한 묘기가 더 많다는 사실을 말해줍니다.

그리고 레일 위에서 펼친 묘기는

더 많은 환호를 받죠, 그리고 더 자세히 보면,

움직이는 패턴을 찾아 낼 수 있습니다.

스케이터의 묘기는 이 방향으로 자주 하는데요.
장애물이 더 쉽기 때문이죠.

녹음 중간에 마이크가 이부분을 잡아 냈는데요,

나중에 보면, 이 친구가 나타나서는,

공원의 제일 윗부분에 있는 레일을 사용해서

"Tall Rail"이라고 부르는 아주 어려운 묘기를

하기 시작하죠.

그리고 이건 정말 대단한데요. 바로 이순간에,

나머지 모든 스케이터들이 그 친구에게 길을 내주기 위해서

진행 방향에서 90도 꺽어서 돌았다는 거죠.

그거 아세요, 이건 스케이트 공원에서는
중요한 에티켓인데요,

핵심이 되는 스케이터들에 의해서 선행되는 행동들이죠.

그들은 주로 가장 멋진 묘기를 선보이거나 빨간 바지를 입은

어린 아이들인데요, 이날 마이크가 그걸 잡아 낸거죠.

네. 스케이트 물리에서 이론 물리학까지 보게 되네요.

저는 스티븐 호킹(Stephen Hawking) 박사를
굉장히 좋아합니다.

그에 대한 경의를 표하려고 켐브리지 대학의 8시간 강의를

모두 제 실험에 사용하고 싶었습니다.

이 강의에서 호킹 박사는 컴퓨터의 도움으로 말을 하는데요,

컴퓨터 덕분에 문장의 끝을 쉽게 찾을 수 있습니다.

그래서 조정 알고리즘을 작성했습니다.

이 알고리즘에 강의 내용을 입력하고,

각 단어의 진폭을 사용해서 X축으로 점을 이동시킵니다,

그리고 문장의 억양을 사용해서

같은 점을 Y축을 따라 위 아래로 움직입니다.

추세선을 보면, 물리 법칙에 대한 대답 보다는

질문이 더 많습니다,

그리고 문장의 끝에 이르면,

그 지점에 별표를 했습니다.

많은 문장들이 있기 때문에 각각의 별표시도 많습니다.

그리고 그 강의 음성을 그려 보았더니
이런 이미지가 되었습니다.

이것이 바로 스티븐 호킹 박사가 생각하는 우주입니다.

(박수)

이 사진이 하나의 시각화된 이미지로 표시한

케임브리지 대학에서의 8시간짜리 강의내용 입니다.

저는 이 사진을 정말 좋아지만,

많은 사람들이 가짜라고 생각합니다.

그래서 좀더 상호작용이 가능한 것을 만들었는데요,

제가 사용한 방법은, 3차원 공간상에

강의시간중의 시간상 위치에 따라
별표시들을 위치시키는 방법을 사용했습니다.

이를 위해서 몇가지 소프트웨어와
키넥트(Kinect, 동작감지 센서)를 사용했습니다.

그래서 강의 안으로 걸어 들어갈 수도 있습니다.

동작감지 센서를 통해 손을 흔들어보고,

그리고 조종해보고, 가까이 대보기도 하고,

그리고 별표시를 만지면,

별표시를 만들었던

문장을 실행합니다.

스티븐 호킹: 조각이 모여서 완벽한 그림을

만든는 방법은 오직 한 가지밖에 없다.

감사합니다. (박수)

1,400개의 별표시가 있습니다.

이건 강의를 정말 재밌게 청강할 수 있는 방법이고,

그리고 제 작품이 호킹 박사에게 적절히 헌정되면 좋겠네요.

네 좋습니다.
이제 제가 진행중인 작업으로 마무리하겠습니다.

30년 후에는, 청각장애자를 위해 더욱 향상된

자막 시스템이 만들어 질 것이라고 생각합니다.

현재 우리는 많은 테드 강연을 온라인으로 보고 있는데요,

강연 한개의 소리는 끄고,

자막을 보이게 해보겠습니다.

테드 테마곡에는 자막이 없는데요,

빠진것 같아요. 하지만 자주 보게되면,

여러분들은 마음의 귀로 소리를 듣고

시작할 때 박수를 치기 시작합니다.

보통 여기서 시작하고 점점 커지다가 사라지죠.

때로는 작은 박수 갈채를 받고,

그리고 빌 게이츠조차도 긴장된 숨을 몰아 쉬는 것 같아요,

그리고 강연이 시작됩니다.

자 이 동영상을 다시 보시죠.

이번에는 제가 아무 말도 하지 않겠습니다.

계속 음성은 꺼두겠습니다.

제가 하려는 것은 화면 하단에

실시간으로 소리를 시각적으로 그려 보겠습니다.

자세히 보시고 여러분 눈으로 무엇을 듣는지 보세요.

이게 저에게는 꽤 재밌습니다.

첫번째 보셨을 때도 여러분은 패턴을 찾아 내실거고,

반복적으로 보시게 되면,

여러분의 뇌는이 패턴들을

정보로 바꾸는게 더 능숙하게 될 겁니다.

어투, 음색, 그리고

강연의 속도도 아실 수 있습니다.

이런 것들은 자막으로는 볼 수 없는 것들이죠.

누군가가 뒤에서 다가오는,

공포영화의 유명한 장면에서

여러분은 뭔가를 보실 수 있습니다,

그리고 이런 정보는 소리가 없거나

전혀 들을 수 없는 상황에서는 꽤 유용하고,

제가 생각할 때는

청각장애인 청중들이, 들을 수 있는 청중보다

더 잘 볼 수 있다고 생각합니다.

지금은 이론단게이고 아직은 잘 모르겠습니다.

사실 단지 하나의 아이디어 이니까요.

이런 말로 강의를 마치도록하겠습니다.
소리는 사방으로 퍼져나갑니다.

아이디어도 마찬가지입니다.

감사합니다. (박수)