빅데이터, 더 나은 데이터

무인자동차는 단지 시작에 불과합니다. 빅데이터가 만드는 기술과 세상은 어떨까요? 이 흥미로운 과학 강연에서, 케네스 쿠키어는 기계 학습 이후와 인간의 지식 그 이후를 보여줍니다.

미국인들이 가장 좋아하는 파이는?

청중: 사과요.
케네스 쿠키어: 당연히 사과죠.

어떻게 알았을까요?

데이터가 있으니까 알죠.

슈퍼마켓의 매출을 보면 됩니다.

30 센치 크기의
냉동 파이 매출을 보면

사과 파이가 선두입니다.
경쟁이 안 되죠.

대부분의 매출이 사과 파이입니다.

하지만 슈퍼마켓들이 11센치의
작은파이들을 판매하기 시작했고,

그러자 사과 파이는
4번째, 5번째로 추락했죠.

왜요? 무슨 일이 일어난 걸까요?

생각해봅시다.

30센치 파이를 살 때는

가족 전원이 동의를 해야 합니다.

그리고 사과는 모두가 두 번째로
좋아하는 파이였던 겁니다.

(웃음)

하지만 개인이 먹을
11센치 파이를 살 때는

자기가 원하는 것을 살 수 있어요.

자기가 가장 원하는 것을
살 수 있는 것이죠.

자료가 더 많아진 겁니다.

여러분은 적은 양의 데이터였을 때는
볼 수 없는 뭔가를 볼 수 있죠.

여기서의 요점은 더 많은 데이터가 단지

우리가 보는 같은 것에서 더 많은 것만을
보여주는 것이 아니라는 겁니다.

더 많은 데이터는
새로운 걸 볼 수 있게 해주죠.

우리가 더 잘 보게 해주고,
우리가 다른 것을 보게 해주고,

이 경우에는, 미국인들이 가장 좋아하는
파이가 사과가 아니란 걸 알려줍니다.

다들 빅데이터라는 말을
들어보셨을 겁니다.

사실, 그, 빅데이터라는 단어에
식상하셨을거예요.

빅데이터가
구설수에 오르는 건 사실이지만,

굉장히 안타깝게 생각합니다.

왜냐하면 빅데이터는 사회의 발전에 있어서
굉장히 중요한 도구이기 때문입니다.

과거에, 우리는 소량의 자료를 보며

세상을 이해하려 노력하는 게
무엇을 의미하는지 생각했습니다.

지금 우리는 그 어느 때보다도

많은 자료를 가지고 있습니다.

방대한 양의 자료가 있으면

근본적으로 더 적은 자료로는

할 수 없었던 것들을
할 수 있다는 것을 깨달았습니다.

빅데이터는 중요하고,
빅데이터는 새롭습니다.

여러분이 생각해 보시면, 기아와
의료 지원, 전력 공급,

기상변화로그들이 고통받는 문제와 같은
세계적인 난관들을 해쳐나갈 수 있었던

유일한 방법은 데이터를 효과적으로
사용했기 때문이죠.

그러면 빅 데이터가
새롭고 중요한 이유는 뭘까요?

글쎄요, 그 질문에 대답 하기 위해,

과거에는 정보라는 것이 물리적으로
어떤 형태였는지 알아보죠.

1908년에, 크레테 섬에서,

고고학자들이 진흙 접시를
하나 발견했습니다.

기원전2000년의 접시로 추정했으니
4000년 정도 됐겠네요.

그 접시에 뭔가 새겨진 게 있었는데요,

뭘 의미하는 지는 모릅니다.
완전히 미지의 것이지만,

요점은, 4000년 전에는 정보가
이런 형태였다는 사실입니다.

그 사회는 정보를 이런 형태로
저장하고 전파한 것입니다.

아직 사회는 그리
많이 발달하진 않았어요.

우리는 지금도 여전히
디스크에 정보를 저장해요.

하지만 이전의 그 어느때 보다
훨씬 더 많은 양을 저장할 수 있죠.

수색하는 것이 더 쉽고,
복사하는 것도 더 쉽고,

공유하기도 더 쉽고,
처리도 더 쉬워졌습니다.

우리가 이제 할 수 있는 것은

데이터를 처음 수집했을 때는
상상하지 못한 방법으로

이 정보를 다시
사용할 수 있다는 겁니다.

이러한 관점에서,

데이터는 저장된 것에서 흐름으로,

고정되고 변하지 않는 것에서

움직이고 변화하는
유동적인 것으로 바뀌었습니다.

여기에 정보의
유동성이 있는 것입니다.

크레테 섬에서 발견된 접시는

4,000년이나 지났고, 무거웠으며,

정보의 양도 많지 않았고,

이를 바꿀 수도 없었죠.

이와는 대조적으로

미국 국가안보국에서
에드워드 스노든이 빼낸 모든 파일은

손톱만한 메모리 스틱에

다 들어갔고,

빛의 속도로 공유할 수 있었습니다.

더 많은 자료는 계속 늘어갑니다.

오늘날 세계에 데이터가
넘쳐나는 이유 중 하나는

정보를 제공 받은 자료들을
항상, 언제다 모으기 때문이고요,

또 다른 이유는

정보로써 가치는 있지만 자료의 형태로
가공되지 못했던 것을 이제는

자료의 형태로 가공할 수 있게
되었기 때문입니다.

에를 들어,
위치에 대한 질문을 생각해보죠.

마틴 루터를 예로 들어 볼게요.

1500년 경에 마틴 루터의
위치를 파악하려면,

항상 그의 꽁무니를 쫓아다니면서

펜과 잉크병을 들고,
기록을 해야만했죠.

하지만 지금의 모습은 어떤지
생각해 보세요.

여러분들의 위치를 실시간으로
기록하는 스프레드시트나 아니면

최소한 데이터베이스 입력 형태로
통신사 데이터베이스라던가,

어딘가에는 아마 있을 겁니다.
휴대전화를 가지고 있고,

그 전화에 GPS가 있다면,
아니 없다고 하더라도,

여러분의 정보를 기록할 수 있습니다.

즉, 이제 위치는
데이터화가 되었다는 말이죠.

이제 자세를
예로 들어 보겠습니다.

여러분들이 앉아있는 자세요.

이 분의 자세와, 저 분의 자세, 또
저쪽 분의 자세는 모두 다릅니다.

이는 다리 길이와 등, 또 등의 굽어진
정도에 따른 함수와 같거든요.

만약 여러분이 지금 앉아있는 의자에

수많은 센서를 단다고 한다면,

개개인에 맞는 상수들을
다 만들 수 있었을 겁니다.

손가락은 아니지만,
지문과 비슷하겠군요.

이걸로 뭘 할 수 있을까요?

도쿄의 연구자들은 이를 통해

자동차 도난 방지기를
만드는 것을 모색하고 있습니다.

원리는 이렇습니다.
자동차 도둑이 운전석에 앉아서

차를 움직이려고 하지만
자동차가 운전석에 앉은 사람이

인증된 운전자가 아님을 인식하고

엔진을 끄거나 할 겁니다.

그 사람이
비밀번호를 입력하거나 해서

자신이 허가받았다는 것을
알리지 않는 한 말이죠.

좋아요.

유럽에 있는 모든 차량에
이 기술이 적용되었다면 어떨까요?

그러면 무엇을 할 수 있을까요?

데이터를 모아 5초 후의 자동차사고를
예측할 수 있는 조짐을 알아낼 수 있죠.

또 운전자의 피로를 데이터로 만들어서
운전자가 그 상태에 접어들게 되면

차량이 이를 감지하고 자동적으로
내부 알람을 작동시키는 거죠.

운전대가 진동한다던지, 내부에서,
"정신차려! 도로를 봐야지!"하는

경보가 울리게 하는 것처럼요.

우리의 삶을 더 분석할 수 있다면
이런 일들이 가능해집니다.

그렇다면 빅데이터는
어떤 가치를 가지고 있을까요?

자, 생각해 보세요.

더 많은 정보가 있으면
전엔 할 수 없었던 일들을 할 수 있어요.

이런 일이 일어나는 가장 인상적인 분야 중
하나는 바로 기계 학습의 영역입니다.

기계학습은 인공지능의 한 분야인데,

인공지능은
컴퓨터 공학의 일부입니다.

쉽게 말하자면

컴퓨터에게 지시를 내리는 대신에

데이터와 문제를 주고

스스로 알아내게 만드는 겁니다.

그 기원으로 거슬러 올라가보면

이해에 도움이 될 거예요.

1950년경에,

IBM의 컴퓨터 학자인
아서 사무엘은 첵커 게임을 즐겼어요.

그래서, 컴퓨터 프로그램을 짜서

컴퓨터를 상대로 게임을 했죠.

게임을 했더니 이기고,

게임을 했더니 또 이기고,

계속해서 이겼죠.

왜냐하면 컴퓨터는 단지

게임규칙만 알았지만

아서 사무엘은
그 이상을 알았기 때문이죠.

사무엘은 전략이라는 걸
알고 있었던 겁니다.

그래서 그는
보조 프로그램을 개발했어요.

그 프로그램은 안에서 작동하면서
주어진 게임의 형국에서 움직일 때마다

이길 형국과 질 형국으로
나아갈 확률만을 계산했습니다.

그래도 컴퓨터랑 게임을 하면 이기고,

컴퓨터랑 게임을 하면, 또 이기고

컴퓨터랑 게임을 하면,
계속해서 이겼죠.

그러고 나서
아서 사무엘은 컴퓨터가

혼자 게임을 하도록 놔뒀습니다.

스스로 게임을 하면서
더 많은 데이터를 모았죠.

자료가 많아질수록
예측의 정확도는 높아졌습니다.

그리고 난 다음에, 사무엘이 컴퓨터와
다시 게임을 했고, 그는 졌습니다.

그는 게임을 하고, 지고

게임을하고 또 졌습니다.

마침내 자신이 가르친 일에 대해서

본인의 능력을 초과하는
기계를 만들어 낸겁니다.

그리고 이 기계학습의 개념은

여러 곳으로 전파 되죠.

어떻게 무인자동차가
나왔다고 생각하세요?

소프트웨어에 길에 대한
모든 규칙을 모셔놓은 것이 더 나은

사회로 가는 길일까요?

아닙니다. 기억장치가
더 싸기 때문도 아닙니다.

알고리즘이 더 빨라져서도 아니고.
프로세서가 더 나아서도 아닙니다.

이 모든 것들이 중요하긴 하지만
근본적인 이유는 아닙니다.

이유는 우리가 문제의 성격을
바꾸었기 때문입니다.

컴퓨터에게 운전하는 법을 과도하고 자세하게
설명하려했던 것을 다음처럼 바꾸었죠:

"여기 차량에 대한 많은
자료가 있어. 네가 알아서 잘 해봐.

저게 신호등인지도 알아내고,

저 신호등이 초록색이 아니라
빨간색인 것도 직접 알아내야해.

그건 앞으로 가라는 게 아니라
멈추라는 말인 것도 말이야."

기계학습은 인터넷에서
많은 것들의 기반입니다.

그 중에는 검색엔진이나 아마존의
개인화 알고리즘, 컴퓨터 번역,

그리고 음성 인식 시스템들이 있죠.

연구자들은 최근에 암세포
조직 검사를 살펴보고 있습니다.

컴퓨터가 데이터와 생존율로
세포들이 실제로 암세포인지를 판별했죠.

당연히 데이터를 주면
기계학습 알고리즘을 통해

유방암 조직의 검사가 암인지를 예측할
수 있는 12개의 조짐을 판별할 수 있었죠.

문제는 의학 저서에는 단지
9개만이 알려저 있다는 겁니다.

사람은 살펴볼 필요가 없었던 3가지
특성을 기계가 포착한 겁니다.

자, 빅데이터의
어두운 면도 있습니다.

빅데이터는 우리의 삶을
나아지게 만들 겁니다.

하지만 문제점이 있다는 사실도
우리는 알고 있어야 합니다.

첫 번째는

우리가 예측에 의해 처벌을
받을 수도 있다는 개념입니다.

경찰이 영화, "마이너리티 리포트"처럼

자신들의 목적을 위해 빅데이터를
사용할 수도 있다는 겁니다.

이를 예측 치안,
또는 논리 범죄학 이라고 합니다.

과거에 범죄가 일어난 지역에
데이터를 많이 모은다면

어디로 순찰을 보내야할 지
알 수 있다는 겁니다.

맞는 말이죠. 하지만 문제는,

단순히
위치 자료에만 머무는 것이 아니라

개인 수준에까지 이를 것이라는 겁니다.

개인의 고등학교 성적표에 대한 자료를
사용하는 건 어떨까요?

사람들의 고용 상태나, 신용점수,
인터넷 이용 행적, 또는

밤에 자지않고 깨어있는 지의
상태 등을 써야할 지도 모르죠.

Fitbit이 신체 생리를 알 수 있다면

사람들이 공격적인 생각을
하고 있는지 보여줄 겁니다.

우리가 취할 행동을 예상하는 알고리즘을

가질 수도 있을 것이고,

행동을 취하기도 전에 그것에 대해
책임을 져야할 지도 모릅니다.

자료가 적을 당시에는
사생활 보호가 쟁점이었습니다.

빅데이터 시대에는

자유의지, 도덕적 선택, 인간의 의지,
또 선택을 보호하는 게 쟁점이 됩니다.

또 다른 문제가 있어요.

빅데이터 때문에
일자리는 줄어들 겁니다.

빅데이터와 알고리즘은

21세기의 전문 지식분야의 일에
종사하고 있는

화이트 칼라에
도전장을 내밀 것입니다.

20세기에
공장 자동화와 생산 라인이

블루 칼라 노동자들에게
도전한 것처럼 말이죠.

현미경으로 암 조직검사를 살펴보고 암인지를
판별하는 실험실의 연구자를 떠올려보세요.

대학도 나왔고, 부동산도 사고,
투표도 하고, 또 사회의 구성원이죠.

그 직업군 뿐만 아니라, 비슷한
직종에 있는 모든 사람들은,

자신들의 직업이 엄청나게 변하거나,
완전히 사라지는 것을 보게 될 겁니다.

우리는 단기의 손실 후, 장기간에 걸쳐
기술은 일자리를 만든다고 알고 있죠.

그리고 우리가 겪은 산업혁명기간 동안이
이랬기에 맞다고 생각이라고 할 수 있죠.

하지만 그 분석에서,
우리가 잊은 게 있습니다.

어떤 직업들은 없어지고나서
다시 생기진 않았습니다.

여러분이 말이었다면

산업혁명은 결코
좋은 게 아니었을 겁니다.

우리는 주의를 많이 기울여야 하고,

빅데이터를 우리 인간의 필요에 맞게
조정해야 할 것입니다.

우리는 이 기술의 노예가 아니라
주인이 되어야만 합니다.

빅데이터 시대는 이제 막 시작됐고,
솔직히 우리는 현재의 자료를 다루는 것도

제대로 못하고 있습니다.

국가안보국만의 문제가 아닙니다.

기업들도 많은 자료를 모아서
오용하고 있습니다.

이를 더 잘해야 하는데
시간이 좀 걸리긴 할 겁니다.

원시인이 불을 처음 봤을 때의
어려움과 비슷하다고 할 수 있겠네요.

빅데이터는 도구이지만

조심하지 않으면
데일 위험이 있는 도구입니다.

빅데이터는 우리가 살고, 일하고,

생각하는 방식을 바꿔놓을 겁니다.

빅데이터는 우리의 경력 관리에
도움을 주고, 만족스럽고 희망찬,

그리고 행복하고 건강한 삶으로
우리를 이끌어 줄 겁니다.

하지만 과거에 우리는
정보 기술을 종종 떠올렸습니다.

우리의 눈은 기술과 제품에만
눈을 뒀습니다.

물질적인 것이니까요.

이제는 정보로 눈을 돌려야 할 때죠.
덜 가시적이지만

어떤 의미에서는 더욱 중요한 것이죠.

세상과 그 안에서의
우리의 위치를 이해하는

무한한 탐험의 일부로써

인류는 마침내 우리가
수집할 수 있는 정보로부터

많은 것을 배울 수 있습니다.

그리고 이게 빅데이터가
중요한 관건인 이유입니다.

(박수)