인공지능 시대에 더 중요해진 인간 윤리

인공지능의 시대에 우리는 이미 주관적인 결정에까지 인공지능을 사용하고 있습니다. 하지만 인공지능이 성장하고 발달하는 방식의 복잡함은 이를 통제함은 물론이고 이해하는 것조차 어렵게 합니다. 이 강연에서 기술사회학자 제이넵 투펙치는 지능을 가진 기계가 어떻게 인간과 달리 예상하거나 대비할 수 없는 방식으로 실패할 수 있는지 경고합니다. 그녀는 "우리는 책임을 기계에게 떠넘길 수 없습니다. 인간의 가치와 윤리를 더욱 깊이 반영해야 합니다."라고 주장합니다.

저는 제 첫 번째 직업인
컴퓨터 프로그래머 일을

대학 1학년 때 시작했습니다.

아직 십대였죠.

일을 시작한 지 얼마 안 되어

회사에서 프로그래밍을 하고 있는데

회사의 한 관리자 제 자리로 와서는

저한테 속삭였어요.

"내가 거짓말하면 쟤가 알아챌까요?"

하지만 방에는 둘밖에 없었어요.

"누가 알아챈다는 거죠?
아무도 없는데 왜 속삭이시는 거예요?"

매니저는 방에 있는
컴퓨터를 가리켰어요.

"저놈이 알아챌 수 있을까요?"

그 매니저는 회사 접수계
직원과 바람을 피우고 있었죠.

(웃음)

전 아직 십대였기에

그 사람 귀에 대고 소리쳤죠.

"네, 저 컴퓨터는 당신 부정을
알 수 있을 거예요."

(웃음)

전 웃고 말았지만,
결국 제가 어리석었죠.

요즘 컴퓨터 시스템은

감정 상태나, 심지어 거짓말까지

인간 표정으로 알아낼 수 있거든요.

광고 업체와 정부까지도
이 기술에 관심을 기울이고 있죠.

저는 어릴 때 수학과
과학을 매우 좋아해서

자연스레 프로그래머가 되었습니다.

그런데 언젠가 핵무기를 알게 되었을 때

저는 과학 윤리에 대해
괌심이 많아졌습니다.

고민을 많이 했죠.

하지만 집안 사정 때문에

최대한 빨리 일을 해야 했죠.

그래서 과학기술 분야 중에서

직업을 쉽게 가질 수 있으면서도

복잡한 윤리적 고민을 할 필요가
없는 일을 고르기로 했습니다.

그래서 컴퓨터 관련된 일을 골랐죠.

(웃음)

하하하! 그런데 또
어리석은 생각이었네요.

요즘 컴퓨터 과학자들이
만드는 플랫폼은

십억 명이 매일 접하게 되는
시스템을 통제합니다.

누굴 치게 될지도 모를 차를 개발하고

전쟁에서 사람을 죽일 수 있는

기계나 무기도 설계하고 있죠.

모두 윤리에 관한 거죠.

인공지능의 시대입니다.

컴퓨터는 점점 다양한
의사결정에 사용되고 있고

그 중엔 새로운 것도 있죠.

주관적이고 가치 판단이 필요한

정답이 없는 열린 질문까지도
컴퓨터에게 묻고 있습니다.

이를테면 이런 질문들이죠.

"누굴 채용해야 할까요?"

"어느 친구의 어떤 소식을
업데이트해야 할까요?

"어느 재소자가 재범
가능성이 더 높을까요?"

"어떤 뉴스 기사나 영화를
추천 목록에 넣을까요?"

인간은 컴퓨터를 꽤 오래 사용했지만

이건 좀 다른 문제죠.

역사적 반전입니다.

왜냐하면 그런 주관적인 결정까지
컴퓨터에 의지할 수는 없거든요.

비행기 조종이나 다리를 짓거나
달에 가는 것과 다르죠.

비행기가 안전할 것인가.
다리가 흔들리고 무너질 것인가.

이런 문제는 명확하고
모두가 동의할 만한 기준이 있고

자연법칙에 따라 판단하면 되죠.

하지만 인간 사회의
일을 판단하는 데에는

그런 기준이 존재하지 않습니다.

더욱이 요즘 소프트웨어는
점점 더 강력해지고 있지만

동시에 더욱 불투명해지고
이해하기 힘들어지고 있습니다.

지난 십 년 동안

복합 알고리즘에는
굉장한 진전이 있었죠.

사람 얼굴을 인식할 수 있고

손글씨도 읽어내며

신용카드 사기를 간파하고

스팸을 막고

번역도 할 수 있어요.

영상 의료 사진에서
종양을 식별할 수 있고

인간과 체스나 바둑을 두어
이길 수 있습니다.

이 진전에는 '기계 학습'이라는
기법의 공이 큽니다.

기계 학습은 기존의
프로그래밍과는 다릅니다.

기존에는 컴퓨터에게 명확하고
자세한 지시를 내려야 했죠.

이제는 시스템을 만든 뒤에
대량의 데이터를 입력합니다.

우리의 디지털 시대에 생성된

구조화되지 않은 데이터들까지
포함해서 말이죠.

시스템은 이 데이터를
헤쳐나가면서 학습합니다.

또 중요한 사실이 있는데

이 시스템은 정답을 단정짓는
논리로 작동하지 않습니다.

확정적인 정답을 내기보다는
확률적 결론을 내리죠.

"이게 당신이 찾던 결과일
가능성이 높습니다."라고요.

장점은 이 방식이
정말 강력하다는 겁니다.

구글의 인공지능 시스템
책임자는 이를 두고

'정보의 과잉 효율성'이라고 표현했죠.

단점은

그 시스템이 무엇을 배웠는지
우리는 알 수 없다는 겁니다.

사실 장점이기도 하죠.

컴퓨터에 명령을 내린다기 보다

우리가 이해하거나 통제하지
못하는 강아지 같은 기계를

훈련시키는 거라고 할 수 있죠.

그런데 문제가 있어요.

이 인공지능이 잘못된 것을
학습할 때 문제가 발생하죠.

그리고 잘 학습했어도 문제가 됩니다.

왜냐하면 주관적인 문제에서는
뭐가 뭔지도 모르니까요.

무슨 생각으로 이런 판단을
했는지 알 수가 없는 거죠.

채용 알고리즘을 생각해 보세요.

사람을 가려내는
기계 학습 시스템입니다.

이런 시스템은 이전 직원들 데이터를
바탕으로 훈련되었을 것이고

성과가 좋을 만한 직원들을

미리 찾아서 고용하려고 하겠죠.

괜찮아 보입니다.

저는 인사부와 임원들

회사 고위직들이 한데 모인
그런 채용 시스템 도입을

주제로 한 컨퍼런스에
참석한 적이 있습니다.

그 분들은 정말 들떠 있었죠.

그들은 이 시스템이 편파적이지 않고
객관적인 채용을 가능케 하고

편견을 가진 인간 관리자보다
여성과 소수자에게

더 많은 기회를 주리라 기대했습니다.

사람에 의한 고용은 편향됐죠.

저도 알아요.

프로그래머로서의 제 초기
직장 중 하나에서

제 직속 상사는 가끔
제가 아침 일찍부터

밤 늦게까지 일하던 자리로 와서

"제이넵, 점심 먹으러 갑시다"
라고 말했었어요.

시계를 보고 의아해했죠.

오후 4시에 점심이라니?

전 돈이 없었으니
점심 사 준다니까 항상 갔죠.

나중에 무슨 이유인지 알게 되었어요.

제 직속 상사는
그녀가 고용한 프로그래머가

청바지에 운동화를 신고
일터에 오는 십대 학생이란 걸

말하지 않았던 거죠.

일은 잘 하고 있었지만
입은 옷과 나이와 성별이

'적절치 않았던' 거죠.

그래서 나이와 인종을
가리지 않은 채용은

저에게는 좋아 보입니다.

하지만 이 시스템이 양날의
칼인 이유는 따로 있죠.

현재 이런 시스템은 여러분이
공개하지 않은 개인 정보도

여러분이 남긴 정보 부스러기에서
추론할 수 있기 때문입니다.

여러분의 성적 취향을 추측할 수 있고

성격 특성과

정치 성향까지 추측하죠.

상당히 높은 수준의 적중률로요.

공개하지도 않은 정보를 알아냅니다.

추론한 것이죠.

제 친구 하나가 SNS 자료를 통해

질병이나 산후 우울증 가능성을
예측하는 시스템을 개발했습니다.

결과는 인상적이었습니다.

그녀가 만든 시스템은
증상이 시작되기 몇 달 전에

우울증 발생 가능성을
예측할 수 있었어요.

몇 달 전에요.

증상도 없이 예측한 것이죠.

그녀는 이게 우울증 예방에
사용될 거라 생각했어요. 좋은 일이죠?

하지만 지금 그 기술은
채용 시스템에 적용되었습니다.

저는 인사 담당자들이 모인
아까 그 학회에서

대기업의 고위직 관리자에게
다가가서 이렇게 말했습니다.

"당신이 모르는 사이에 프로그램이

우울증 발병 가능성이 높은 사람들을
가려내고 있다면 어떻게 될까요?

지금은 우울증이 없지만,
미래에 위험 가능성이 있죠.

지금은 임신하지 않았지만

1,2년 내에 출산 휴가를 낼 만한
여성들을 미리 가려내고 있다면요?

직장 문화에 적합하다는 이유로
공격적인 사람만을 고용한다면요?"

이건 남녀 성비만으로는
판단할 수 없어요.

성비는 이미 균형잡혀 있겠죠.

그리고 전통적인 프로그래밍
방식이 아닌 기계 학습이기 때문에

'우울증 위험성 높음'이라는
변수명은 존재하지 않아요.

'임신 가능성 높음'

'남성 공격성 척도'도 없죠.

시스템이 어떤 기준으로
선택하는지 모르는 것은 물론

어디부터 봐야 할지조차 모르는 거죠.

블랙박스입니다.

그 예측 능력을 우리는 알지 못하죠.

그래서 제가 물었죠.

"블랙박스가 뭔가 이상한 짓을 못하도록
어떤 안전 장치를 마련하시겠어요?"

제가 엄청난 사건을 일으킨
것처럼 쳐다보더라고요.

(웃음)

저를 빤히 쳐다보곤 이렇게 말하더군요.

"이것에 대해서는 더 이상
듣고 싶지 않네요."

그리고 돌아서서 가 버렸어요.

그렇다고 무례했던 건 아니에요.

자기가 모르는 건 자기 문제가 아니니
신경쓰게 하지 말라는 경고였죠.

(웃음)

시스템은 인간 관리자와 달리
편견이 없을 수도 있어요.

인사 업무에 돈도 덜 써도 되겠죠.

하지만 이 시스템은
지속적이고 암묵적으로

우울증 위험이 높은 사람들의
고용 기회를 박탈할 수 있습니다.

이해하지도 못하는 기계에게
의사결정을 맡기면서

우리 모르게 기회를 박탈하는 게
바람직한 사회인가요?

또 다른 문제도 있습니다.

이 시스템은 우리 인간의 행동방식이
만들어 낸 정보들로 학습을 합니다.

인간이 남긴 흔적들이죠.

그러면 우리의 편견을
그대로 반영하게 되고

시스템은 그 편견을 익히고 확대시켜
우리에게 결과로 보여주게 됩니다.

우리는 그걸 합리화하죠.

"지금 객관적이고 공정한 계산
결과를 뽑는 중이야~" 라면서요.

연구 결과에 따르면
구글 검색의 경우에는

여성은 남성보다 고소득 구인
광고에 덜 노출된다고 합니다.

그리고 흑인계 이름으로 검색해 보면

범죄 전과를 시사하는 광고가
더 많이 나온다고 해요.

전과가 없는데도 말이죠.

이런 암묵적 편견과
블랙박스 속 알고리즘은

연구자들이 모두 밝혀낼 수 없어
우리도 모르는 사이에

개인의 삶에 영향을 미칠 수 있죠.

위스콘신에서는 어느 피고인이
경찰 수사를 거부한 죄로

6년형을 선고받았습니다.

알고 계실지 모르겠지만

알고리즘이 가석방과 형량 판결에
점점 더 많이 사용되고 있습니다.

그는 대체 그런 결정이
어떻게 나오는지 알고 싶었죠.

그건 상업적인 블랙박스였고

개발사는 알고리즘이 법정에서
심판받는 것을 거부했죠.

하지만 ProPublica라는
비영리 수사 기구가

각종 데이터로 그 알고리즘을 검사했고

밝혀진 사실은 그 알고리즘 예측 성능이
우연과 별다르지 않은 수준이었으며

흑인 피고를 잠재적 범죄자로
낙인찍는 확률이

백인 피고에 비해 두 배나
높다는 것이었습니다.

다른 경우도 살펴 볼까요.

오른쪽 여성은 플로리다 브로워드
카운티의 학교에 다니는

교회 동생을 데리러 갈
약속에 늦는 바람에

친구와 함께 뛰어가고 있었죠.

그러다 어느 집 현관에 있던
자전거와 스쿠터를 발견하고는

어리석게도 그걸 집어 탔어요.

그들이 속도를 내며 달아날 때
한 여자가 뛰어나와 소리쳤죠.

"우리 애 자전거로 뭐 하는 거야!"

그들은 자전거를 버리고 걸어서
달아났지만 체포되었습니다.

그들이 잘못했고, 어리석긴 했어요.
그런데 겨우 열여덟 살이었죠.

그녀는 청소년 범죄
전과가 몇 건 있었죠.

한편, 이 남성은 마트에서 85달러어치
좀도둑질을 하다가 체포되었습니다.

비슷한 범죄죠.

하지만 그에게는 두 번의
무장강도 전과가 있었어요.

그런데 알고리즘은 남자가 아니라
여자를 고위험군으로 분류했죠.

2년 뒤에

ProPublica가 조사해보니
여성은 재범하지 않았습니다.

전과가 있었기에 취직이 어렵긴 했죠.

반면 남자는 재범하였고

그 이후 저지른 범죄로
현재 8년을 복역 중입니다.

우리는 블랙박스를 잘 검수해서

엉뚱한 권한을 갖지 않도록
분명히 해야 합니다.

(박수)

검수는 중요하고 또 유효하지만
모든 문제를 해결하진 못합니다.

페이스북의 강력한 뉴스 피드
알고리즘을 살펴 보죠.

모든 것을 순위대로 나열하고

팔로우하는 모든 친구와 페이지에서
무엇을 보여 줄지를 결정하죠.

아기 사진을 또 봐야 할까요?

(웃음)

아니면 지인의 삐진 듯한 글?

어렵지만 중요한 뉴스 기사?

정답은 없습니다.

알고리즘은 페이스북 활동에
최적화되어 있습니다.

좋아요, 공유, 댓글이죠.

2014년 8월에

백인 경찰관이
범행이 불확실한 상황에서

십대 흑인에게 발포하여 살해한
사건 후, 미주리 주 퍼거슨에서

시위가 일어났습니다.

시위 뉴스는 알고리즘 필터가 없는

트위터 글목록에는 나타났지만

페이스북에는 흔적이 없었습니다.

페이스북 친구 때문인가 생각하고
알고리즘을 해제해 보았습니다.

페이스북은 계속 알고리즘이 추천하는
글을 보여주려고 해서 좀 까다로웠죠.

친구들이 시위 이야기를
하지 않던 게 아니었습니다.

알고리즘이 전달을
막고 있었던 겁니다.

전 이걸 조사하고는
광범위한 문제임을 알았습니다.

퍼거슨 사건은 알고리즘이
선호할 만한 게 아니죠.

좋아요가 적습니다.

댓글 남기기도 껄끄러운데

누가 좋아요를 누르겠어요?

좋아요와 댓글이 적어서

알고리즘이 더 보여주고
싶지 않아했고

결국 우리가 보지 못한 겁니다.

대신 그 주에 페이스북
알고리즘이 선호한 것은

루게릭 병 모금을 위한
아이스 버킷 챌린지였습니다.

얼음물 세례를 맞고 기부를
한다는 취지 자체는 괜찮죠.

하지만 알고리즘이 과하게
좋아할 만한 것이었습니다.

기계가 결정을 내려 버린 거죠.

페이스북이 유일한 소통 창구였다면

중요하지만 까다로운
쟁점이 묻힐 뻔했습니다.

마지막으로, 이 시스템은
인간과는 다른 방식으로

오류를 범할 수 있습니다.

퀴즈 프로그램에서 인간 참가자를
누르고 우승을 차지한

IBM의 인공지능 왓슨을 기억하시나요?

대단한 실력이었죠.

하지만 왓슨이 맞이한
마지막 문제를 보시면

"이 도시 최대 공항 이름은
2차 대전 영웅을,

두 번째로 큰 공항은
2차 대전 전투를 따서 지어졌다.

(Jeopardy 대기 음악)

답은 시카고죠.

인간 참가자는 모두 맞췄습니다.

하지만 왓슨은 '토론토'라고 썼죠.

주제가 미국 도시였는데도 말이죠.

또한 이 뛰어난 시스템은

초등학교 2학년생도
하지 않을 실수를 저질렀죠.

인공지능은 인간의 오류와는
다른 방식으로 오작동할 수 있고

그래서 우리가 예상하거나
대비하기 어렵습니다.

능력에 맞는 직업을 갖지
못한다면 기분 나쁠 거예요.

그런데 그 이유가 프로그램 함수의
과부하 오류 때문이라면

몇 배는 더 기분 나쁘겠죠.

(웃음)

2010년 5월에

월가의 매도 알고리즘의 피드백
반복문 오류로 주가가 폭락했고

36분 만에 1조 달러어치의
가치가 사라진 일이 있었죠.

살상 무기의 경우에 '오류'가
일어나면 어떻게 될지

생각하고 싶지도 않습니다.

인간의 결정에는 결함이 많죠.

의사결정과 보안

법정, 언론, 전쟁에서

모두 실수가 일어나지만
저는 그래야 한다고 생각합니다.

우리는 어려운 문제를
피할 수 없습니다.

기계에게 책임을 떠넘겨서는 안 됩니다.

(박수)

인공지능이 '윤리적 문제의
면죄부'를 주지는 않습니다.

데이터 과학자인 프레드 베넨슨은
이를 두고 '논리 세탁'이라 표현했죠.

정반대 태도가 필요합니다.

알고리즘을 의심하고 조사하고
검수하는 능력을 길러야 합니다.

알고리즘에 대한 회계와 감사
그리고 투명성 제고 방법을

구축해야 합니다.

인간 사회의 가치 판단 문제에
수학과 컴퓨터를 도입한다고 해서

객관적인 일이 되지는 않는다는 걸

받아들여야 합니다.

오히려 인간 문제의 복잡성이
알고리즘을 주관적으로 만들죠.

물론 더 나은 의사결정을 위해서라면
컴퓨터를 이용할 수도 있을 겁니다.

하지만 우리 판단의 도덕적 책임은
우리 스스로가 짊어져야 합니다.

알고리즘은 그 틀 안에서만
이용되어야 할 뿐이고

우리의 도덕적 책임을 다른 쪽에
전가하는 수단이 되어서는 안되죠.

인공지능의 시대에는

인간 가치와 윤리가

더욱더 중요합니다.

감사합니다.

(박수)