0:00:00.739,0:00:04.861
저는 제 첫 번째 직업인[br]컴퓨터 프로그래머 일을

0:00:04.885,0:00:06.841
대학 1학년 때 시작했습니다.

0:00:06.865,0:00:08.372
아직 십대였죠.

0:00:08.889,0:00:10.621
일을 시작한 지 얼마 안 되어

0:00:10.645,0:00:12.255
회사에서 프로그래밍을 하고 있는데

0:00:12.799,0:00:16.434
회사의 한 관리자 제 자리로 와서는

0:00:16.458,0:00:17.726
저한테 속삭였어요.

0:00:18.229,0:00:21.090
"내가 거짓말하면 쟤가 알아챌까요?"

0:00:21.806,0:00:23.883
하지만 방에는 둘밖에 없었어요.

0:00:25.032,0:00:29.421
"누가 알아챈다는 거죠? [br]아무도 없는데 왜 속삭이시는 거예요?"

0:00:30.266,0:00:33.373
매니저는 방에 있는[br]컴퓨터를 가리켰어요.

0:00:33.397,0:00:36.493
"저놈이 알아챌 수 있을까요?"

0:00:37.613,0:00:41.975
그 매니저는 회사 접수계 [br]직원과 바람을 피우고 있었죠.

0:00:41.999,0:00:43.111
(웃음)

0:00:43.135,0:00:44.901
전 아직 십대였기에

0:00:45.447,0:00:47.466
그 사람 귀에 대고 소리쳤죠.

0:00:47.490,0:00:51.114
"네, 저 컴퓨터는 당신 부정을[br]알 수 있을 거예요."

0:00:51.138,0:00:52.944
(웃음)

0:00:52.968,0:00:55.891
전 웃고 말았지만, [br]결국 제가 어리석었죠.

0:00:55.915,0:00:59.183
요즘 컴퓨터 시스템은

0:00:59.207,0:01:02.755
감정 상태나, 심지어 거짓말까지

0:01:02.779,0:01:04.823
인간 표정으로 알아낼 수 있거든요.

0:01:05.248,0:01:09.401
광고 업체와 정부까지도 [br]이 기술에 관심을 기울이고 있죠.

0:01:10.319,0:01:12.671
저는 어릴 때 수학과 [br]과학을 매우 좋아해서

0:01:12.671,0:01:15.318
자연스레 프로그래머가 되었습니다.

0:01:15.942,0:01:19.050
그런데 언젠가 핵무기를 알게 되었을 때

0:01:19.074,0:01:22.026
저는 과학 윤리에 대해[br]괌심이 많아졌습니다.

0:01:22.050,0:01:23.254
고민을 많이 했죠.

0:01:23.278,0:01:25.919
하지만 집안 사정 때문에

0:01:25.943,0:01:29.241
최대한 빨리 일을 해야 했죠.

0:01:29.265,0:01:32.564
그래서 과학기술 분야 중에서[br]

0:01:32.588,0:01:34.384
직업을 쉽게 가질 수 있으면서도

0:01:34.408,0:01:38.426
복잡한 윤리적 고민을 할 필요가 [br]없는 일을 고르기로 했습니다.

0:01:39.022,0:01:40.551
그래서 컴퓨터 관련된 일을 골랐죠.

0:01:40.575,0:01:41.679
(웃음)

0:01:41.703,0:01:45.113
하하하! 그런데 또[br]어리석은 생각이었네요.

0:01:45.137,0:01:47.891
요즘 컴퓨터 과학자들이[br]만드는 플랫폼은

0:01:47.915,0:01:52.124
십억 명이 매일 접하게 되는[br]시스템을 통제합니다.

0:01:53.052,0:01:56.874
누굴 치게 될지도 모를 차를 개발하고

0:01:57.707,0:02:00.920
전쟁에서 사람을 죽일 수 있는

0:02:00.944,0:02:03.229
기계나 무기도 설계하고 있죠.

0:02:03.253,0:02:06.024
모두 윤리에 관한 거죠.

0:02:07.183,0:02:09.241
인공지능의 시대입니다.

0:02:09.823,0:02:13.297
컴퓨터는 점점 다양한[br]의사결정에 사용되고 있고

0:02:13.321,0:02:15.207
그 중엔 새로운 것도 있죠.

0:02:15.231,0:02:17.727
주관적이고 가치 판단이 필요한[br]

0:02:17.727,0:02:23.979
정답이 없는 열린 질문까지도[br]컴퓨터에게 묻고 있습니다.

0:02:24.002,0:02:25.760
이를테면 이런 질문들이죠.

0:02:25.784,0:02:27.434
"누굴 채용해야 할까요?"

0:02:28.096,0:02:30.855
"어느 친구의 어떤 소식을[br]업데이트해야 할까요?

0:02:30.879,0:02:33.355
"어느 재소자가 재범 [br]가능성이 더 높을까요?"

0:02:33.514,0:02:36.568
"어떤 뉴스 기사나 영화를[br]추천 목록에 넣을까요?"

0:02:36.592,0:02:39.964
인간은 컴퓨터를 꽤 오래 사용했지만

0:02:39.988,0:02:41.505
이건 좀 다른 문제죠.

0:02:41.529,0:02:43.596
역사적 반전입니다.

0:02:43.620,0:02:48.957
왜냐하면 그런 주관적인 결정까지 [br]컴퓨터에 의지할 수는 없거든요.

0:02:48.981,0:02:55.665
비행기 조종이나 다리를 짓거나[br]달에 가는 것과 다르죠.

0:02:56.449,0:02:59.708
비행기가 안전할 것인가.[br]다리가 흔들리고 무너질 것인가.

0:02:59.732,0:03:04.230
이런 문제는 명확하고[br]모두가 동의할 만한 기준이 있고

0:03:04.254,0:03:06.493
자연법칙에 따라 판단하면 되죠.

0:03:06.517,0:03:09.911
하지만 인간 사회의 [br]일을 판단하는 데에는

0:03:09.935,0:03:13.898
그런 기준이 존재하지 않습니다.

0:03:14.242,0:03:18.159
더욱이 요즘 소프트웨어는[br]점점 더 강력해지고 있지만

0:03:18.183,0:03:21.956
동시에 더욱 불투명해지고[br]이해하기 힘들어지고 있습니다.

0:03:22.542,0:03:24.582
지난 십 년 동안

0:03:24.606,0:03:27.335
복합 알고리즘에는[br]굉장한 진전이 있었죠.

0:03:27.359,0:03:29.349
사람 얼굴을 인식할 수 있고

0:03:29.985,0:03:32.040
손글씨도 읽어내며

0:03:32.436,0:03:34.502
신용카드 사기를 간파하고

0:03:34.526,0:03:35.715
스팸을 막고

0:03:35.739,0:03:37.776
번역도 할 수 있어요.

0:03:37.800,0:03:40.374
영상 의료 사진에서[br]종양을 식별할 수 있고

0:03:40.398,0:03:42.863
인간과 체스나 바둑을 두어[br]이길 수 있습니다.

0:03:43.264,0:03:47.768
이 진전에는 '기계 학습'이라는[br]기법의 공이 큽니다.

0:03:48.175,0:03:51.362
기계 학습은 기존의 [br]프로그래밍과는 다릅니다. [br]

0:03:51.386,0:03:54.971
기존에는 컴퓨터에게 명확하고[br]자세한 지시를 내려야 했죠.

0:03:55.378,0:03:59.560
이제는 시스템을 만든 뒤에[br]대량의 데이터를 입력합니다.

0:03:59.584,0:04:01.320
우리의 디지털 시대에 생성된

0:04:01.320,0:04:03.542
구조화되지 않은 데이터들까지[br]포함해서 말이죠.

0:04:03.566,0:04:06.296
시스템은 이 데이터를[br]헤쳐나가면서 학습합니다.

0:04:06.669,0:04:08.195
또 중요한 사실이 있는데

0:04:08.219,0:04:12.599
이 시스템은 정답을 단정짓는[br]논리로 작동하지 않습니다.

0:04:12.623,0:04:15.582
확정적인 정답을 내기보다는[br]확률적 결론을 내리죠.

0:04:15.606,0:04:19.089
"이게 당신이 찾던 결과일[br]가능성이 높습니다."라고요.

0:04:20.023,0:04:23.093
장점은 이 방식이[br]정말 강력하다는 겁니다.

0:04:23.117,0:04:24.977
구글의 인공지능 시스템[br]책임자는 이를 두고

0:04:24.977,0:04:27.524
'정보의 과잉 효율성'이라고 표현했죠.

0:04:27.791,0:04:29.144
단점은

0:04:29.738,0:04:32.809
그 시스템이 무엇을 배웠는지[br]우리는 알 수 없다는 겁니다.

0:04:32.833,0:04:34.420
사실 장점이기도 하죠.

0:04:34.946,0:04:38.744
컴퓨터에 명령을 내린다기 보다

0:04:39.200,0:04:43.264
우리가 이해하거나 통제하지 [br]못하는 강아지 같은 기계를

0:04:43.288,0:04:45.659
훈련시키는 거라고 할 수 있죠.

0:04:46.362,0:04:47.913
그런데 문제가 있어요.

0:04:48.427,0:04:52.689
이 인공지능이 잘못된 것을[br]학습할 때 문제가 발생하죠.

0:04:52.713,0:04:56.253
그리고 잘 학습했어도 문제가 됩니다.

0:04:56.277,0:04:59.729
왜냐하면 주관적인 문제에서는[br]뭐가 뭔지도 모르니까요.

0:04:59.729,0:05:02.508
무슨 생각으로 이런 판단을 [br]했는지 알 수가 없는 거죠.

0:05:03.493,0:05:07.176
채용 알고리즘을 생각해 보세요.

0:05:08.123,0:05:12.434
사람을 가려내는[br]기계 학습 시스템입니다.

0:05:13.052,0:05:16.631
이런 시스템은 이전 직원들 데이터를[br]바탕으로 훈련되었을 것이고

0:05:16.655,0:05:19.246
성과가 좋을 만한 직원들을

0:05:19.270,0:05:22.308
미리 찾아서 고용하려고 하겠죠.

0:05:22.814,0:05:23.967
괜찮아 보입니다.

0:05:23.991,0:05:25.990
저는 인사부와 임원들

0:05:26.014,0:05:29.139
회사 고위직들이 한데 모인[br]그런 채용 시스템 도입을

0:05:29.163,0:05:31.989
주제로 한 컨퍼런스에 [br]참석한 적이 있습니다.

0:05:31.989,0:05:33.622
그 분들은 정말 들떠 있었죠.

0:05:33.646,0:05:38.299
그들은 이 시스템이 편파적이지 않고[br]객관적인 채용을 가능케 하고

0:05:38.323,0:05:41.323
편견을 가진 인간 관리자보다[br]여성과 소수자에게

0:05:41.347,0:05:43.535
더 많은 기회를 주리라 기대했습니다.

0:05:43.559,0:05:46.402
사람에 의한 고용은 편향됐죠.

0:05:47.099,0:05:48.284
저도 알아요.

0:05:48.308,0:05:51.313
프로그래머로서의 제 초기[br]직장 중 하나에서

0:05:51.337,0:05:55.205
제 직속 상사는 가끔[br]제가 아침 일찍부터

0:05:55.229,0:05:58.982
밤 늦게까지 일하던 자리로 와서

0:05:59.006,0:06:02.068
"제이넵, 점심 먹으러 갑시다"[br]라고 말했었어요.

0:06:02.724,0:06:04.891
시계를 보고 의아해했죠.

0:06:04.915,0:06:07.044
오후 4시에 점심이라니?

0:06:07.068,0:06:10.162
전 돈이 없었으니[br]점심 사 준다니까 항상 갔죠.

0:06:10.618,0:06:12.685
나중에 무슨 이유인지 알게 되었어요.

0:06:12.709,0:06:17.255
제 직속 상사는[br]그녀가 고용한 프로그래머가

0:06:17.279,0:06:21.472
청바지에 운동화를 신고 [br]일터에 오는 십대 학생이란 걸

0:06:21.472,0:06:24.346
말하지 않았던 거죠.

0:06:25.174,0:06:27.716
일은 잘 하고 있었지만[br]입은 옷과 나이와 성별이

0:06:27.716,0:06:29.099
'적절치 않았던' 거죠.

0:06:29.123,0:06:32.469
그래서 나이와 인종을[br]가리지 않은 채용은

0:06:32.493,0:06:34.358
저에게는 좋아 보입니다.

0:06:35.031,0:06:38.372
하지만 이 시스템이 양날의 [br]칼인 이유는 따로 있죠.

0:06:38.968,0:06:44.759
현재 이런 시스템은 여러분이 [br]공개하지 않은 개인 정보도

0:06:44.783,0:06:49.005
여러분이 남긴 정보 부스러기에서[br]추론할 수 있기 때문입니다.

0:06:49.506,0:06:52.433
여러분의 성적 취향을 추측할 수 있고

0:06:52.994,0:06:54.300
성격 특성과

0:06:54.859,0:06:56.232
정치 성향까지 추측하죠.

0:06:56.830,0:07:00.515
상당히 높은 수준의 적중률로요.

0:07:01.362,0:07:03.940
공개하지도 않은 정보를 알아냅니다.

0:07:03.964,0:07:05.555
추론한 것이죠.

0:07:05.579,0:07:08.840
제 친구 하나가 SNS 자료를 통해

0:07:08.864,0:07:13.875
질병이나 산후 우울증 가능성을 [br]예측하는 시스템을 개발했습니다.

0:07:14.676,0:07:16.103
결과는 인상적이었습니다.

0:07:16.492,0:07:19.849
그녀가 만든 시스템은[br]증상이 시작되기 몇 달 전에

0:07:19.873,0:07:23.776
우울증 발생 가능성을[br]예측할 수 있었어요.

0:07:23.800,0:07:25.173
몇 달 전에요.

0:07:25.197,0:07:27.443
증상도 없이 예측한 것이죠.

0:07:27.467,0:07:32.279
그녀는 이게 우울증 예방에 [br]사용될 거라 생각했어요. 좋은 일이죠?

0:07:32.911,0:07:35.141
하지만 지금 그 기술은 [br]채용 시스템에 적용되었습니다.

0:07:36.027,0:07:39.073
저는 인사 담당자들이 모인 [br]아까 그 학회에서

0:07:39.097,0:07:44.816
대기업의 고위직 관리자에게 [br]다가가서 이렇게 말했습니다.

0:07:44.816,0:07:48.408
"당신이 모르는 사이에 프로그램이

0:07:48.432,0:07:54.981
우울증 발병 가능성이 높은 사람들을[br]가려내고 있다면 어떻게 될까요?

0:07:55.761,0:07:59.137
지금은 우울증이 없지만,[br]미래에 위험 가능성이 있죠.

0:07:59.923,0:08:01.983
지금은 임신하지 않았지만

0:08:01.983,0:08:05.939
1,2년 내에 출산 휴가를 낼 만한[br]여성들을 미리 가려내고 있다면요?

0:08:06.844,0:08:12.480
직장 문화에 적합하다는 이유로[br]공격적인 사람만을 고용한다면요?"

0:08:13.173,0:08:15.864
이건 남녀 성비만으로는[br]판단할 수 없어요.

0:08:15.888,0:08:17.390
성비는 이미 균형잡혀 있겠죠.

0:08:17.414,0:08:20.971
그리고 전통적인 프로그래밍 [br]방식이 아닌 기계 학습이기 때문에

0:08:20.995,0:08:25.902
'우울증 위험성 높음'이라는[br]변수명은 존재하지 않아요.

0:08:25.926,0:08:27.759
'임신 가능성 높음'

0:08:27.783,0:08:29.517
'남성 공격성 척도'도 없죠.

0:08:29.995,0:08:33.674
시스템이 어떤 기준으로[br]선택하는지 모르는 것은 물론

0:08:33.698,0:08:36.021
어디부터 봐야 할지조차 모르는 거죠.

0:08:36.045,0:08:37.291
블랙박스입니다.

0:08:37.315,0:08:40.122
그 예측 능력을 우리는 알지 못하죠.

0:08:40.486,0:08:42.109
그래서 제가 물었죠.[br]

0:08:42.109,0:08:46.552
"블랙박스가 뭔가 이상한 짓을 못하도록[br]어떤 안전 장치를 마련하시겠어요?"

0:08:48.863,0:08:52.741
제가 엄청난 사건을 일으킨 [br]것처럼 쳐다보더라고요.

0:08:52.765,0:08:54.013
(웃음)

0:08:54.037,0:08:56.078
저를 빤히 쳐다보곤 이렇게 말하더군요.

0:08:56.556,0:09:00.889
"이것에 대해서는 더 이상[br]듣고 싶지 않네요."

0:09:01.458,0:09:03.492
그리고 돌아서서 가 버렸어요.

0:09:04.064,0:09:06.460
그렇다고 무례했던 건 아니에요.

0:09:06.460,0:09:11.882
자기가 모르는 건 자기 문제가 아니니 [br]신경쓰게 하지 말라는 경고였죠.

0:09:11.906,0:09:13.152
(웃음)

0:09:13.862,0:09:19.831
시스템은 인간 관리자와 달리[br]편견이 없을 수도 있어요.

0:09:19.852,0:09:21.998
인사 업무에 돈도 덜 써도 되겠죠.

0:09:22.573,0:09:27.073
하지만 이 시스템은[br]지속적이고 암묵적으로

0:09:27.099,0:09:31.312
우울증 위험이 높은 사람들의[br]고용 기회를 박탈할 수 있습니다.

0:09:31.753,0:09:36.679
이해하지도 못하는 기계에게[br]의사결정을 맡기면서

0:09:36.682,0:09:40.646
우리 모르게 기회를 박탈하는 게[br]바람직한 사회인가요?

0:09:41.265,0:09:42.723
또 다른 문제도 있습니다.

0:09:43.314,0:09:47.766
이 시스템은 우리 인간의 행동방식이[br]만들어 낸 정보들로 학습을 합니다.

0:09:47.790,0:09:49.606
인간이 남긴 흔적들이죠.

0:09:50.188,0:09:53.996
그러면 우리의 편견을 [br]그대로 반영하게 되고

0:09:54.020,0:10:00.163
시스템은 그 편견을 익히고 확대시켜[br]우리에게 결과로 보여주게 됩니다. [br]

0:10:00.163,0:10:01.546
우리는 그걸 합리화하죠.

0:10:01.546,0:10:04.518
"지금 객관적이고 공정한 계산 [br]결과를 뽑는 중이야~" 라면서요.

0:10:06.314,0:10:08.991
연구 결과에 따르면[br]구글 검색의 경우에는

0:10:10.134,0:10:15.447
여성은 남성보다 고소득 구인 [br]광고에 덜 노출된다고 합니다.

0:10:16.463,0:10:18.993
그리고 흑인계 이름으로 검색해 보면

0:10:19.017,0:10:23.723
범죄 전과를 시사하는 광고가 [br]더 많이 나온다고 해요.

0:10:23.747,0:10:25.314
전과가 없는데도 말이죠.

0:10:26.693,0:10:30.242
이런 암묵적 편견과[br]블랙박스 속 알고리즘은

0:10:30.266,0:10:34.239
연구자들이 모두 밝혀낼 수 없어[br]우리도 모르는 사이에

0:10:34.263,0:10:36.924
개인의 삶에 영향을 미칠 수 있죠.

0:10:37.958,0:10:42.117
위스콘신에서는 어느 피고인이[br]경찰 수사를 거부한 죄로

0:10:42.141,0:10:43.496
6년형을 선고받았습니다.

0:10:44.824,0:10:46.060
알고 계실지 모르겠지만

0:10:46.060,0:10:50.032
알고리즘이 가석방과 형량 판결에[br]점점 더 많이 사용되고 있습니다.

0:10:50.056,0:10:53.011
그는 대체 그런 결정이 [br]어떻게 나오는지 알고 싶었죠.

0:10:53.795,0:10:55.460
그건 상업적인 블랙박스였고

0:10:55.484,0:10:59.689
개발사는 알고리즘이 법정에서[br]심판받는 것을 거부했죠.

0:11:00.396,0:11:04.562
하지만 ProPublica라는[br]비영리 수사 기구가

0:11:04.562,0:11:07.968
각종 데이터로 그 알고리즘을 검사했고

0:11:07.992,0:11:13.961
밝혀진 사실은 그 알고리즘 예측 성능이[br]우연과 별다르지 않은 수준이었으며

0:11:13.985,0:11:18.401
흑인 피고를 잠재적 범죄자로[br]낙인찍는 확률이

0:11:18.425,0:11:22.320
백인 피고에 비해 두 배나[br]높다는 것이었습니다.[br]

0:11:23.891,0:11:25.525
다른 경우도 살펴 볼까요.

0:11:26.103,0:11:29.955
오른쪽 여성은 플로리다 브로워드 [br]카운티의 학교에 다니는 [br][br]

0:11:29.979,0:11:32.054
교회 동생을 데리러 갈[br]약속에 늦는 바람에

0:11:32.757,0:11:35.113
친구와 함께 뛰어가고 있었죠.

0:11:35.137,0:11:39.236
그러다 어느 집 현관에 있던[br]자전거와 스쿠터를 발견하고는

0:11:39.260,0:11:40.746
어리석게도 그걸 집어 탔어요.

0:11:40.746,0:11:43.515
그들이 속도를 내며 달아날 때[br]한 여자가 뛰어나와 소리쳤죠.

0:11:43.539,0:11:45.744
"우리 애 자전거로 뭐 하는 거야!"

0:11:45.768,0:11:49.062
그들은 자전거를 버리고 걸어서 [br]달아났지만 체포되었습니다.

0:11:49.086,0:11:52.723
그들이 잘못했고, 어리석긴 했어요.[br]그런데 겨우 열여덟 살이었죠.

0:11:52.747,0:11:55.291
그녀는 청소년 범죄 [br]전과가 몇 건 있었죠.

0:11:55.808,0:12:02.763
한편, 이 남성은 마트에서 85달러어치[br]좀도둑질을 하다가 체포되었습니다.

0:12:02.807,0:12:03.941
비슷한 범죄죠.

0:12:04.766,0:12:09.325
하지만 그에게는 두 번의 [br]무장강도 전과가 있었어요.

0:12:09.955,0:12:13.437
그런데 알고리즘은 남자가 아니라[br]여자를 고위험군으로 분류했죠.

0:12:14.746,0:12:15.746
2년 뒤에

0:12:15.746,0:12:18.644
ProPublica가 조사해보니[br]여성은 재범하지 않았습니다.

0:12:18.644,0:12:21.194
전과가 있었기에 취직이 어렵긴 했죠.

0:12:21.218,0:12:23.294
반면 남자는 재범하였고

0:12:23.318,0:12:27.154
그 이후 저지른 범죄로[br]현재 8년을 복역 중입니다.

0:12:28.088,0:12:31.457
우리는 블랙박스를 잘 검수해서

0:12:31.481,0:12:34.096
엉뚱한 권한을 갖지 않도록[br]분명히 해야 합니다.

0:12:34.120,0:12:36.999
(박수)

0:12:38.087,0:12:42.329
검수는 중요하고 또 유효하지만[br]모든 문제를 해결하진 못합니다.

0:12:42.353,0:12:45.101
페이스북의 강력한 뉴스 피드[br]알고리즘을 살펴 보죠.

0:12:45.125,0:12:47.622
모든 것을 순위대로 나열하고[br]

0:12:47.622,0:12:52.276
팔로우하는 모든 친구와 페이지에서[br]무엇을 보여 줄지를 결정하죠.

0:12:52.898,0:12:55.173
아기 사진을 또 봐야 할까요?

0:12:55.197,0:12:56.393
(웃음)

0:12:56.417,0:12:59.013
아니면 지인의 삐진 듯한 글?

0:12:59.449,0:13:01.305
어렵지만 중요한 뉴스 기사?

0:13:01.329,0:13:02.811
정답은 없습니다.

0:13:02.835,0:13:05.494
알고리즘은 페이스북 활동에[br]최적화되어 있습니다.

0:13:05.518,0:13:06.933
좋아요, 공유, 댓글이죠.

0:13:08.168,0:13:10.864
2014년 8월에

0:13:10.888,0:13:13.550
백인 경찰관이[br]범행이 불확실한 상황에서

0:13:13.574,0:13:17.991
십대 흑인에게 발포하여 살해한[br]사건 후, 미주리 주 퍼거슨에서

0:13:18.015,0:13:19.585
시위가 일어났습니다.

0:13:19.974,0:13:21.981
시위 뉴스는 알고리즘 필터가 없는

0:13:22.005,0:13:24.690
트위터 글목록에는 나타났지만

0:13:24.714,0:13:26.664
페이스북에는 흔적이 없었습니다.

0:13:27.182,0:13:30.906
페이스북 친구 때문인가 생각하고[br]알고리즘을 해제해 보았습니다.

0:13:31.472,0:13:36.390
페이스북은 계속 알고리즘이 추천하는[br]글을 보여주려고 해서 좀 까다로웠죠.

0:13:36.404,0:13:39.142
친구들이 시위 이야기를 [br]하지 않던 게 아니었습니다.

0:13:39.142,0:13:41.175
알고리즘이 전달을[br]막고 있었던 겁니다.

0:13:41.199,0:13:44.241
전 이걸 조사하고는[br]광범위한 문제임을 알았습니다.

0:13:44.265,0:13:48.078
퍼거슨 사건은 알고리즘이[br]선호할 만한 게 아니죠.

0:13:48.102,0:13:49.273
좋아요가 적습니다.

0:13:49.297,0:13:50.849
댓글 남기기도 껄끄러운데

0:13:51.500,0:13:53.706
누가 좋아요를 누르겠어요?

0:13:53.730,0:13:55.101
좋아요와 댓글이 적어서

0:13:55.125,0:13:58.417
알고리즘이 더 보여주고[br]싶지 않아했고

0:13:58.441,0:14:00.223
결국 우리가 보지 못한 겁니다.

0:14:00.946,0:14:04.524
대신 그 주에 페이스북 [br]알고리즘이 선호한 것은

0:14:04.524,0:14:06.856
루게릭 병 모금을 위한[br]아이스 버킷 챌린지였습니다.

0:14:06.856,0:14:10.512
얼음물 세례를 맞고 기부를[br]한다는 취지 자체는 괜찮죠.

0:14:10.536,0:14:13.440
하지만 알고리즘이 과하게 [br]좋아할 만한 것이었습니다.

0:14:13.440,0:14:15.832
기계가 결정을 내려 버린 거죠.

0:14:15.856,0:14:19.353
페이스북이 유일한 소통 창구였다면

0:14:19.377,0:14:23.792
중요하지만 까다로운 [br]쟁점이 묻힐 뻔했습니다.

0:14:24.117,0:14:27.914
마지막으로, 이 시스템은[br]인간과는 다른 방식으로

0:14:27.938,0:14:30.674
오류를 범할 수 있습니다.

0:14:30.698,0:14:33.620
퀴즈 프로그램에서 인간 참가자를[br]누르고 우승을 차지한

0:14:33.644,0:14:36.772
IBM의 인공지능 왓슨을 기억하시나요?

0:14:37.131,0:14:38.559
대단한 실력이었죠.

0:14:38.583,0:14:42.152
하지만 왓슨이 맞이한[br]마지막 문제를 보시면

0:14:42.659,0:14:45.165
"이 도시 최대 공항 이름은[br]2차 대전 영웅을,

0:14:45.165,0:14:48.067
두 번째로 큰 공항은[br]2차 대전 전투를 따서 지어졌다.

0:14:48.067,0:14:49.529
(Jeopardy 대기 음악)

0:14:49.582,0:14:50.764
답은 시카고죠.

0:14:50.788,0:14:52.498
인간 참가자는 모두 맞췄습니다.

0:14:52.697,0:14:57.045
하지만 왓슨은 '토론토'라고 썼죠.

0:14:57.069,0:14:58.887
주제가 미국 도시였는데도 말이죠.

0:14:59.596,0:15:02.497
또한 이 뛰어난 시스템은

0:15:02.521,0:15:06.172
초등학교 2학년생도[br]하지 않을 실수를 저질렀죠.

0:15:06.823,0:15:13.062
인공지능은 인간의 오류와는 [br]다른 방식으로 오작동할 수 있고[br]

0:15:13.080,0:15:16.030
그래서 우리가 예상하거나[br]대비하기 어렵습니다.

0:15:16.054,0:15:19.692
능력에 맞는 직업을 갖지 [br]못한다면 기분 나쁠 거예요.

0:15:19.716,0:15:23.443
그런데 그 이유가 프로그램 함수의[br]과부하 오류 때문이라면

0:15:23.467,0:15:24.899
몇 배는 더 기분 나쁘겠죠.

0:15:24.923,0:15:26.502
(웃음)

0:15:26.526,0:15:29.312
2010년 5월에

0:15:29.336,0:15:36.450
월가의 매도 알고리즘의 피드백 [br]반복문 오류로 주가가 폭락했고

0:15:36.456,0:15:40.640
36분 만에 1조 달러어치의[br]가치가 사라진 일이 있었죠.

0:15:41.722,0:15:45.659
살상 무기의 경우에 '오류'가[br]일어나면 어떻게 될지

0:15:45.659,0:15:47.522
생각하고 싶지도 않습니다.

0:15:49.894,0:15:53.684
인간의 결정에는 결함이 많죠.

0:15:53.708,0:15:55.884
의사결정과 보안

0:15:55.908,0:15:59.401
법정, 언론, 전쟁에서

0:15:59.425,0:16:02.463
모두 실수가 일어나지만[br]저는 그래야 한다고 생각합니다.

0:16:02.487,0:16:06.008
우리는 어려운 문제를[br]피할 수 없습니다.

0:16:06.596,0:16:10.112
기계에게 책임을 떠넘겨서는 안 됩니다.

0:16:10.676,0:16:14.884
(박수)

0:16:17.089,0:16:21.536
인공지능이 '윤리적 문제의 [br]면죄부'를 주지는 않습니다.

0:16:22.742,0:16:26.233
데이터 과학자인 프레드 베넨슨은 [br]이를 두고 '논리 세탁'이라 표현했죠.

0:16:26.233,0:16:27.696
정반대 태도가 필요합니다.

0:16:27.696,0:16:32.948
알고리즘을 의심하고 조사하고[br]검수하는 능력을 길러야 합니다.

0:16:33.380,0:16:36.578
알고리즘에 대한 회계와 감사[br]그리고 투명성 제고 방법을

0:16:36.602,0:16:39.047
구축해야 합니다.

0:16:39.380,0:16:42.614
인간 사회의 가치 판단 문제에 [br]수학과 컴퓨터를 도입한다고 해서

0:16:42.638,0:16:45.608
객관적인 일이 되지는 않는다는 걸

0:16:45.632,0:16:48.016
받아들여야 합니다.

0:16:48.040,0:16:51.673
오히려 인간 문제의 복잡성이[br]알고리즘을 주관적으로 만들죠.

0:16:52.148,0:16:57.665
물론 더 나은 의사결정을 위해서라면[br]컴퓨터를 이용할 수도 있을 겁니다.

0:16:57.697,0:17:03.029
하지만 우리 판단의 도덕적 책임은[br]우리 스스로가 짊어져야 합니다.

0:17:03.053,0:17:05.871
알고리즘은 그 틀 안에서만 [br]이용되어야 할 뿐이고

0:17:05.895,0:17:13.220
우리의 도덕적 책임을 다른 쪽에[br]전가하는 수단이 되어서는 안되죠.[br]

0:17:13.807,0:17:16.416
인공지능의 시대에는

0:17:16.440,0:17:19.861
인간 가치와 윤리가

0:17:19.885,0:17:22.032
더욱더 중요합니다.

0:17:22.056,0:17:23.210
감사합니다.

0:17:23.234,0:17:28.254
(박수)