1
00:00:00,739 --> 00:00:04,861
저는 제 첫 번째 직업인
컴퓨터 프로그래머 일을

2
00:00:04,885 --> 00:00:06,841
대학 1학년 때 시작했습니다.

3
00:00:06,865 --> 00:00:08,372
아직 십대였죠.

4
00:00:08,889 --> 00:00:10,621
일을 시작한 지 얼마 안 되어

5
00:00:10,645 --> 00:00:12,255
회사에서 프로그래밍을 하고 있는데

6
00:00:12,799 --> 00:00:16,434
회사의 한 관리자 제 자리로 와서는

7
00:00:16,458 --> 00:00:17,726
저한테 속삭였어요.

8
00:00:18,229 --> 00:00:21,090
"내가 거짓말하면 쟤가 알아챌까요?"

9
00:00:21,806 --> 00:00:23,883
하지만 방에는 둘밖에 없었어요.

10
00:00:25,032 --> 00:00:29,421
"누가 알아챈다는 거죠? 
아무도 없는데 왜 속삭이시는 거예요?"

11
00:00:30,266 --> 00:00:33,373
매니저는 방에 있는
컴퓨터를 가리켰어요.

12
00:00:33,397 --> 00:00:36,493
"저놈이 알아챌 수 있을까요?"

13
00:00:37,613 --> 00:00:41,975
그 매니저는 회사 접수계 
직원과 바람을 피우고 있었죠.

14
00:00:41,999 --> 00:00:43,111
(웃음)

15
00:00:43,135 --> 00:00:44,901
전 아직 십대였기에

16
00:00:45,447 --> 00:00:47,466
그 사람 귀에 대고 소리쳤죠.

17
00:00:47,490 --> 00:00:51,114
"네, 저 컴퓨터는 당신 부정을
알 수 있을 거예요."

18
00:00:51,138 --> 00:00:52,944
(웃음)

19
00:00:52,968 --> 00:00:55,891
전 웃고 말았지만, 
결국 제가 어리석었죠.

20
00:00:55,915 --> 00:00:59,183
요즘 컴퓨터 시스템은

21
00:00:59,207 --> 00:01:02,755
감정 상태나, 심지어 거짓말까지

22
00:01:02,779 --> 00:01:04,823
인간 표정으로 알아낼 수 있거든요.

23
00:01:05,248 --> 00:01:09,401
광고 업체와 정부까지도 
이 기술에 관심을 기울이고 있죠.

24
00:01:10,319 --> 00:01:12,671
저는 어릴 때 수학과 
과학을 매우 좋아해서

25
00:01:12,671 --> 00:01:15,318
자연스레 프로그래머가 되었습니다.

26
00:01:15,942 --> 00:01:19,050
그런데 언젠가 핵무기를 알게 되었을 때

27
00:01:19,074 --> 00:01:22,026
저는 과학 윤리에 대해
괌심이 많아졌습니다.

28
00:01:22,050 --> 00:01:23,254
고민을 많이 했죠.

29
00:01:23,278 --> 00:01:25,919
하지만 집안 사정 때문에

30
00:01:25,943 --> 00:01:29,241
최대한 빨리 일을 해야 했죠.

31
00:01:29,265 --> 00:01:32,564
그래서 과학기술 분야 중에서


32
00:01:32,588 --> 00:01:34,384
직업을 쉽게 가질 수 있으면서도

33
00:01:34,408 --> 00:01:38,426
복잡한 윤리적 고민을 할 필요가 
없는 일을 고르기로 했습니다.

34
00:01:39,022 --> 00:01:40,551
그래서 컴퓨터 관련된 일을 골랐죠.

35
00:01:40,575 --> 00:01:41,679
(웃음)

36
00:01:41,703 --> 00:01:45,113
하하하! 그런데 또
어리석은 생각이었네요.

37
00:01:45,137 --> 00:01:47,891
요즘 컴퓨터 과학자들이
만드는 플랫폼은

38
00:01:47,915 --> 00:01:52,124
십억 명이 매일 접하게 되는
시스템을 통제합니다.

39
00:01:53,052 --> 00:01:56,874
누굴 치게 될지도 모를 차를 개발하고

40
00:01:57,707 --> 00:02:00,920
전쟁에서 사람을 죽일 수 있는

41
00:02:00,944 --> 00:02:03,229
기계나 무기도 설계하고 있죠.

42
00:02:03,253 --> 00:02:06,024
모두 윤리에 관한 거죠.

43
00:02:07,183 --> 00:02:09,241
인공지능의 시대입니다.

44
00:02:09,823 --> 00:02:13,297
컴퓨터는 점점 다양한
의사결정에 사용되고 있고

45
00:02:13,321 --> 00:02:15,207
그 중엔 새로운 것도 있죠.

46
00:02:15,231 --> 00:02:17,727
주관적이고 가치 판단이 필요한


47
00:02:17,727 --> 00:02:23,979
정답이 없는 열린 질문까지도
컴퓨터에게 묻고 있습니다.

48
00:02:24,002 --> 00:02:25,760
이를테면 이런 질문들이죠.

49
00:02:25,784 --> 00:02:27,434
"누굴 채용해야 할까요?"

50
00:02:28,096 --> 00:02:30,855
"어느 친구의 어떤 소식을
업데이트해야 할까요?

51
00:02:30,879 --> 00:02:33,355
"어느 재소자가 재범 
가능성이 더 높을까요?"

52
00:02:33,514 --> 00:02:36,568
"어떤 뉴스 기사나 영화를
추천 목록에 넣을까요?"

53
00:02:36,592 --> 00:02:39,964
인간은 컴퓨터를 꽤 오래 사용했지만

54
00:02:39,988 --> 00:02:41,505
이건 좀 다른 문제죠.

55
00:02:41,529 --> 00:02:43,596
역사적 반전입니다.

56
00:02:43,620 --> 00:02:48,957
왜냐하면 그런 주관적인 결정까지 
컴퓨터에 의지할 수는 없거든요.

57
00:02:48,981 --> 00:02:55,665
비행기 조종이나 다리를 짓거나
달에 가는 것과 다르죠.

58
00:02:56,449 --> 00:02:59,708
비행기가 안전할 것인가.
다리가 흔들리고 무너질 것인가.

59
00:02:59,732 --> 00:03:04,230
이런 문제는 명확하고
모두가 동의할 만한 기준이 있고

60
00:03:04,254 --> 00:03:06,493
자연법칙에 따라 판단하면 되죠.

61
00:03:06,517 --> 00:03:09,911
하지만 인간 사회의 
일을 판단하는 데에는

62
00:03:09,935 --> 00:03:13,898
그런 기준이 존재하지 않습니다.

63
00:03:14,242 --> 00:03:18,159
더욱이 요즘 소프트웨어는
점점 더 강력해지고 있지만

64
00:03:18,183 --> 00:03:21,956
동시에 더욱 불투명해지고
이해하기 힘들어지고 있습니다.

65
00:03:22,542 --> 00:03:24,582
지난 십 년 동안

66
00:03:24,606 --> 00:03:27,335
복합 알고리즘에는
굉장한 진전이 있었죠.

67
00:03:27,359 --> 00:03:29,349
사람 얼굴을 인식할 수 있고

68
00:03:29,985 --> 00:03:32,040
손글씨도 읽어내며

69
00:03:32,436 --> 00:03:34,502
신용카드 사기를 간파하고

70
00:03:34,526 --> 00:03:35,715
스팸을 막고

71
00:03:35,739 --> 00:03:37,776
번역도 할 수 있어요.

72
00:03:37,800 --> 00:03:40,374
영상 의료 사진에서
종양을 식별할 수 있고

73
00:03:40,398 --> 00:03:42,863
인간과 체스나 바둑을 두어
이길 수 있습니다.

74
00:03:43,264 --> 00:03:47,768
이 진전에는 '기계 학습'이라는
기법의 공이 큽니다.

75
00:03:48,175 --> 00:03:51,362
기계 학습은 기존의 
프로그래밍과는 다릅니다. 


76
00:03:51,386 --> 00:03:54,971
기존에는 컴퓨터에게 명확하고
자세한 지시를 내려야 했죠.

77
00:03:55,378 --> 00:03:59,560
이제는 시스템을 만든 뒤에
대량의 데이터를 입력합니다.

78
00:03:59,584 --> 00:04:01,320
우리의 디지털 시대에 생성된

79
00:04:01,320 --> 00:04:03,542
구조화되지 않은 데이터들까지
포함해서 말이죠.

80
00:04:03,566 --> 00:04:06,296
시스템은 이 데이터를
헤쳐나가면서 학습합니다.

81
00:04:06,669 --> 00:04:08,195
또 중요한 사실이 있는데

82
00:04:08,219 --> 00:04:12,599
이 시스템은 정답을 단정짓는
논리로 작동하지 않습니다.

83
00:04:12,623 --> 00:04:15,582
확정적인 정답을 내기보다는
확률적 결론을 내리죠.

84
00:04:15,606 --> 00:04:19,089
"이게 당신이 찾던 결과일
가능성이 높습니다."라고요.

85
00:04:20,023 --> 00:04:23,093
장점은 이 방식이
정말 강력하다는 겁니다.

86
00:04:23,117 --> 00:04:24,977
구글의 인공지능 시스템
책임자는 이를 두고

87
00:04:24,977 --> 00:04:27,524
'정보의 과잉 효율성'이라고 표현했죠.

88
00:04:27,791 --> 00:04:29,144
단점은

89
00:04:29,738 --> 00:04:32,809
그 시스템이 무엇을 배웠는지
우리는 알 수 없다는 겁니다.

90
00:04:32,833 --> 00:04:34,420
사실 장점이기도 하죠.

91
00:04:34,946 --> 00:04:38,744
컴퓨터에 명령을 내린다기 보다

92
00:04:39,200 --> 00:04:43,264
우리가 이해하거나 통제하지 
못하는 강아지 같은 기계를

93
00:04:43,288 --> 00:04:45,659
훈련시키는 거라고 할 수 있죠.

94
00:04:46,362 --> 00:04:47,913
그런데 문제가 있어요.

95
00:04:48,427 --> 00:04:52,689
이 인공지능이 잘못된 것을
학습할 때 문제가 발생하죠.

96
00:04:52,713 --> 00:04:56,253
그리고 잘 학습했어도 문제가 됩니다.

97
00:04:56,277 --> 00:04:59,729
왜냐하면 주관적인 문제에서는
뭐가 뭔지도 모르니까요.

98
00:04:59,729 --> 00:05:02,508
무슨 생각으로 이런 판단을 
했는지 알 수가 없는 거죠.

99
00:05:03,493 --> 00:05:07,176
채용 알고리즘을 생각해 보세요.

100
00:05:08,123 --> 00:05:12,434
사람을 가려내는
기계 학습 시스템입니다.

101
00:05:13,052 --> 00:05:16,631
이런 시스템은 이전 직원들 데이터를
바탕으로 훈련되었을 것이고

102
00:05:16,655 --> 00:05:19,246
성과가 좋을 만한 직원들을

103
00:05:19,270 --> 00:05:22,308
미리 찾아서 고용하려고 하겠죠.

104
00:05:22,814 --> 00:05:23,967
괜찮아 보입니다.

105
00:05:23,991 --> 00:05:25,990
저는 인사부와 임원들

106
00:05:26,014 --> 00:05:29,139
회사 고위직들이 한데 모인
그런 채용 시스템 도입을

107
00:05:29,163 --> 00:05:31,989
주제로 한 컨퍼런스에 
참석한 적이 있습니다.

108
00:05:31,989 --> 00:05:33,622
그 분들은 정말 들떠 있었죠.

109
00:05:33,646 --> 00:05:38,299
그들은 이 시스템이 편파적이지 않고
객관적인 채용을 가능케 하고

110
00:05:38,323 --> 00:05:41,323
편견을 가진 인간 관리자보다
여성과 소수자에게

111
00:05:41,347 --> 00:05:43,535
더 많은 기회를 주리라 기대했습니다.

112
00:05:43,559 --> 00:05:46,402
사람에 의한 고용은 편향됐죠.

113
00:05:47,099 --> 00:05:48,284
저도 알아요.

114
00:05:48,308 --> 00:05:51,313
프로그래머로서의 제 초기
직장 중 하나에서

115
00:05:51,337 --> 00:05:55,205
제 직속 상사는 가끔
제가 아침 일찍부터

116
00:05:55,229 --> 00:05:58,982
밤 늦게까지 일하던 자리로 와서

117
00:05:59,006 --> 00:06:02,068
"제이넵, 점심 먹으러 갑시다"
라고 말했었어요.

118
00:06:02,724 --> 00:06:04,891
시계를 보고 의아해했죠.

119
00:06:04,915 --> 00:06:07,044
오후 4시에 점심이라니?

120
00:06:07,068 --> 00:06:10,162
전 돈이 없었으니
점심 사 준다니까 항상 갔죠.

121
00:06:10,618 --> 00:06:12,685
나중에 무슨 이유인지 알게 되었어요.

122
00:06:12,709 --> 00:06:17,255
제 직속 상사는
그녀가 고용한 프로그래머가

123
00:06:17,279 --> 00:06:21,472
청바지에 운동화를 신고 
일터에 오는 십대 학생이란 걸

124
00:06:21,472 --> 00:06:24,346
말하지 않았던 거죠.

125
00:06:25,174 --> 00:06:27,716
일은 잘 하고 있었지만
입은 옷과 나이와 성별이

126
00:06:27,716 --> 00:06:29,099
'적절치 않았던' 거죠.

127
00:06:29,123 --> 00:06:32,469
그래서 나이와 인종을
가리지 않은 채용은

128
00:06:32,493 --> 00:06:34,358
저에게는 좋아 보입니다.

129
00:06:35,031 --> 00:06:38,372
하지만 이 시스템이 양날의 
칼인 이유는 따로 있죠.

130
00:06:38,968 --> 00:06:44,759
현재 이런 시스템은 여러분이 
공개하지 않은 개인 정보도

131
00:06:44,783 --> 00:06:49,005
여러분이 남긴 정보 부스러기에서
추론할 수 있기 때문입니다.

132
00:06:49,506 --> 00:06:52,433
여러분의 성적 취향을 추측할 수 있고

133
00:06:52,994 --> 00:06:54,300
성격 특성과

134
00:06:54,859 --> 00:06:56,232
정치 성향까지 추측하죠.

135
00:06:56,830 --> 00:07:00,515
상당히 높은 수준의 적중률로요.

136
00:07:01,362 --> 00:07:03,940
공개하지도 않은 정보를 알아냅니다.

137
00:07:03,964 --> 00:07:05,555
추론한 것이죠.

138
00:07:05,579 --> 00:07:08,840
제 친구 하나가 SNS 자료를 통해

139
00:07:08,864 --> 00:07:13,875
질병이나 산후 우울증 가능성을 
예측하는 시스템을 개발했습니다.

140
00:07:14,676 --> 00:07:16,103
결과는 인상적이었습니다.

141
00:07:16,492 --> 00:07:19,849
그녀가 만든 시스템은
증상이 시작되기 몇 달 전에

142
00:07:19,873 --> 00:07:23,776
우울증 발생 가능성을
예측할 수 있었어요.

143
00:07:23,800 --> 00:07:25,173
몇 달 전에요.

144
00:07:25,197 --> 00:07:27,443
증상도 없이 예측한 것이죠.

145
00:07:27,467 --> 00:07:32,279
그녀는 이게 우울증 예방에 
사용될 거라 생각했어요. 좋은 일이죠?

146
00:07:32,911 --> 00:07:35,141
하지만 지금 그 기술은 
채용 시스템에 적용되었습니다.

147
00:07:36,027 --> 00:07:39,073
저는 인사 담당자들이 모인 
아까 그 학회에서

148
00:07:39,097 --> 00:07:44,816
대기업의 고위직 관리자에게 
다가가서 이렇게 말했습니다.

149
00:07:44,816 --> 00:07:48,408
"당신이 모르는 사이에 프로그램이

150
00:07:48,432 --> 00:07:54,981
우울증 발병 가능성이 높은 사람들을
가려내고 있다면 어떻게 될까요?

151
00:07:55,761 --> 00:07:59,137
지금은 우울증이 없지만,
미래에 위험 가능성이 있죠.

152
00:07:59,923 --> 00:08:01,983
지금은 임신하지 않았지만

153
00:08:01,983 --> 00:08:05,939
1,2년 내에 출산 휴가를 낼 만한
여성들을 미리 가려내고 있다면요?

154
00:08:06,844 --> 00:08:12,480
직장 문화에 적합하다는 이유로
공격적인 사람만을 고용한다면요?"

155
00:08:13,173 --> 00:08:15,864
이건 남녀 성비만으로는
판단할 수 없어요.

156
00:08:15,888 --> 00:08:17,390
성비는 이미 균형잡혀 있겠죠.

157
00:08:17,414 --> 00:08:20,971
그리고 전통적인 프로그래밍 
방식이 아닌 기계 학습이기 때문에

158
00:08:20,995 --> 00:08:25,902
'우울증 위험성 높음'이라는
변수명은 존재하지 않아요.

159
00:08:25,926 --> 00:08:27,759
'임신 가능성 높음'

160
00:08:27,783 --> 00:08:29,517
'남성 공격성 척도'도 없죠.

161
00:08:29,995 --> 00:08:33,674
시스템이 어떤 기준으로
선택하는지 모르는 것은 물론

162
00:08:33,698 --> 00:08:36,021
어디부터 봐야 할지조차 모르는 거죠.

163
00:08:36,045 --> 00:08:37,291
블랙박스입니다.

164
00:08:37,315 --> 00:08:40,122
그 예측 능력을 우리는 알지 못하죠.

165
00:08:40,486 --> 00:08:42,109
그래서 제가 물었죠.


166
00:08:42,109 --> 00:08:46,552
"블랙박스가 뭔가 이상한 짓을 못하도록
어떤 안전 장치를 마련하시겠어요?"

167
00:08:48,863 --> 00:08:52,741
제가 엄청난 사건을 일으킨 
것처럼 쳐다보더라고요.

168
00:08:52,765 --> 00:08:54,013
(웃음)

169
00:08:54,037 --> 00:08:56,078
저를 빤히 쳐다보곤 이렇게 말하더군요.

170
00:08:56,556 --> 00:09:00,889
"이것에 대해서는 더 이상
듣고 싶지 않네요."

171
00:09:01,458 --> 00:09:03,492
그리고 돌아서서 가 버렸어요.

172
00:09:04,064 --> 00:09:06,460
그렇다고 무례했던 건 아니에요.

173
00:09:06,460 --> 00:09:11,882
자기가 모르는 건 자기 문제가 아니니 
신경쓰게 하지 말라는 경고였죠.

174
00:09:11,906 --> 00:09:13,152
(웃음)

175
00:09:13,862 --> 00:09:19,831
시스템은 인간 관리자와 달리
편견이 없을 수도 있어요.

176
00:09:19,852 --> 00:09:21,998
인사 업무에 돈도 덜 써도 되겠죠.

177
00:09:22,573 --> 00:09:27,073
하지만 이 시스템은
지속적이고 암묵적으로

178
00:09:27,099 --> 00:09:31,312
우울증 위험이 높은 사람들의
고용 기회를 박탈할 수 있습니다.

179
00:09:31,753 --> 00:09:36,679
이해하지도 못하는 기계에게
의사결정을 맡기면서

180
00:09:36,682 --> 00:09:40,646
우리 모르게 기회를 박탈하는 게
바람직한 사회인가요?

181
00:09:41,265 --> 00:09:42,723
또 다른 문제도 있습니다.

182
00:09:43,314 --> 00:09:47,766
이 시스템은 우리 인간의 행동방식이
만들어 낸 정보들로 학습을 합니다.

183
00:09:47,790 --> 00:09:49,606
인간이 남긴 흔적들이죠.

184
00:09:50,188 --> 00:09:53,996
그러면 우리의 편견을 
그대로 반영하게 되고

185
00:09:54,020 --> 00:10:00,163
시스템은 그 편견을 익히고 확대시켜
우리에게 결과로 보여주게 됩니다. 


186
00:10:00,163 --> 00:10:01,546
우리는 그걸 합리화하죠.

187
00:10:01,546 --> 00:10:04,518
"지금 객관적이고 공정한 계산 
결과를 뽑는 중이야~" 라면서요.

188
00:10:06,314 --> 00:10:08,991
연구 결과에 따르면
구글 검색의 경우에는

189
00:10:10,134 --> 00:10:15,447
여성은 남성보다 고소득 구인 
광고에 덜 노출된다고 합니다.

190
00:10:16,463 --> 00:10:18,993
그리고 흑인계 이름으로 검색해 보면

191
00:10:19,017 --> 00:10:23,723
범죄 전과를 시사하는 광고가 
더 많이 나온다고 해요.

192
00:10:23,747 --> 00:10:25,314
전과가 없는데도 말이죠.

193
00:10:26,693 --> 00:10:30,242
이런 암묵적 편견과
블랙박스 속 알고리즘은

194
00:10:30,266 --> 00:10:34,239
연구자들이 모두 밝혀낼 수 없어
우리도 모르는 사이에

195
00:10:34,263 --> 00:10:36,924
개인의 삶에 영향을 미칠 수 있죠.

196
00:10:37,958 --> 00:10:42,117
위스콘신에서는 어느 피고인이
경찰 수사를 거부한 죄로

197
00:10:42,141 --> 00:10:43,496
6년형을 선고받았습니다.

198
00:10:44,824 --> 00:10:46,060
알고 계실지 모르겠지만

199
00:10:46,060 --> 00:10:50,032
알고리즘이 가석방과 형량 판결에
점점 더 많이 사용되고 있습니다.

200
00:10:50,056 --> 00:10:53,011
그는 대체 그런 결정이 
어떻게 나오는지 알고 싶었죠.

201
00:10:53,795 --> 00:10:55,460
그건 상업적인 블랙박스였고

202
00:10:55,484 --> 00:10:59,689
개발사는 알고리즘이 법정에서
심판받는 것을 거부했죠.

203
00:11:00,396 --> 00:11:04,562
하지만 ProPublica라는
비영리 수사 기구가

204
00:11:04,562 --> 00:11:07,968
각종 데이터로 그 알고리즘을 검사했고

205
00:11:07,992 --> 00:11:13,961
밝혀진 사실은 그 알고리즘 예측 성능이
우연과 별다르지 않은 수준이었으며

206
00:11:13,985 --> 00:11:18,401
흑인 피고를 잠재적 범죄자로
낙인찍는 확률이

207
00:11:18,425 --> 00:11:22,320
백인 피고에 비해 두 배나
높다는 것이었습니다.


208
00:11:23,891 --> 00:11:25,525
다른 경우도 살펴 볼까요.

209
00:11:26,103 --> 00:11:29,955
오른쪽 여성은 플로리다 브로워드 
카운티의 학교에 다니는 



210
00:11:29,979 --> 00:11:32,054
교회 동생을 데리러 갈
약속에 늦는 바람에

211
00:11:32,757 --> 00:11:35,113
친구와 함께 뛰어가고 있었죠.

212
00:11:35,137 --> 00:11:39,236
그러다 어느 집 현관에 있던
자전거와 스쿠터를 발견하고는

213
00:11:39,260 --> 00:11:40,746
어리석게도 그걸 집어 탔어요.

214
00:11:40,746 --> 00:11:43,515
그들이 속도를 내며 달아날 때
한 여자가 뛰어나와 소리쳤죠.

215
00:11:43,539 --> 00:11:45,744
"우리 애 자전거로 뭐 하는 거야!"

216
00:11:45,768 --> 00:11:49,062
그들은 자전거를 버리고 걸어서 
달아났지만 체포되었습니다.

217
00:11:49,086 --> 00:11:52,723
그들이 잘못했고, 어리석긴 했어요.
그런데 겨우 열여덟 살이었죠.

218
00:11:52,747 --> 00:11:55,291
그녀는 청소년 범죄 
전과가 몇 건 있었죠.

219
00:11:55,808 --> 00:12:02,763
한편, 이 남성은 마트에서 85달러어치
좀도둑질을 하다가 체포되었습니다.

220
00:12:02,807 --> 00:12:03,941
비슷한 범죄죠.

221
00:12:04,766 --> 00:12:09,325
하지만 그에게는 두 번의 
무장강도 전과가 있었어요.

222
00:12:09,955 --> 00:12:13,437
그런데 알고리즘은 남자가 아니라
여자를 고위험군으로 분류했죠.

223
00:12:14,746 --> 00:12:15,746
2년 뒤에

224
00:12:15,746 --> 00:12:18,644
ProPublica가 조사해보니
여성은 재범하지 않았습니다.

225
00:12:18,644 --> 00:12:21,194
전과가 있었기에 취직이 어렵긴 했죠.

226
00:12:21,218 --> 00:12:23,294
반면 남자는 재범하였고

227
00:12:23,318 --> 00:12:27,154
그 이후 저지른 범죄로
현재 8년을 복역 중입니다.

228
00:12:28,088 --> 00:12:31,457
우리는 블랙박스를 잘 검수해서

229
00:12:31,481 --> 00:12:34,096
엉뚱한 권한을 갖지 않도록
분명히 해야 합니다.

230
00:12:34,120 --> 00:12:36,999
(박수)

231
00:12:38,087 --> 00:12:42,329
검수는 중요하고 또 유효하지만
모든 문제를 해결하진 못합니다.

232
00:12:42,353 --> 00:12:45,101
페이스북의 강력한 뉴스 피드
알고리즘을 살펴 보죠.

233
00:12:45,125 --> 00:12:47,622
모든 것을 순위대로 나열하고


234
00:12:47,622 --> 00:12:52,276
팔로우하는 모든 친구와 페이지에서
무엇을 보여 줄지를 결정하죠.

235
00:12:52,898 --> 00:12:55,173
아기 사진을 또 봐야 할까요?

236
00:12:55,197 --> 00:12:56,393
(웃음)

237
00:12:56,417 --> 00:12:59,013
아니면 지인의 삐진 듯한 글?

238
00:12:59,449 --> 00:13:01,305
어렵지만 중요한 뉴스 기사?

239
00:13:01,329 --> 00:13:02,811
정답은 없습니다.

240
00:13:02,835 --> 00:13:05,494
알고리즘은 페이스북 활동에
최적화되어 있습니다.

241
00:13:05,518 --> 00:13:06,933
좋아요, 공유, 댓글이죠.

242
00:13:08,168 --> 00:13:10,864
2014년 8월에

243
00:13:10,888 --> 00:13:13,550
백인 경찰관이
범행이 불확실한 상황에서

244
00:13:13,574 --> 00:13:17,991
십대 흑인에게 발포하여 살해한
사건 후, 미주리 주 퍼거슨에서

245
00:13:18,015 --> 00:13:19,585
시위가 일어났습니다.

246
00:13:19,974 --> 00:13:21,981
시위 뉴스는 알고리즘 필터가 없는

247
00:13:22,005 --> 00:13:24,690
트위터 글목록에는 나타났지만

248
00:13:24,714 --> 00:13:26,664
페이스북에는 흔적이 없었습니다.

249
00:13:27,182 --> 00:13:30,906
페이스북 친구 때문인가 생각하고
알고리즘을 해제해 보았습니다.

250
00:13:31,472 --> 00:13:36,390
페이스북은 계속 알고리즘이 추천하는
글을 보여주려고 해서 좀 까다로웠죠.

251
00:13:36,404 --> 00:13:39,142
친구들이 시위 이야기를 
하지 않던 게 아니었습니다.

252
00:13:39,142 --> 00:13:41,175
알고리즘이 전달을
막고 있었던 겁니다.

253
00:13:41,199 --> 00:13:44,241
전 이걸 조사하고는
광범위한 문제임을 알았습니다.

254
00:13:44,265 --> 00:13:48,078
퍼거슨 사건은 알고리즘이
선호할 만한 게 아니죠.

255
00:13:48,102 --> 00:13:49,273
좋아요가 적습니다.

256
00:13:49,297 --> 00:13:50,849
댓글 남기기도 껄끄러운데

257
00:13:51,500 --> 00:13:53,706
누가 좋아요를 누르겠어요?

258
00:13:53,730 --> 00:13:55,101
좋아요와 댓글이 적어서

259
00:13:55,125 --> 00:13:58,417
알고리즘이 더 보여주고
싶지 않아했고

260
00:13:58,441 --> 00:14:00,223
결국 우리가 보지 못한 겁니다.

261
00:14:00,946 --> 00:14:04,524
대신 그 주에 페이스북 
알고리즘이 선호한 것은

262
00:14:04,524 --> 00:14:06,856
루게릭 병 모금을 위한
아이스 버킷 챌린지였습니다.

263
00:14:06,856 --> 00:14:10,512
얼음물 세례를 맞고 기부를
한다는 취지 자체는 괜찮죠.

264
00:14:10,536 --> 00:14:13,440
하지만 알고리즘이 과하게 
좋아할 만한 것이었습니다.

265
00:14:13,440 --> 00:14:15,832
기계가 결정을 내려 버린 거죠.

266
00:14:15,856 --> 00:14:19,353
페이스북이 유일한 소통 창구였다면

267
00:14:19,377 --> 00:14:23,792
중요하지만 까다로운 
쟁점이 묻힐 뻔했습니다.

268
00:14:24,117 --> 00:14:27,914
마지막으로, 이 시스템은
인간과는 다른 방식으로

269
00:14:27,938 --> 00:14:30,674
오류를 범할 수 있습니다.

270
00:14:30,698 --> 00:14:33,620
퀴즈 프로그램에서 인간 참가자를
누르고 우승을 차지한

271
00:14:33,644 --> 00:14:36,772
IBM의 인공지능 왓슨을 기억하시나요?

272
00:14:37,131 --> 00:14:38,559
대단한 실력이었죠.

273
00:14:38,583 --> 00:14:42,152
하지만 왓슨이 맞이한
마지막 문제를 보시면

274
00:14:42,659 --> 00:14:45,165
"이 도시 최대 공항 이름은
2차 대전 영웅을,

275
00:14:45,165 --> 00:14:48,067
두 번째로 큰 공항은
2차 대전 전투를 따서 지어졌다.

276
00:14:48,067 --> 00:14:49,529
(Jeopardy 대기 음악)

277
00:14:49,582 --> 00:14:50,764
답은 시카고죠.

278
00:14:50,788 --> 00:14:52,498
인간 참가자는 모두 맞췄습니다.

279
00:14:52,697 --> 00:14:57,045
하지만 왓슨은 '토론토'라고 썼죠.

280
00:14:57,069 --> 00:14:58,887
주제가 미국 도시였는데도 말이죠.

281
00:14:59,596 --> 00:15:02,497
또한 이 뛰어난 시스템은

282
00:15:02,521 --> 00:15:06,172
초등학교 2학년생도
하지 않을 실수를 저질렀죠.

283
00:15:06,823 --> 00:15:13,062
인공지능은 인간의 오류와는 
다른 방식으로 오작동할 수 있고


284
00:15:13,080 --> 00:15:16,030
그래서 우리가 예상하거나
대비하기 어렵습니다.

285
00:15:16,054 --> 00:15:19,692
능력에 맞는 직업을 갖지 
못한다면 기분 나쁠 거예요.

286
00:15:19,716 --> 00:15:23,443
그런데 그 이유가 프로그램 함수의
과부하 오류 때문이라면

287
00:15:23,467 --> 00:15:24,899
몇 배는 더 기분 나쁘겠죠.

288
00:15:24,923 --> 00:15:26,502
(웃음)

289
00:15:26,526 --> 00:15:29,312
2010년 5월에

290
00:15:29,336 --> 00:15:36,450
월가의 매도 알고리즘의 피드백 
반복문 오류로 주가가 폭락했고

291
00:15:36,456 --> 00:15:40,640
36분 만에 1조 달러어치의
가치가 사라진 일이 있었죠.

292
00:15:41,722 --> 00:15:45,659
살상 무기의 경우에 '오류'가
일어나면 어떻게 될지

293
00:15:45,659 --> 00:15:47,522
생각하고 싶지도 않습니다.

294
00:15:49,894 --> 00:15:53,684
인간의 결정에는 결함이 많죠.

295
00:15:53,708 --> 00:15:55,884
의사결정과 보안

296
00:15:55,908 --> 00:15:59,401
법정, 언론, 전쟁에서

297
00:15:59,425 --> 00:16:02,463
모두 실수가 일어나지만
저는 그래야 한다고 생각합니다.

298
00:16:02,487 --> 00:16:06,008
우리는 어려운 문제를
피할 수 없습니다.

299
00:16:06,596 --> 00:16:10,112
기계에게 책임을 떠넘겨서는 안 됩니다.

300
00:16:10,676 --> 00:16:14,884
(박수)

301
00:16:17,089 --> 00:16:21,536
인공지능이 '윤리적 문제의 
면죄부'를 주지는 않습니다.

302
00:16:22,742 --> 00:16:26,233
데이터 과학자인 프레드 베넨슨은 
이를 두고 '논리 세탁'이라 표현했죠.

303
00:16:26,233 --> 00:16:27,696
정반대 태도가 필요합니다.

304
00:16:27,696 --> 00:16:32,948
알고리즘을 의심하고 조사하고
검수하는 능력을 길러야 합니다.

305
00:16:33,380 --> 00:16:36,578
알고리즘에 대한 회계와 감사
그리고 투명성 제고 방법을

306
00:16:36,602 --> 00:16:39,047
구축해야 합니다.

307
00:16:39,380 --> 00:16:42,614
인간 사회의 가치 판단 문제에 
수학과 컴퓨터를 도입한다고 해서

308
00:16:42,638 --> 00:16:45,608
객관적인 일이 되지는 않는다는 걸

309
00:16:45,632 --> 00:16:48,016
받아들여야 합니다.

310
00:16:48,040 --> 00:16:51,673
오히려 인간 문제의 복잡성이
알고리즘을 주관적으로 만들죠.

311
00:16:52,148 --> 00:16:57,665
물론 더 나은 의사결정을 위해서라면
컴퓨터를 이용할 수도 있을 겁니다.

312
00:16:57,697 --> 00:17:03,029
하지만 우리 판단의 도덕적 책임은
우리 스스로가 짊어져야 합니다.

313
00:17:03,053 --> 00:17:05,871
알고리즘은 그 틀 안에서만 
이용되어야 할 뿐이고

314
00:17:05,895 --> 00:17:13,220
우리의 도덕적 책임을 다른 쪽에
전가하는 수단이 되어서는 안되죠.


315
00:17:13,807 --> 00:17:16,416
인공지능의 시대에는

316
00:17:16,440 --> 00:17:19,861
인간 가치와 윤리가

317
00:17:19,885 --> 00:17:22,032
더욱더 중요합니다.

318
00:17:22,056 --> 00:17:23,210
감사합니다.

319
00:17:23,234 --> 00:17:28,254
(박수)