1
00:00:00,975 --> 00:00:02,571
알고리즘은 어디나 있죠.

2
00:00:04,111 --> 00:00:07,236
그걸로 승자와 패자가 갈리고 나뉘어

3
00:00:08,019 --> 00:00:09,784
승자는 직장을 구하거나

4
00:00:10,354 --> 00:00:12,074
신용카드 조건도 좋아지지만

5
00:00:12,074 --> 00:00:14,725
패자는 면접기회조차 없거나

6
00:00:15,590 --> 00:00:17,367
보험료도 더 부담하죠.

7
00:00:18,197 --> 00:00:21,746
이해도 못하는 은밀한 공식으로
점수 매겨지지만

8
00:00:22,675 --> 00:00:25,892
보통은 거기에 이견을 제시할
기회조차 없습니다.

9
00:00:27,240 --> 00:00:28,536
이러면 질문이 생깁니다:

10
00:00:28,560 --> 00:00:31,413
알고리즘이 잘못됐다면
어떤 일이 발생할까요?

11
00:00:33,100 --> 00:00:35,140
알고리즘 개발엔
두 가지가 필요합니다.

12
00:00:35,164 --> 00:00:37,145
과거에 있었던 일에 대한 자료와

13
00:00:37,169 --> 00:00:38,444
우리가 찾고 종종 원하는

14
00:00:38,444 --> 00:00:40,661
성공이란 것에 대한 정의죠.

15
00:00:41,235 --> 00:00:46,272
저희는 이걸 들여다보고 분석해서 
알고리듬을 훈련시킵니다

16
00:00:46,296 --> 00:00:49,715
알고리즘은 성공과 관련된 게
뭔지 알아내죠.

17
00:00:49,739 --> 00:00:52,202
어떤 상황이면 성공하게 될까요?

18
00:00:52,881 --> 00:00:54,643
실제 우리 모두는
알고리즘을 사용합니다.

19
00:00:54,667 --> 00:00:57,385
그저 이걸 코드로 형식화하지
않았을 뿐인데

20
00:00:57,409 --> 00:00:58,241
예를 들어 볼게요.

21
00:00:58,241 --> 00:01:01,367
저는 매일 가족들의 식사를
준비할 때 알고리즘을 이용합니다.

22
00:01:02,121 --> 00:01:03,597
제가 이용하는 자료는

23
00:01:04,394 --> 00:01:06,027
주방에 있는 재료

24
00:01:06,027 --> 00:01:07,604
제게 주어진 시간

25
00:01:07,628 --> 00:01:08,941
하고 싶은 요리 등으로

26
00:01:08,948 --> 00:01:10,113
제가 직접 관리하는 것들이죠.

27
00:01:10,623 --> 00:01:14,473
개인적으로 저는 라면같은 즉석 식품은
요리로 치지 않습니다.

28
00:01:14,893 --> 00:01:16,762
(웃음)

29
00:01:16,786 --> 00:01:18,631
제가 정의하는 성공은 이겁니다.

30
00:01:18,655 --> 00:01:21,404
아이들이 채소를 먹는다면
성공한 식사가 되는 건데

31
00:01:22,181 --> 00:01:25,555
제 막내 아들이 차렸다면 생각했을
성공과는 아주 다르죠.

32
00:01:25,555 --> 00:01:27,627
막내는 누텔라 초코잼만 듬뿍 먹어도
성공이라 했을 테니까요.

33
00:01:29,179 --> 00:01:31,405
하지만 성공은
제가 선택하는 겁니다.

34
00:01:31,429 --> 00:01:34,136
제가 차리는 거니까요.
제 의견이 중요한 거죠.

35
00:01:34,160 --> 00:01:36,835
이것이 알고리즘의
첫 번째 규칙입니다.

36
00:01:36,859 --> 00:01:40,039
알고리즘이란 코드에 담긴
의견입니다.

37
00:01:41,562 --> 00:01:45,145
여러분과 대부분의 사람들이 생각하는 
알고리즘과는 매우 다르죠.

38
00:01:45,165 --> 00:01:49,669
사람들은 알고리즘이 객관적이며
사실이고 과학적이라고 생각하지만

39
00:01:50,387 --> 00:01:52,086
이건 마케팅 상술일 뿐입니다.

40
00:01:53,269 --> 00:01:55,394
이것은 또한 그 알고리즘으로

41
00:01:55,418 --> 00:01:58,572
여러분을 위협하고 여러분이 알고리즘을

42
00:01:58,596 --> 00:02:02,257
신뢰하고 두려워하게 만들려는
마케팅 상술인데

43
00:02:02,281 --> 00:02:04,299
왜냐하면 여러분들이 수학을 믿고
두려워하니까요.

44
00:02:05,567 --> 00:02:10,397
빅 데이터를 맹신하면
많은 것이 잘못될 수 있습니다.

45
00:02:11,684 --> 00:02:15,057
이분은 브룩클린의 어느 고등학교 
교장인 키리 소어스 씨인데

46
00:02:15,081 --> 00:02:18,637
2011년에 저에게 
교사들의 인사 고과 평가에 


47
00:02:18,691 --> 00:02:20,418
복잡하고 비밀스런 알고리즘인

48
00:02:20,442 --> 00:02:22,111
"가치-부가 모델"을 쓴다고 했죠.

49
00:02:22,505 --> 00:02:24,936
제가 그랬죠. "음, 공식이 뭔지
파악하고 보여주세요.

50
00:02:24,936 --> 00:02:26,097
제가 설명해 드릴게요."

51
00:02:27,001 --> 00:02:28,753
그랬더니
"음, 공식을 구하려고 했지만

52
00:02:28,766 --> 00:02:31,954
교육부 담당자가 그러는데 그건 수학이라

53
00:02:31,958 --> 00:02:33,418
제가 봐도 모를 겁니다"라고 했대요.

54
00:02:35,382 --> 00:02:36,325
설상가상인 건

55
00:02:36,625 --> 00:02:40,134
뉴욕포스트지에서 정보자유법에 따라
정보공개를 신청한 후

56
00:02:40,134 --> 00:02:42,728
모든 선생님의 이름과 점수를 입수해서

57
00:02:42,728 --> 00:02:45,701
일종의 선생님 망신 주기로
기사화 했어요.

58
00:02:46,931 --> 00:02:50,437
제가 같은 방법으로 이 공식과
소스코드를 찾으려고 했더니

59
00:02:50,849 --> 00:02:52,845
허가할 수 없다고 하더라고요.

60
00:02:53,129 --> 00:02:53,999
거부 당한 겁니다.

61
00:02:53,999 --> 00:02:55,053
그 후 알게된 건데

62
00:02:55,377 --> 00:02:58,282
뉴욕의 어느 누구도 그 공식은
접근할 수 없었어요.

63
00:02:58,472 --> 00:02:59,552
아는 사람도 없었죠.

64
00:03:02,032 --> 00:03:04,477
그러다 게리 루빈스타인이라는 아주
똑똑한 사람이 여기 관여하게 됩니다.

65
00:03:05,017 --> 00:03:08,480
그가 뉴욕 포스트 자료에서
665명의 선생님을 찾아내 봤더니

66
00:03:08,480 --> 00:03:10,272
점수가 두 가지였어요.

67
00:03:10,792 --> 00:03:12,994
한 분이 7학년 수학과 8학년 수학을

68
00:03:12,994 --> 00:03:14,483
함께 가르치면 생기는 일입니다.

69
00:03:15,097 --> 00:03:16,482
게리가 이걸로 그림을 그려봤어요.

70
00:03:16,482 --> 00:03:18,509
점 하나 하나가 선생님 한 분입니다.

71
00:03:19,133 --> 00:03:21,363
(웃음)

72
00:03:21,563 --> 00:03:22,729
저건 뭡니까?

73
00:03:22,729 --> 00:03:24,483
(웃음)

74
00:03:24,483 --> 00:03:27,549
개인 인사 고과에 정말 이용하지 
말았어야 할 프로그램이었던 겁니다.

75
00:03:27,549 --> 00:03:29,508
거의 난수 생성기네요.

76
00:03:29,508 --> 00:03:32,654
(박수)

77
00:03:32,654 --> 00:03:33,507
하지만 실제로 활용됐습니다.

78
00:03:33,507 --> 00:03:34,560
이분은 사라 와이사키 선생님입니다.

79
00:03:34,560 --> 00:03:36,726
다른 205명의 선생님과 함께

80
00:03:36,726 --> 00:03:39,257
워싱턴 DC 학군에서 해직되셨죠.

81
00:03:40,047 --> 00:03:42,943
교장이나 학생들 학부모로부터
높은 평가를 받았음에도

82
00:03:42,943 --> 00:03:44,380
어쩔 수 없었어요.

83
00:03:45,270 --> 00:03:47,761
여러분들, 특히 여기 데이터 과학자,
인공지능 과학자분들이

84
00:03:47,761 --> 00:03:50,144
무슨 생각들 하시는지 압니다.
이렇게 생각하시겠죠.

85
00:03:50,144 --> 00:03:53,729
"음, 난 저런 일관성 없는
알고리즘은 절대 안 만들어."

86
00:03:54,829 --> 00:03:56,465
하지만 알고리즘도 잘못될 수 있고

87
00:03:56,465 --> 00:04:00,720
좋은 의도에도 심각히 파괴적인
결과로 이끌 수 있습니다.

88
00:04:02,478 --> 00:04:04,802
설계가 잘못된 비행기는

89
00:04:04,802 --> 00:04:06,894
땅으로 추락하고 그러면
모두가 알 수 있지만

90
00:04:06,894 --> 00:04:08,942
설계가 잘못된 알고리즘은

91
00:04:10,336 --> 00:04:13,851
오랜 시간에 걸쳐 조용히
우리를 파멸시킵니다.

92
00:04:15,641 --> 00:04:17,260
이분은 로저 에일즈씨입니다.

93
00:04:18,120 --> 00:04:19,734
(웃음)

94
00:04:20,564 --> 00:04:22,664
1996년 폭스 뉴스를 세웠죠.

95
00:04:23,374 --> 00:04:26,008
20명 이상의 여성들이
성희롱을 당했다고 했습니다.

96
00:04:26,008 --> 00:04:28,702
그들에 따르면 여자들은 폭스 뉴스에서
성공할 수 없었다고 해요.

97
00:04:29,175 --> 00:04:31,470
그는 작년에 쫓겨 났지만
우리는 최근에도

98
00:04:31,470 --> 00:04:34,438
그 문제가 여전하다는 걸
접하고 있습니다.

99
00:04:35,748 --> 00:04:37,227
여기서 의문이 떠오릅니다.

100
00:04:37,227 --> 00:04:39,651
분위기를 쇄신하려면 폭스 뉴스는
뭘 해야 할까요?

101
00:04:41,271 --> 00:04:44,190
음, 거기 고용 절차를

102
00:04:44,190 --> 00:04:45,651
기계 학습 알고리즘으로 
바꾸면 어떨까요?

103
00:04:45,651 --> 00:04:46,651
괜찮은 생각이죠? 안 그래요?

104
00:04:47,491 --> 00:04:48,207
생각해 보세요.

105
00:04:48,927 --> 00:04:50,871
자료, 자료는 어떤 거면 될까요?

106
00:04:50,871 --> 00:04:55,605
지난 21년간 팍스 뉴스 지원자의
자료면 합당하겠죠.

107
00:04:56,059 --> 00:04:56,811
합리적입니다.

108
00:04:57,591 --> 00:04:59,235
성공에 대한 정의는 어떨까요?

109
00:04:59,885 --> 00:05:01,046
합리적인 선택이라면

110
00:05:01,046 --> 00:05:02,921
음, 폭스 뉴스에서 성공한 사람
정도면 어때요?

111
00:05:02,921 --> 00:05:06,659
제 생각에 예를 들어
4년 정도 근무하면서

112
00:05:06,659 --> 00:05:08,056
적어도 한 번쯤 승진한 거면
될 듯한데.

113
00:05:08,829 --> 00:05:09,761
그럴 듯합니다.


114
00:05:10,391 --> 00:05:12,680
이제 알고리즘은 학습할 수 있습니다.

115
00:05:12,680 --> 00:05:16,629
무엇이 성공의 원인인가를 학습해
이 정의에 따라

116
00:05:16,629 --> 00:05:21,339
과거에 어떤 지원자가 성공했는지
찾아내도록 훈련한

117
00:05:21,339 --> 00:05:22,683
알고리즘이 생기겠죠.

118
00:05:24,163 --> 00:05:26,082
이제 그걸 지금의
지원자들에게 적용하면

119
00:05:26,082 --> 00:05:28,023
어떤 일이 발생할지 생각해 봅시다.

120
00:05:29,223 --> 00:05:30,631
여성은 배제될 겁니다.

121
00:05:31,511 --> 00:05:35,037
과거에 성공한 경력이 
있을 것 같지 않기 때문이죠.

122
00:05:39,797 --> 00:05:41,769
아무 생각 없이 맹목적으로 이용한다고

123
00:05:41,769 --> 00:05:44,926
알고리즘으로 세상이
공평해지진 않습니다.

124
00:05:44,926 --> 00:05:46,118
그걸로 세상이 공정해지진 않아요.

125
00:05:46,118 --> 00:05:49,565
단지 과거의 관행과 우리 
행동의 유형을 따라할 뿐입니다.

126
00:05:49,701 --> 00:05:51,726
현상태를 자동화하는 거죠.

127
00:05:52,666 --> 00:05:54,898
우리의 현재가 완벽하다면
훌륭한 알고리즘이겠지만

128
00:05:55,838 --> 00:05:56,741
현실은 완벽하지 않습니다.

129
00:05:57,281 --> 00:06:00,863
그리고 여기에 대부분의 기업이
난처한 소송에 휘말리진 않아도

130
00:06:02,323 --> 00:06:04,468
그런 기업의 데이터 과학자들은

131
00:06:04,988 --> 00:06:06,899
그 데이터에 따라 일하도록

132
00:06:07,269 --> 00:06:09,525
정확성에 집중하도록
요구받고 있습니다.

133
00:06:10,268 --> 00:06:11,273
무슨 뜻일지 생각해 보세요.

134
00:06:11,273 --> 00:06:15,764
우리는 모두 편견이 있기 때문에
성차별이나 다른 어떤 편견을

135
00:06:15,764 --> 00:06:16,999
코드에 넣을 수 있습니다.

136
00:06:19,547 --> 00:06:20,739
사고 실험 해봅시다.

137
00:06:20,739 --> 00:06:21,566
제가 좋아하니까

138
00:06:23,690 --> 00:06:26,513
완벽하게 분리된 사회

139
00:06:28,251 --> 00:06:31,040
인종으로도 분리되고, 각 도시도
이웃도 분리되고

140
00:06:31,510 --> 00:06:35,560
사회적 약자의 거주지역에만
경찰을 보내 범죄를 조사한다고 해보죠.

141
00:06:36,405 --> 00:06:38,462
그 검거율 자료는
아주 편향되었을 겁니다.

142
00:06:39,445 --> 00:06:43,608
거기에, 만약 데이터 과학자들과
고용된 데이터 분석가들에게

143
00:06:43,608 --> 00:06:46,413
다음 번엔 어디서 범죄가 생길지
예측하게 한다면 어떻게 될까요?

144
00:06:47,193 --> 00:06:48,304
사회적 약자의 거주 지역일 겁니다.

145
00:06:48,624 --> 00:06:52,135
혹은 다음 번 범죄자가 누구일지
예측케 한다면 누가 될까요?

146
00:06:52,785 --> 00:06:53,604
사회적 약자겠죠.

147
00:06:55,861 --> 00:06:59,110
그 데이터 과학자는 자신의 모델이
얼마나 대단하고 정확한지

148
00:06:59,110 --> 00:07:00,331
자랑할 것이고

149
00:07:00,771 --> 00:07:01,628
그게 맞겠죠.

150
00:07:03,948 --> 00:07:06,716
지금 현실은 저렇게 극단적이진 않아도
우리는 많은 도시와 마을에서

151
00:07:06,716 --> 00:07:09,731
심각한 인종차별이 있고

152
00:07:09,731 --> 00:07:14,101
차별적인 경찰 활동과
법 집행에 대한 증거는 차고 넘칩니다.

153
00:07:15,731 --> 00:07:18,081
그리고 우범지역, 바로 범죄가
발생할 것 같은 장소를

154
00:07:18,081 --> 00:07:19,859
실제로도 예측합니다.

155
00:07:20,379 --> 00:07:24,397
또한 우리는 실제로 개인의
범죄 가능성을 예측하죠.

156
00:07:24,397 --> 00:07:25,834
개인적 범죄성이라고 합니다.

157
00:07:26,864 --> 00:07:30,068
뉴스 조직인 프로 퍼블리카는 최근

158
00:07:30,068 --> 00:07:32,696
어느 "재범 위험성 평가"
알고리즘을 살펴 봤습니다.

159
00:07:32,699 --> 00:07:33,740
전문가들은 그렇게 부르더군요.

160
00:07:33,740 --> 00:07:36,961
플로리다주에서 판사가 형을 
선고하는 동안 사용하고 있죠.

161
00:07:38,288 --> 00:07:41,737
왼쪽의 흑인 버너드는 
10점 만점에 10점을 받았습니다.

162
00:07:43,197 --> 00:07:44,955
오른쪽 딜런은 
10점 만점에 3점을 받았고요.

163
00:07:45,245 --> 00:07:47,615
10점 만점에 10점, 고위험군.
10점 만점에 3점, 저위험군.

164
00:07:48,535 --> 00:07:50,371
둘 다 불법약물 소지혐의로
재판 중이었습니다.

165
00:07:50,781 --> 00:07:51,938
둘 다 전과가 있었지만

166
00:07:51,938 --> 00:07:54,581
딜런은 중범죄 전과자였고

167
00:07:54,941 --> 00:07:55,918
버너드는 그렇지 않았죠.

168
00:07:57,806 --> 00:08:00,838
이게 중요한데 왜냐하면
점수가 높으면 높을수록

169
00:08:00,850 --> 00:08:04,051
더 긴 형기를 선고받을 수
있기 때문입니다.

170
00:08:06,061 --> 00:08:07,252
도대체 무슨 일이 벌어지고 있죠?

171
00:08:08,356 --> 00:08:09,716
데이터 세탁이죠.

172
00:08:10,910 --> 00:08:13,358
바로 기술자들이 추악한 진실을

173
00:08:13,358 --> 00:08:16,967
블랙 박스 알고리즘 속에 숨겨버리고

174
00:08:16,967 --> 00:08:19,018
그것을 객관적이라 능력주의적이라

175
00:08:19,018 --> 00:08:20,381
부르는 과정입니다.

176
00:08:23,041 --> 00:08:25,269
그 알고리즘이 비밀이고,
중요하면서 파괴적이기 때문에

177
00:08:25,269 --> 00:08:27,737
저는 이런 알고리즘에
새 이름을 지었습니다.

178
00:08:27,737 --> 00:08:29,601
"대량 수학 살상 무기."

179
00:08:29,885 --> 00:08:30,772
(웃음)

180
00:08:30,782 --> 00:08:34,724
(박수)

181
00:08:34,724 --> 00:08:36,632
어느 곳에나 퍼져 있고
그게 실수가 아닙니다.

182
00:08:37,702 --> 00:08:42,355
이들이 자신들의 목적을 위해
자신들만의 알고리즘을 만든 사기업입니다.

183
00:08:43,120 --> 00:08:46,197
심지어 제가 언급한 교직원이나
경찰관 고과평가 프로그램도

184
00:08:46,197 --> 00:08:47,749
개인 기업이 만들고

185
00:08:47,749 --> 00:08:49,749
정부가 돈을 들여 산 겁니다.

186
00:08:50,684 --> 00:08:52,444
그들은 이 알고리즘을
"비법"이라고 하고

187
00:08:52,444 --> 00:08:54,272
그래서 공개 못한다는 건데

188
00:08:54,722 --> 00:08:56,714
그게 사기업의 힘이죠.

189
00:08:57,844 --> 00:09:02,124
그들은 "불가해"라는 권력을 휘둘러
이익을 챙기고 있죠.

190
00:09:04,904 --> 00:09:07,567
여러분들 중에는 이 모든 게
사적인 문제이고

191
00:09:07,567 --> 00:09:08,807
경쟁이 있으니까

192
00:09:08,807 --> 00:09:11,096
자유 시장이 다 해결할 거라고
생각하실 수도 있습니다.

193
00:09:11,611 --> 00:09:12,383
절대로 그렇지 않습니다.

194
00:09:12,590 --> 00:09:15,721
불공정한 세상에서는
많은 돈을 벌 수 있습니다.

195
00:09:17,121 --> 00:09:20,120
또한 우리는 경제적으로 
이성적 참여자가 아닙니다.

196
00:09:20,960 --> 00:09:22,167
우리에겐 편견이 있죠.

197
00:09:23,037 --> 00:09:25,361
우리는 원하지 않고
심지어 알지도 못하는 방식으로

198
00:09:25,361 --> 00:09:28,030
모두 인종차별주의자이고
편견에 사로잡혀 있습니다.

199
00:09:29,350 --> 00:09:32,122
전체적으로 우리는 전부 
이걸 알고 있습니다.

200
00:09:32,122 --> 00:09:35,147
왜냐하면 많은 사회학자들이
자신들만의 실험으로

201
00:09:35,147 --> 00:09:36,797
끊임없이 이걸 증명했기 때문이죠.

202
00:09:37,227 --> 00:09:40,080
자격은 똑같았지만 백인일 것
같은 이름을 적은 지원서와

203
00:09:40,080 --> 00:09:43,985
흑인일 것 같은 이름을 적은 
지원서를 여러 장 기업에 제출했는데

204
00:09:43,985 --> 00:09:46,544
언제나 실망적이었습니다.
결과는, 늘 그랬어요.

205
00:09:47,494 --> 00:09:49,161
그래서 우리는 편견을 가진 
동물이라는 겁니다.

206
00:09:49,161 --> 00:09:52,420
그리고 우리는 이런 편견을
알고리즘에 투영합니다.

207
00:09:52,420 --> 00:09:54,848
예를 들면 라면을
배제하기로 한다던지 하는 식으로

208
00:09:54,848 --> 00:09:57,286
수집할 자료를 선별하고

209
00:09:57,286 --> 00:09:58,853
저는 이것이 전혀 관계가 
없다고 생각했죠.

210
00:09:58,853 --> 00:10:04,739
하지만 실제로 생긴 과거의 사례에서 
수집된 자료를 신뢰하거나

211
00:10:04,835 --> 00:10:06,678
성공의 정의를 선택할 때

212
00:10:06,678 --> 00:10:10,133
어떻게 알고리즘이
아무탈 없기를 기대하겠습니까?

213
00:10:10,793 --> 00:10:13,159
불가능합니다.
그들의 유효성을 검증해야 합니다.

214
00:10:14,299 --> 00:10:15,707
공정성을 위해 반드시
검증이 필요합니다.

215
00:10:15,707 --> 00:10:18,094
좋은 소식은 우리가 공정성을
검증할 수 있다는 것입니다.

216
00:10:18,644 --> 00:10:21,643
알고리즘은 조사할 수 있고

217
00:10:21,903 --> 00:10:23,816
그러면 알고리즘은 매번 우리에게
진실을 말해 줄 겁니다.

218
00:10:24,126 --> 00:10:26,112
그러면 우리는 수정할 수 있죠.
알고리즘을 개선할 수 있습니다.

219
00:10:26,552 --> 00:10:28,399
저는 이걸 알고리즘 감사라고 합니다.

220
00:10:28,912 --> 00:10:29,939
어떻게 하는지 알려드리죠.

221
00:10:30,469 --> 00:10:32,639
첫 번째는 자료 진실성 검사입니다.

222
00:10:34,169 --> 00:10:36,408
제가 말씀드린
재범 위험도 알고리즘에서

223
00:10:37,508 --> 00:10:40,467
자료 진실성 확인은 미국에서
흑인과 백인 모두 같은 비율로

224
00:10:40,467 --> 00:10:44,247
대마초를 피우고 있지만
체포율은 흑인이 훨씬 높음을

225
00:10:44,247 --> 00:10:47,148
인정해야 한다는 겁니다.

226
00:10:47,148 --> 00:10:50,145
지역마다 다르지만 세 배에서
네 배까지 높죠.

227
00:10:51,445 --> 00:10:53,920
다른 범죄에서는 이런 편견이
과연 어떨까요?

228
00:10:53,920 --> 00:10:55,286
또 이걸 어떻게 반영해야 할까요?

229
00:10:56,226 --> 00:11:00,425
두 번째, 우리는 성공에 대한
정의를 다시 생각하고 따져봐야 합니다.

230
00:11:00,688 --> 00:11:03,547
고용문제 알고리즘 기억하세요?
아까 얘기했는데요.

231
00:11:03,547 --> 00:11:05,939
4년 근무하면 1번 승진을 한 사람을
찾는 알고리즘 말입니다.

232
00:11:06,539 --> 00:11:08,248
이건 성공한 직장인이긴 합니다만

233
00:11:08,248 --> 00:11:10,678
또한 그 문화에 잘 동화된
직원이기도 합니다.

234
00:11:11,718 --> 00:11:13,518
이렇게 말하면 이 알고리즘 또한
너무 한쪽으로 치우져 있죠.

235
00:11:13,518 --> 00:11:15,346
우리는 이 둘을 분리할 
필요가 있습니다.

236
00:11:16,226 --> 00:11:19,351
예로 블라인드 오케스트라 오디션을
참고할 필요가 있습니다.

237
00:11:19,362 --> 00:11:22,165
심사자들이 커튼 뒤에 있는 거죠.

238
00:11:22,945 --> 00:11:24,431
제가 여기서 찾는 것은

239
00:11:24,431 --> 00:11:27,164
무엇이 중요한지를 결정을 하고

240
00:11:27,164 --> 00:11:30,108
또 덜 중요한가를 결정하는 게
듣는 사람이라는 거죠

241
00:11:30,108 --> 00:11:32,343
그 어떤 것에도 간섭받지 않는 거죠.

242
00:11:32,983 --> 00:11:35,117
블라인드 오케스트라 오디션이 시작되면서

243
00:11:35,688 --> 00:11:38,780
오케스트라의 여성 단원 수가
5배 정도 증가했습니다.

244
00:11:40,210 --> 00:11:42,035
다음으로 정확성도 생각해봐야 합니다.

245
00:11:43,146 --> 00:11:46,345
바로 여기서 선생님들에게 적용한
가치 증강 모델이 금방 탈락합니다.

246
00:11:47,570 --> 00:11:49,378
물론 어느 알고리즘도
완벽하지 않습니다.

247
00:11:50,654 --> 00:11:54,261
그래서 모든 알고리즘의 오류를
고려해야 합니다.

248
00:11:54,771 --> 00:11:58,859
얼마나 자주 오류가 발생하고
이 모델이 안 맞는 사람은 누군가요?

249
00:11:59,729 --> 00:12:01,306
그 오류의 댓가는 얼마나 되나요?

250
00:12:02,416 --> 00:12:04,566
그리고 마지막으로
반드시 고려해야 하는 것은

251
00:12:05,936 --> 00:12:08,310
알고리즘의 장기적 영향과

252
00:12:08,830 --> 00:12:10,945
여기서 생겨나는 피드백 고리죠.

253
00:12:11,631 --> 00:12:13,090
구체적으로 와닿진 않겠지만

254
00:12:13,090 --> 00:12:16,630
페이스북 엔지니어가 친구들이
올린 글만 보여주도록 결정하기 전에

255
00:12:16,840 --> 00:12:21,067
이 점을 먼저 생각해 봤다면
과연 어땠을까요?

256
00:12:21,787 --> 00:12:24,771
제가 드릴 메세지가 둘 있는데
하나는 데이터 과학자분들 겁니다.

257
00:12:25,429 --> 00:12:28,636
데이터 과학자 여러분, 우리는
진실의 결정권자가 아닙니다.

258
00:12:29,546 --> 00:12:34,102
우리는 더 큰 사회에서 벌어지는
윤리적 토론을 번역하는 사람에 불과합니다.

259
00:12:35,421 --> 00:12:37,889
(박수)

260
00:12:37,902 --> 00:12:39,850
나머지 비데이터 과학자

261
00:12:39,850 --> 00:12:41,124
여러분

262
00:12:41,124 --> 00:12:42,531
이 문제는 수학 시험이 아닙니다.

263
00:12:43,691 --> 00:12:44,906
이것은 정치적 투쟁입니다.

264
00:12:46,560 --> 00:12:50,117
알고리즘을 지배하는 이들에게
책임을 요구할 필요가 있습니다.

265
00:12:51,867 --> 00:12:53,631
(박수)

266
00:12:53,631 --> 00:12:57,711
빅 데이터에 대한 맹신의 시기는
반드시 끝나야 합니다.

267
00:12:57,711 --> 00:12:58,781
대단히 감사합니다

268
00:12:58,781 --> 00:13:04,761
(박수)