1
00:00:00,975 --> 00:00:02,571
Алгоритмы повсюду.

2
00:00:04,111 --> 00:00:07,236
Они сортируют людей, отделяя
победителей от проигравших.

3
00:00:08,019 --> 00:00:10,283
Победители получают желаемую работу

4
00:00:10,307 --> 00:00:12,050
или выгодное кредитное предложение.

5
00:00:12,074 --> 00:00:14,725
Неудачники даже не получают
шанса на собеседование

6
00:00:15,590 --> 00:00:17,367
или платят больше за страхование.

7
00:00:18,197 --> 00:00:21,746
Нас «считывают» по секретным формулам,
которые мы зачастую не понимаем,

8
00:00:22,675 --> 00:00:25,892
без возможности обжалования решения.

9
00:00:27,240 --> 00:00:28,536
Назревает вопрос:

10
00:00:28,560 --> 00:00:31,473
что, если эти алгоритмы ошибочны?

11
00:00:33,090 --> 00:00:35,140
Для построения алгоритма
вам нужны две вещи:

12
00:00:35,164 --> 00:00:37,145
вам нужны данные о прошлых событиях

13
00:00:37,169 --> 00:00:38,730
и определение понятия «успех» —

14
00:00:38,754 --> 00:00:41,211
того, к чему вы стремитесь
и на что надеетесь.

15
00:00:41,235 --> 00:00:46,272
Вы обучаете алгоритм,
наблюдая за результатом.

16
00:00:46,296 --> 00:00:49,715
Алгоритм вычисляет всё то,
что связано с успехом.

17
00:00:49,739 --> 00:00:52,202
Какая ситуация приводит к успеху?

18
00:00:52,881 --> 00:00:54,643
Каждый из нас использует алгоритмы.

19
00:00:54,667 --> 00:00:57,385
Мы просто не записываем их
в виде формул и кодов.

20
00:00:57,409 --> 00:00:58,757
Приведу пример.

21
00:00:58,781 --> 00:01:02,097
Я использую алгоритм каждый день,
когда готовлю еду для своей семьи.

22
00:01:02,121 --> 00:01:03,597
Данные, которые я использую, —

23
00:01:04,394 --> 00:01:06,053
это ингредиенты у меня на кухне,

24
00:01:06,077 --> 00:01:07,604
моё время,

25
00:01:07,628 --> 00:01:08,861
мои цели,

26
00:01:08,885 --> 00:01:10,594
и я организовываю эти данные.

27
00:01:10,618 --> 00:01:14,869
Я не считаю эти пакетики лапши пищей.


28
00:01:14,893 --> 00:01:16,762
(Смех)

29
00:01:16,786 --> 00:01:18,631
Вот моё определение успеха:

30
00:01:18,655 --> 00:01:21,314
блюдо удалось, если мои дети едят овощи.

31
00:01:22,181 --> 00:01:25,035
Мой младший сын думает по-другому.

32
00:01:25,059 --> 00:01:27,847
Для него успех — это если он
получит много Нутеллы.

33
00:01:29,179 --> 00:01:31,405
Но определяю успех я.

34
00:01:31,429 --> 00:01:34,136
Я главная. Именно моё мнение 
имеет значение.

35
00:01:34,160 --> 00:01:36,835
Это первое правило алгоритмов.

36
00:01:36,859 --> 00:01:40,039
Алгоритмы — это мнения, встроенные в код.

37
00:01:41,562 --> 00:01:45,225
Это отличается от того, как большинство
людей воспринимают алгоритмы.

38
00:01:45,249 --> 00:01:49,753
Алгоритмы для них объективны,
истинны и научны.

39
00:01:50,387 --> 00:01:52,086
Это маркетинговый трюк.

40
00:01:53,269 --> 00:01:55,394
Этот трюк используют

41
00:01:55,418 --> 00:01:58,572
для того, чтобы запугать вас алгоритмами,

42
00:01:58,596 --> 00:02:02,257
чтобы вы доверяли им и боялись их,

43
00:02:02,281 --> 00:02:04,299
как вы доверяете математике и боитесь еë.

44
00:02:05,567 --> 00:02:10,397
Опасно вкладывать слепую веру 
в «большие данные».

45
00:02:11,684 --> 00:02:15,057
Это Кири Соареш.
Она директор средней школы в Бруклине.

46
00:02:15,081 --> 00:02:17,667
В 2011 году она рассказала,
что её учителей оценивали

47
00:02:17,691 --> 00:02:20,418
с помощью сложного секретного алгоритма —

48
00:02:20,442 --> 00:02:21,931
«модели добавленной стоимости».

49
00:02:22,505 --> 00:02:25,597
Я сказала ей: «Выясни-ка,
что это за формула и покажи мне,

50
00:02:25,621 --> 00:02:27,162
я попробую объяснить еë тебе».

51
00:02:27,186 --> 00:02:29,327
Она сказала: «Ну, я хотела
получить формулу,

52
00:02:29,351 --> 00:02:32,123
но в отделе образования мне сказали,
что это математика,

53
00:02:32,147 --> 00:02:33,693
и я не ничего пойму».

54
00:02:35,266 --> 00:02:36,604
Ситуация ухудшается.

55
00:02:36,628 --> 00:02:40,158
Газета «Нью-Йорк Пост», согласно
Закона о свободе информации,

56
00:02:40,182 --> 00:02:43,141
опубликовала инфо с именами
всех учителей и их баллами

57
00:02:43,165 --> 00:02:45,947
в попытке пристыдить их.

58
00:02:47,084 --> 00:02:50,944
Когда я сама попыталась получить формулы
и исходный код,

59
00:02:50,968 --> 00:02:53,117
мне их не дали.

60
00:02:53,141 --> 00:02:54,377
Мне отказали.

61
00:02:54,401 --> 00:02:55,575
Позже я узнала,

62
00:02:55,599 --> 00:02:58,465
что никто в Нью-Йорке
не имеет доступа к этой формуле.

63
00:02:58,489 --> 00:02:59,794
Никто её не понимал.

64
00:03:01,929 --> 00:03:05,153
Пока за дело не взялся кто-то 
умный — Гари Рубинштейн.

65
00:03:05,177 --> 00:03:08,798
Он обнаружил, что 665 учителей
в базе данных Нью-Йорка

66
00:03:08,822 --> 00:03:10,688
имели две оценки.

67
00:03:10,712 --> 00:03:12,593
Это могло бы быть, если они преподают

68
00:03:12,617 --> 00:03:15,056
математику в седьмом и восьмом классах.

69
00:03:15,080 --> 00:03:16,618
Он решил создать график.

70
00:03:16,642 --> 00:03:18,635
Каждая точка представляет собой учителя.


71
00:03:19,104 --> 00:03:21,483
(Смех)

72
00:03:21,507 --> 00:03:23,028
Что это?

73
00:03:23,052 --> 00:03:24,329
(Смех)

74
00:03:24,353 --> 00:03:27,799
Это нельзя было использовать
для индивидуального оценивания.

75
00:03:27,823 --> 00:03:29,749
Это почти что генератор случайных чисел.

76
00:03:29,773 --> 00:03:32,719
(Аплодисменты)

77
00:03:32,743 --> 00:03:33,905
Однако так и было.

78
00:03:33,929 --> 00:03:35,105
Это Сара Высоцки.

79
00:03:35,129 --> 00:03:37,304
Её уволили вместе с 205 другими учителями

80
00:03:37,328 --> 00:03:39,990
из школы в Вашингтоне округа Колумбия,

81
00:03:40,014 --> 00:03:42,923
даже не смотря на отличные рекомендации
от директора её школы

82
00:03:42,947 --> 00:03:44,375
и родителей учеников.

83
00:03:45,390 --> 00:03:47,422
Я знаю, о чём думают многие из вас,

84
00:03:47,446 --> 00:03:49,933
особенно специалисты ИТ, ИИ-эксперты.

85
00:03:49,957 --> 00:03:54,183
Вы думаете: «Ну, я бы никогда не создал
такой непоследовательный алгоритм».

86
00:03:54,853 --> 00:03:56,536
Но алгоритм может не сработать,

87
00:03:56,560 --> 00:04:01,158
и даже благие намерения могут иметь
глубоко разрушительный эффект.

88
00:04:02,531 --> 00:04:04,910
И в то время как самолёт
с ошибками в проекте

89
00:04:04,934 --> 00:04:06,935
упадëт на землю, и все это увидят,

90
00:04:06,959 --> 00:04:08,809
алгоритм с ошибками

91
00:04:10,245 --> 00:04:14,110
может работать долгое время,
бесшумно давая волю хаосу.

92
00:04:15,748 --> 00:04:17,318
Это Роджер Айлз.


93
00:04:17,342 --> 00:04:19,342
(Смех)

94
00:04:20,524 --> 00:04:22,912
Он основал Fox News в 1996 году.

95
00:04:23,346 --> 00:04:26,017
Более 20 женщин жаловались
на сексуальные домогательства.

96
00:04:26,041 --> 00:04:29,276
Они сказали, что им не дали возможности
преуспеть в Fox News.

97
00:04:29,300 --> 00:04:31,820
Его сняли и в прошлом году, но понятно,

98
00:04:31,844 --> 00:04:34,514
что проблемы так и остались нерешёнными.

99
00:04:35,654 --> 00:04:37,054
Это вызывает вопрос:

100
00:04:37,078 --> 00:04:39,962
что должны делать Fox News,
чтобы начать всё сначала?

101
00:04:41,245 --> 00:04:44,286
Что, если бы они заменили процесс найма

102
00:04:44,310 --> 00:04:45,964
машинным алгоритмом?

103
00:04:45,988 --> 00:04:47,583
Неплохо, не так ли?

104
00:04:47,607 --> 00:04:48,907
Подумайте об этом.

105
00:04:48,931 --> 00:04:51,036
Данные, какими будут данные?

106
00:04:51,060 --> 00:04:56,007
Разумно было бы проанализировать 21 год
опыта приёма на работу в Fox News.

107
00:04:56,031 --> 00:04:57,533
Разумно.

108
00:04:57,557 --> 00:04:59,495
Как насчёт определения успеха?

109
00:04:59,921 --> 00:05:01,245
Разумным было бы выбрать

110
00:05:01,269 --> 00:05:03,047
тех, кто преуспевает в Fox News?

111
00:05:03,071 --> 00:05:06,651
Я думаю, тех, кто скажем,
проработал там четыре года

112
00:05:06,675 --> 00:05:08,329
и получил продвижение хотя бы один раз.

113
00:05:08,816 --> 00:05:10,377
Звучит разумно.

114
00:05:10,401 --> 00:05:12,755
А затем алгоритм
можно было бы натренировать.

115
00:05:12,779 --> 00:05:16,656
Он мог бы искать людей,
которые способны достичь успеха,

116
00:05:17,219 --> 00:05:21,537
узнать, какие из претендентов на должность
были успешными в прошлом.

117
00:05:21,561 --> 00:05:22,855
По этому определению.

118
00:05:24,200 --> 00:05:25,975
Подумайте о том, что произошло бы,

119
00:05:25,999 --> 00:05:28,554
если применить эту формулу
ко всем претендентам.

120
00:05:29,119 --> 00:05:30,748
Женщин можно сразу исключить,

121
00:05:31,663 --> 00:05:35,593
потому что среди них немного тех,
кто достиг успеха в прошлом.

122
00:05:39,752 --> 00:05:42,289
Алгоритмы не обеспечивают справедливости.

123
00:05:42,313 --> 00:05:45,007
Если вы безропотно,
слепо применяете алгоритмы,

124
00:05:45,031 --> 00:05:46,513
они не обеспечат честность.

125
00:05:46,537 --> 00:05:48,665
Они повторяют наш прошлый опыт,

126
00:05:48,689 --> 00:05:49,872
наши шаблоны.

127
00:05:49,896 --> 00:05:51,835
Они автоматизируют статус-кво.

128
00:05:52,718 --> 00:05:55,107
Было бы здорово, если бы
у нас был идеальный мир,

129
00:05:55,905 --> 00:05:57,217
но у нас его нет.

130
00:05:57,241 --> 00:06:01,343
Кстати, большинство компаний
обошлись без судебных процессов,

131
00:06:02,446 --> 00:06:05,034
но учёным в данных компаниях

132
00:06:05,058 --> 00:06:07,247
велено следить за данными,

133
00:06:07,271 --> 00:06:09,414
чтобы сосредоточиться на их точности.

134
00:06:10,273 --> 00:06:11,654
Подумайте, что это значит.

135
00:06:11,678 --> 00:06:15,705
Поскольку все мы не лишены предвзятости, 
данные могут кодифицировать сексизм

136
00:06:15,729 --> 00:06:17,565
или другие формы дискриминации.

137
00:06:19,488 --> 00:06:20,909
Вот мысленный эксперимент,

138
00:06:20,933 --> 00:06:22,442
потому что мне они нравятся:

139
00:06:23,574 --> 00:06:26,549
общество с полной сегрегацией —

140
00:06:28,247 --> 00:06:31,575
расовое разделение во всех 
городах, всех районах.

141
00:06:31,599 --> 00:06:34,636
Мы отправляем полицию только
в окрестности меньшинств

142
00:06:34,660 --> 00:06:36,053
расследовать преступления.

143
00:06:36,451 --> 00:06:38,670
Данные об аресте будут очень предвзятыми.

144
00:06:39,851 --> 00:06:42,426
А что, если, мы нашли бы специалистов

145
00:06:42,450 --> 00:06:46,611
и заплатили им за прогноз
места следующего преступления?

146
00:06:47,275 --> 00:06:48,762
Окрестность меньшинств.

147
00:06:49,285 --> 00:06:52,410
Или же за прогнозирование
следующего преступника?

148
00:06:52,888 --> 00:06:54,283
Кто-то из меньшинств.

149
00:06:55,949 --> 00:06:59,490
Специалисты обработки данных хвалятся тем,
насколько гениальны и точны

150
00:06:59,514 --> 00:07:00,811
их модели,

151
00:07:00,835 --> 00:07:02,134
и они правы.

152
00:07:03,951 --> 00:07:08,566
Теперь реальность не настолько радикальна,
но у нас есть серьёзное разделение

153
00:07:08,590 --> 00:07:09,877
во многих городах,

154
00:07:09,901 --> 00:07:11,794
и у нас есть много доказательств

155
00:07:11,818 --> 00:07:14,506
предвзятости
в политической и судебной системах.

156
00:07:15,632 --> 00:07:18,447
И мы прогнозируем горячие точки —

157
00:07:18,471 --> 00:07:20,001
места преступлений.

158
00:07:20,401 --> 00:07:24,267
И мы на самом деле предсказываем
преступления отдельных лиц,

159
00:07:24,291 --> 00:07:26,061
преступные действия индивидов.

160
00:07:26,972 --> 00:07:30,935
Новостной ресурс ProPublica
недавно рассмотрел

161
00:07:30,959 --> 00:07:32,983
один из алгоритмов — «риск рецидива»,

162
00:07:33,007 --> 00:07:34,170
как его называют,

163
00:07:34,194 --> 00:07:37,388
который используется во Флориде
при вынесения приговора судьями.

164
00:07:38,411 --> 00:07:41,996
Бернар, чернокожий человек слева, 
получил 10 из 10.

165
00:07:43,179 --> 00:07:45,186
Дилан, справа, — 3 из 10.

166
00:07:45,210 --> 00:07:47,711
10 из 10 — это высокий риск.
3 из 10 — низкий риск.

167
00:07:48,598 --> 00:07:50,983
Они оба были привлечены
за хранение наркотиков.

168
00:07:51,007 --> 00:07:52,161
Они оба имели аресты,

169
00:07:52,185 --> 00:07:54,991
но у Дилана было уголовное преступление,

170
00:07:55,015 --> 00:07:56,191
а у Бернарда нет.

171
00:07:57,818 --> 00:08:00,884
Это имеет значение, потому
что чем выше оценка,

172
00:08:00,908 --> 00:08:04,381
тем больше вероятность того, что вам
дадут более длительный срок.

173
00:08:06,294 --> 00:08:07,588
Что происходит?

174
00:08:08,526 --> 00:08:09,858
«Отмывание» данных. 


175
00:08:10,930 --> 00:08:15,357
Это процесс сокрытия правды

176
00:08:15,381 --> 00:08:17,202
в «чёрном ящике» алгоритмов,

177
00:08:17,226 --> 00:08:18,516
алгоритмов объективных

178
00:08:19,320 --> 00:08:20,888
и заслуживающих одобрения. 


179
00:08:23,118 --> 00:08:25,503
Они секретны, важны и разрушительны.

180
00:08:25,527 --> 00:08:28,014
Я придумала термин для них:

181
00:08:28,038 --> 00:08:30,037
«оружие математического уничтожения».

182
00:08:30,061 --> 00:08:31,625
(Смех)

183
00:08:31,649 --> 00:08:34,703
(Аплодисменты)

184
00:08:34,727 --> 00:08:37,081
Они повсюду, и это не ошибка.

185
00:08:37,695 --> 00:08:41,418
Частные компании строят

186
00:08:41,442 --> 00:08:42,834
частные алгоритмы для себя.

187
00:08:43,214 --> 00:08:46,428
Даже алгоритмы для учителей и полиции

188
00:08:46,452 --> 00:08:48,321
были построены частными компаниями

189
00:08:48,345 --> 00:08:50,576
и проданы государственным учреждениям.

190
00:08:50,600 --> 00:08:52,473
Они называют это своим «секретом» —

191
00:08:52,497 --> 00:08:54,625
вот почему они не рассказывают ничего.

192
00:08:54,649 --> 00:08:56,869
Это также частная власть.

193
00:08:57,924 --> 00:09:02,619
Они пользуются преимуществом,
обеспеченным секретностью.

194
00:09:05,114 --> 00:09:07,928
Так как всё частное

195
00:09:07,962 --> 00:09:09,260
и присутствует конкуренция,

196
00:09:09,280 --> 00:09:11,560
свободный рынок — это выход.

197
00:09:11,584 --> 00:09:12,833
Но это не так.

198
00:09:12,857 --> 00:09:15,977
В этой несправедливости — куча денег.

199
00:09:17,127 --> 00:09:20,496
И мы не рациональны
с точки зрения экономики.

200
00:09:21,031 --> 00:09:22,323
Мы все предвзяты.

201
00:09:22,960 --> 00:09:26,337
Мы все расисты и фанатики, к сожалению,

202
00:09:26,361 --> 00:09:28,380
часто подсознательно.

203
00:09:29,352 --> 00:09:32,433
Мы это знаем, но, в совокупности,

204
00:09:32,457 --> 00:09:35,677
социологи демонстрируют это

205
00:09:35,701 --> 00:09:37,366
своими экспериментами.

206
00:09:37,390 --> 00:09:39,958
Они рассылают заявки
квалифицированных работников,

207
00:09:39,982 --> 00:09:42,483
и по их именам можно понять,

208
00:09:42,507 --> 00:09:44,213
белые они или чернокожие.

209
00:09:44,237 --> 00:09:46,931
И результаты всегда разочаровывают.

210
00:09:47,510 --> 00:09:49,281
Мы предвзяты

211
00:09:49,305 --> 00:09:52,734
и внедряем предубеждения в алгоритмы,

212
00:09:52,758 --> 00:09:54,570
отбирая данные.

213
00:09:54,594 --> 00:09:57,337
Вот я решила не думать о лапше,

214
00:09:57,361 --> 00:09:58,986
я решила, что это неприемлемо.

215
00:09:59,010 --> 00:10:04,694
Но, доверяя собранным ранее данным

216
00:10:04,718 --> 00:10:06,732
и выбирая своё определение успеха,

217
00:10:06,756 --> 00:10:10,739
можно ли ожидать, что алгоритмы
окажутся непредвзятыми?

218
00:10:10,763 --> 00:10:13,119
Нет. Мы должны их проверять.

219
00:10:14,015 --> 00:10:15,964
Мы должны проверять их на справедливость.

220
00:10:15,984 --> 00:10:18,609
Хорошей новостью является то,
что мы можем это сделать.

221
00:10:18,633 --> 00:10:21,985
Алгоритмы можно допросить,

222
00:10:22,009 --> 00:10:24,043
и они всегда скажут нам правду.

223
00:10:24,067 --> 00:10:26,560
И мы можем их исправить.
Мы можем их улучшить.

224
00:10:26,584 --> 00:10:28,959
Это алгоритмический аудит,

225
00:10:28,983 --> 00:10:30,662
и я вам сейчас объясню.

226
00:10:30,686 --> 00:10:32,882
Во-первых — проверка целостности данных.

227
00:10:34,132 --> 00:10:37,539
Для алгоритма определения риска
рецидива, о котором я говорила ранее,

228
00:10:37,582 --> 00:10:41,155
проверка целостности данных
означает принятие факта о том,

229
00:10:41,179 --> 00:10:44,705
что в США белые и чёрные курят
марихуану одинаково,

230
00:10:44,729 --> 00:10:47,214
но чернокожих чаще задерживают.

231
00:10:47,238 --> 00:10:50,422
Вероятность ареста в 4–5 раз выше,
в зависимости от района.

232
00:10:51,317 --> 00:10:54,143
Как это выглядит в других сферах права,

233
00:10:54,167 --> 00:10:55,618
и как это можно объяснить?

234
00:10:56,162 --> 00:10:59,201
Во-вторых — успех,

235
00:10:59,225 --> 00:11:00,606
проверьте его.

236
00:11:00,630 --> 00:11:03,382
Помните? Алгоритм принятия на работу?

237
00:11:03,406 --> 00:11:06,571
У кого стаж четыре года
и одно продвижение?

238
00:11:06,595 --> 00:11:08,364
Это — успешный сотрудник,

239
00:11:08,388 --> 00:11:11,467
но это и тот, кого поддерживает
культура компании.

240
00:11:12,089 --> 00:11:14,015
И это может быть довольно предвзятым.

241
00:11:14,039 --> 00:11:16,104
Нам нужно разделять эти две вещи.

242
00:11:16,128 --> 00:11:18,554
Вот слепое cобеседование

243
00:11:18,578 --> 00:11:19,774
для примера.

244
00:11:19,798 --> 00:11:22,554
Прослушивают людей, не видя их.

245
00:11:22,946 --> 00:11:24,877
Я думаю о том,

246
00:11:24,901 --> 00:11:28,318
что прослушивающие люди решили, что важно

247
00:11:28,342 --> 00:11:30,371
для них, а что нет.

248
00:11:30,395 --> 00:11:32,454
И больше они не отвлекаются на эту тему.

249
00:11:32,961 --> 00:11:35,710
Когда начались «слепые оркестровые
прослушивания»,

250
00:11:35,734 --> 00:11:39,178
число женщин в оркестрах
выросло в пять раз.

251
00:11:40,253 --> 00:11:42,268
Затем мы должны учитывать точность.

252
00:11:43,233 --> 00:11:46,967
Тут модель добавленной стоимости
для учителей провалилась бы сразу.

253
00:11:47,578 --> 00:11:49,740
Конечно, нет идеальных алгоритмов,

254
00:11:50,620 --> 00:11:54,225
поэтому мы должны учитывать
ошибки всех алгоритмов.

255
00:11:54,836 --> 00:11:59,195
Когда бывают ошибки,
к кому эта модель не подходит?

256
00:11:59,850 --> 00:12:01,568
Какова цена этой неудачи?

257
00:12:02,434 --> 00:12:04,641
И, наконец, мы должны рассмотреть

258
00:12:05,973 --> 00:12:08,159
долгосрочные эффекты алгоритмов,

259
00:12:08,866 --> 00:12:11,073
петли обратной связи.

260
00:12:11,586 --> 00:12:12,822
Это звучит абстрактно,

261
00:12:12,846 --> 00:12:15,510
но представьте, если бы об этом
подумали творцы Facebook,

262
00:12:16,270 --> 00:12:21,125
прежде чем они решили показать нам
публикации наших друзей.

263
00:12:21,761 --> 00:12:24,995
У меня есть ещё два сообщения,
одно для ИТ специалистов.

264
00:12:25,450 --> 00:12:28,859
Ребята, мы не должны быть судьями правды,

265
00:12:29,520 --> 00:12:33,303
мы должны передавать этику

266
00:12:33,327 --> 00:12:34,621
широкой общественности.


267
00:12:35,579 --> 00:12:37,712
(Аплодисменты)


268
00:12:37,736 --> 00:12:39,292
А для остальных, 


269
00:12:40,011 --> 00:12:41,407
не специалистов ИТ:

270
00:12:41,431 --> 00:12:42,929
это не математический тест.

271
00:12:43,632 --> 00:12:44,980
Это политическая борьба.

272
00:12:46,587 --> 00:12:50,494
Нужна отчётность собственников алгоритмов.

273
00:12:52,118 --> 00:12:53,617
(Аплодисменты)

274
00:12:53,641 --> 00:12:57,866
Эре слепой веры в «большие данные» конец!

275
00:12:57,890 --> 00:12:59,057
Спасибо большое.

276
00:12:59,081 --> 00:13:04,384
(Аплодисменты)