1
00:00:00,739 --> 00:00:04,701
Meu primeiro emprego na vida foi
como programadora de computador

2
00:00:04,745 --> 00:00:06,841
já no primeiro ano de faculdade,

3
00:00:06,865 --> 00:00:08,372
praticamente uma adolescente.

4
00:00:08,889 --> 00:00:10,621
Logo que comecei a trabalhar,

5
00:00:10,645 --> 00:00:12,255
escrevendo software numa empresa,

6
00:00:12,799 --> 00:00:16,434
um gerente que trabalhava lá
se aproximou de mim

7
00:00:16,458 --> 00:00:17,926
e começou a sussurrar:

8
00:00:18,229 --> 00:00:21,090
"Ele consegue dizer se estou mentindo?"

9
00:00:21,806 --> 00:00:23,946
Não havia mais ninguém na sala.

10
00:00:23,946 --> 00:00:25,032
(Risos)

11
00:00:25,032 --> 00:00:29,421
"Quem consegue dizer se você está
mentindo? E por que estamos sussurrando?"

12
00:00:30,266 --> 00:00:33,373
O gerente apontou
para o computador na sala.

13
00:00:33,397 --> 00:00:36,493
"Ele consegue dizer se estou mentindo?"

14
00:00:37,613 --> 00:00:41,975
Bem, aquele gerente estava tendo 
um caso com a recepcionista.

15
00:00:41,999 --> 00:00:43,111
(Risos)

16
00:00:43,135 --> 00:00:45,281
E eu ainda era uma adolescente.

17
00:00:45,447 --> 00:00:47,466
Assim, gritei sussurrando de volta:

18
00:00:47,490 --> 00:00:51,114
"Sim, o computador sabe
se você está mentindo".

19
00:00:51,138 --> 00:00:52,944
(Risos)

20
00:00:52,968 --> 00:00:55,891
Eu ri, mas, na verdade,
estava rindo de mim mesma.

21
00:00:55,915 --> 00:00:59,183
Atualmente, há sistemas computacionais

22
00:00:59,207 --> 00:01:02,755
que conseguem perceber
estados emocionais e até mentiras

23
00:01:02,779 --> 00:01:04,823
ao processar rostos humanos.

24
00:01:05,248 --> 00:01:09,591
Anunciantes e até governos
estão muito interessados nisso.

25
00:01:10,319 --> 00:01:12,181
Tornei-me programadora de computador,

26
00:01:12,205 --> 00:01:15,318
pois era uma dessas crianças
loucas por matemática e ciências.

27
00:01:15,942 --> 00:01:19,050
Mas, a uma certa altura,
descobri as armas nucleares

28
00:01:19,074 --> 00:01:22,026
e passei a me preocupar
com a ética da ciência.

29
00:01:22,050 --> 00:01:23,254
Aquilo me perturbou.

30
00:01:23,278 --> 00:01:25,919
No entanto, devido
a circunstâncias familiares,

31
00:01:25,943 --> 00:01:29,241
eu também precisava começar
a trabalhar o mais rápido possível.

32
00:01:29,265 --> 00:01:32,318
Assim, pensei comigo mesma:
"Ei, vou escolher a área técnica,

33
00:01:32,318 --> 00:01:34,384
onde posso conseguir
um emprego facilmente

34
00:01:34,408 --> 00:01:38,426
e não tenho de lidar com quaisquer
questões éticas perturbadoras".

35
00:01:39,022 --> 00:01:40,551
Então escolhi os computadores.

36
00:01:40,575 --> 00:01:41,679
(Risos)

37
00:01:41,703 --> 00:01:45,113
Bem, ha, ha, ha! Eu virei a piada.

38
00:01:45,137 --> 00:01:47,891
Hoje, os cientistas da computação
constroem plataformas

39
00:01:47,915 --> 00:01:52,454
que controlam o que um bilhão
de pessoas veem todos os dias.

40
00:01:53,052 --> 00:01:56,827
Eles estão desenvolvendo carros
que poderiam decidir quem atropelar.

41
00:01:56,827 --> 00:01:57,707
(Risos)

42
00:01:57,707 --> 00:02:00,920
Estão construindo até mesmo
máquinas e armas

43
00:02:00,944 --> 00:02:03,229
que podem matar seres humanos na guerra.

44
00:02:03,253 --> 00:02:06,304
É ética o tempo todo.

45
00:02:07,183 --> 00:02:09,241
A inteligência de máquina chegou.

46
00:02:09,823 --> 00:02:13,297
Hoje em dia usamos a computação
para tomar todo tipo de decisão,

47
00:02:13,321 --> 00:02:15,207
mas também novos tipos de decisão.

48
00:02:15,231 --> 00:02:20,403
Perguntamos aos computadores coisas
que não têm apenas uma resposta correta,

49
00:02:20,427 --> 00:02:23,929
que são subjetivas, abertas
e que envolvem julgamento de valor.

50
00:02:24,002 --> 00:02:27,240
Perguntamos coisas do tipo:
"Quem a empresa deve contratar?"

51
00:02:28,096 --> 00:02:30,855
"Que atualização de qual amigo
deve ser mostrada?"

52
00:02:30,879 --> 00:02:33,535
"Qual condenado tem mais chance
de reincidir num crime?"

53
00:02:33,535 --> 00:02:36,568
"Quais notícias ou filmes devem
ser recomendados às pessoas?"

54
00:02:36,592 --> 00:02:39,964
Sim, temos usado os computadores
já faz um bom tempo,

55
00:02:39,988 --> 00:02:41,505
mas isso é diferente.

56
00:02:41,529 --> 00:02:43,596
Essa é uma virada histórica,

57
00:02:43,620 --> 00:02:48,957
pois não podemos confiar na computação
para essas decisões subjetivas

58
00:02:48,981 --> 00:02:53,285
da mesma forma que podemos confiar
na computação para pilotar aviões,

59
00:02:53,285 --> 00:02:55,684
construir pontes, ir à Lua.

60
00:02:56,129 --> 00:02:59,708
Os aviões estão mais seguros?
A ponte balançou e caiu?

61
00:02:59,732 --> 00:03:04,230
Nesses casos, concordamos de forma
bem clara com os parâmetros,

62
00:03:04,254 --> 00:03:06,493
e temos as leis da natureza como baliza.

63
00:03:06,517 --> 00:03:09,911
Nós não temos tais âncoras ou marcos

64
00:03:09,935 --> 00:03:13,898
para a tomada de decisões
em negócios humanos confusos.

65
00:03:14,262 --> 00:03:18,159
Para complicar ainda mais as coisas,
nosso software está ficando mais poderoso,

66
00:03:18,183 --> 00:03:21,956
mas também menos transparente
e mais complexo.

67
00:03:22,542 --> 00:03:24,582
Recentemente, na década passada,

68
00:03:24,606 --> 00:03:27,335
algoritmos complexos deram passos enormes.

69
00:03:27,359 --> 00:03:29,659
Eles conseguem reconhecer rostos humanos.

70
00:03:29,985 --> 00:03:32,040
Eles conseguem decifrar caligrafia.

71
00:03:32,436 --> 00:03:35,722
Eles conseguem detectar fraude
de cartão de crédito, bloquear spam,

72
00:03:35,739 --> 00:03:37,776
conseguem traduzir línguas

73
00:03:37,800 --> 00:03:40,374
e detectar tumores em exames de imagem.

74
00:03:40,398 --> 00:03:43,163
Conseguem vencer humanos
em jogos de xadrez e Go.

75
00:03:43,264 --> 00:03:47,768
Muito desse progresso vem de um método
chamado "aprendizado de máquina".

76
00:03:48,175 --> 00:03:51,362
O aprendizado de máquina é diferente
da programação tradicional

77
00:03:51,386 --> 00:03:54,971
em que instruções detalhadas, exatas
e meticulosas são dadas ao computador.

78
00:03:55,378 --> 00:03:59,560
É mais como pegar um sistema
e alimentá-lo com montes de dados,

79
00:03:59,584 --> 00:04:01,240
incluindo dados não estruturados,

80
00:04:01,264 --> 00:04:03,542
como os que geramos
em nossas vidas digitais.

81
00:04:03,566 --> 00:04:06,296
E o sistema aprende revirando esses dados.

82
00:04:06,669 --> 00:04:08,195
Além disso, fundamentalmente,

83
00:04:08,219 --> 00:04:12,599
esses sistemas não operam
sob a lógica de uma resposta única.

84
00:04:12,623 --> 00:04:15,582
Eles não produzem uma resposta
simples; é mais probabilidade:

85
00:04:15,606 --> 00:04:19,379
"É provável que isto aqui seja
o que você está procurando".

86
00:04:20,023 --> 00:04:23,093
Bem, a vantagem é que esse método
é realmente poderoso.

87
00:04:23,117 --> 00:04:25,193
O responsável pela IA do Google o chamou

88
00:04:25,217 --> 00:04:27,414
de "a eficácia irracional dos dados".

89
00:04:27,791 --> 00:04:29,254
O lado negativo é

90
00:04:29,738 --> 00:04:32,703
não sabermos realmente
o que o sistema aprendeu.

91
00:04:32,703 --> 00:04:35,010
Na realidade, é aí que está seu poder.

92
00:04:35,010 --> 00:04:38,744
Isso tem pouco a ver com dar
instruções a um computador;

93
00:04:39,200 --> 00:04:43,264
é mais como adestrar uma máquina-filhote

94
00:04:43,288 --> 00:04:45,608
que não controlamos
ou conhecemos de verdade.

95
00:04:45,608 --> 00:04:46,362
(Risos)

96
00:04:46,362 --> 00:04:48,122
Então, este é o nosso problema.

97
00:04:48,432 --> 00:04:49,427
É um problema

98
00:04:49,427 --> 00:04:52,809
quando esse sistema de inteligência
artificial entende as coisas errado.

99
00:04:52,809 --> 00:04:56,253
Também é um problema
quando ele entende certo,

100
00:04:56,277 --> 00:04:59,905
pois não sabemos distinguir os dois
quando se trata de um problema subjetivo.

101
00:04:59,929 --> 00:05:02,268
Não sabemos o que esta coisa
está pensando.

102
00:05:03,493 --> 00:05:07,456
Por exemplo, vamos imaginar
um algoritmo de contratação,

103
00:05:08,123 --> 00:05:10,542
um sistema usado para contratar pessoas,

104
00:05:10,542 --> 00:05:13,052
usando o aprendizado de máquina.

105
00:05:13,052 --> 00:05:16,631
Tal sistema teria sido treinado
em dados prévios dos empregados

106
00:05:16,655 --> 00:05:19,246
e treinado para encontrar e contratar

107
00:05:19,270 --> 00:05:22,498
pessoas como os atuais empregados
com alto desempenho na empresa.

108
00:05:22,814 --> 00:05:23,967
Parece uma coisa boa.

109
00:05:23,991 --> 00:05:25,990
Uma vez, fui a um seminário

110
00:05:26,014 --> 00:05:29,139
que reuniu gerentes e executivos
da área de recursos humanos,

111
00:05:29,163 --> 00:05:32,059
pessoas de alto nível,
usando tais sistemas para contratar.

112
00:05:32,059 --> 00:05:33,622
Eles estavam muito empolgados.

113
00:05:33,646 --> 00:05:38,299
Achavam que isso tornaria a contratação
mais objetiva, menos parcial,

114
00:05:38,323 --> 00:05:41,323
e daria a mulheres e minorias
uma melhor oportunidade

115
00:05:41,347 --> 00:05:43,535
versus gerentes humanos tendenciosos.

116
00:05:43,559 --> 00:05:46,402
Pois vejam: a contratação
humana é tendenciosa.

117
00:05:47,099 --> 00:05:48,284
Sei bem disso.

118
00:05:48,308 --> 00:05:51,313
Quero dizer, num dos meus primeiros
empregos como programadora,

119
00:05:51,337 --> 00:05:55,205
minha gerente imediata
às vezes vinha ao meu setor

120
00:05:55,229 --> 00:05:58,982
bem cedinho pela manhã
ou bem no final da tarde,

121
00:05:59,006 --> 00:06:02,068
e me chamava: "Zeynep, vamos almoçar!"

122
00:06:02,724 --> 00:06:04,891
Eu ficava atônita com o horário estranho.

123
00:06:04,915 --> 00:06:07,044
Eram quatro da tarde. Almoço?

124
00:06:07,068 --> 00:06:10,162
Eu não tinha grana, então,
almoço grátis, eu sempre ia.

125
00:06:10,358 --> 00:06:12,685
Só mais tarde percebi
o que estava acontecendo.

126
00:06:12,709 --> 00:06:17,255
Meus gerentes imediatos não tinham
confessado a seus superiores

127
00:06:17,279 --> 00:06:21,402
que a programadora que tinham contratado
para um emprego sério era uma adolescente

128
00:06:21,932 --> 00:06:24,776
que vinha trabalhar de jeans e tênis.

129
00:06:25,074 --> 00:06:27,376
Eu trabalhava direito, só parecia errada,

130
00:06:27,400 --> 00:06:29,099
e tinha a idade e o gênero errados.

131
00:06:29,123 --> 00:06:32,469
Assim, contratar independente
da raça e do gênero

132
00:06:32,493 --> 00:06:34,818
certamente me parece uma coisa boa.

133
00:06:35,031 --> 00:06:38,622
Mas, com esses sistemas,
é mais complicado, e eis a razão:

134
00:06:38,968 --> 00:06:44,759
hoje, sistemas de computador podem
inferir todo tipo de coisas sobre nós

135
00:06:44,783 --> 00:06:46,655
por meio de nossas pegadas digitais,

136
00:06:46,679 --> 00:06:49,012
mesmo coisas que não tivermos revelado.

137
00:06:49,506 --> 00:06:52,433
Eles podem inferir
nossa orientação sexual,

138
00:06:52,994 --> 00:06:54,700
os traços de nossa personalidade,

139
00:06:54,859 --> 00:06:56,362
nossas tendências políticas.

140
00:06:56,830 --> 00:07:00,515
Eles têm poder preditivo
com altos níveis de precisão.

141
00:07:01,362 --> 00:07:05,500
Vejam bem, para coisas
que não revelamos: isso é inferência.

142
00:07:05,579 --> 00:07:08,840
Tenho uma amiga que desenvolveu
um sistema de computador

143
00:07:08,864 --> 00:07:12,505
para predizer a probabilidade
de depressão clínica pós-parto

144
00:07:12,529 --> 00:07:14,205
com base em dados de mídia social.

145
00:07:14,676 --> 00:07:16,423
Os resultados são impressionantes.

146
00:07:16,492 --> 00:07:19,849
O sistema dela prevê
a probabilidade de depressão

147
00:07:19,873 --> 00:07:23,776
meses antes do surgimento
de quaisquer sintomas,

148
00:07:23,800 --> 00:07:25,173
meses antes.

149
00:07:25,197 --> 00:07:27,443
Mesmo sem sintomas, ele prevê.

150
00:07:27,467 --> 00:07:31,491
Ela espera que isso seja usado
para intervenção precoce.

151
00:07:31,491 --> 00:07:32,481
Ótimo!

152
00:07:32,911 --> 00:07:35,321
Mas coloque isso
no contexto da contratação.

153
00:07:36,027 --> 00:07:39,073
Então, nesse seminário
de gerentes de recursos humanos,

154
00:07:39,097 --> 00:07:43,470
eu me aproximei de uma gerente
com alto cargo numa grande empresa,

155
00:07:43,830 --> 00:07:48,408
e perguntei a ela: "Olhe,
e se, sem seu conhecimento,

156
00:07:48,432 --> 00:07:54,981
seu sistema estiver cortando pessoas
com probabilidade de depressão futura?

157
00:07:55,761 --> 00:07:59,587
Elas não estão deprimidas agora,
mas, no futuro, bem provavelmente.

158
00:07:59,923 --> 00:08:03,329
E se estiver cortando mulheres
com maior probabilidade de engravidar

159
00:08:03,353 --> 00:08:06,329
dentro de um ou dois anos,
mas que não estejam grávidas agora?

160
00:08:06,844 --> 00:08:12,480
E se contratar pessoas agressivas
por causa da cultura da empresa?

161
00:08:13,173 --> 00:08:15,848
Não se pode saber isso
com análises de gênero.

162
00:08:15,848 --> 00:08:17,390
Isso pode estar equacionado.

163
00:08:17,414 --> 00:08:20,971
E, como isso é aprendizado de máquina, 
não é codificação tradicional,

164
00:08:20,995 --> 00:08:25,902
não há uma variável chamada
'alto risco de depressão',

165
00:08:25,926 --> 00:08:27,759
'maior risco de gravidez',

166
00:08:27,783 --> 00:08:29,517
'pessoa altamente agressiva'.

167
00:08:29,995 --> 00:08:33,674
Não só você não sabe o que
seu sistema está selecionando,

168
00:08:33,698 --> 00:08:36,021
como também não sabe onde começar a olhar.

169
00:08:36,045 --> 00:08:37,291
É uma caixa-preta.

170
00:08:37,315 --> 00:08:40,122
Ele tem poder preditivo,
mas você não o entende.

171
00:08:40,486 --> 00:08:42,855
Que salvaguardas", perguntei, "você teria

172
00:08:42,879 --> 00:08:46,552
para se assegurar de que sua caixa-preta
não está fazendo algo suspeito?"

173
00:08:48,863 --> 00:08:52,741
Ela olhou para mim como se eu tivesse
pisado no rabo de dez cachorrinhos.

174
00:08:52,765 --> 00:08:54,013
(Risos)

175
00:08:54,037 --> 00:08:56,308
Ela olhou bem pra mim e falou:

176
00:08:56,556 --> 00:09:01,069
"Eu não quero ouvir
nem mais uma palavra sobre isso".

177
00:09:01,458 --> 00:09:03,752
E virou as costas e foi embora.

178
00:09:04,064 --> 00:09:05,550
Vejam bem, ela não foi rude.

179
00:09:05,574 --> 00:09:06,796
Era claramente:

180
00:09:06,966 --> 00:09:11,906
"O que eu não sei não é problema meu,
vai embora, agourenta".

181
00:09:11,906 --> 00:09:13,482
(Risos)

182
00:09:13,862 --> 00:09:17,701
Vejam, tal sistema pode até
ser menos tendencioso

183
00:09:17,725 --> 00:09:19,828
do que gerentes humanos de alguma forma.

184
00:09:19,852 --> 00:09:22,398
E poderia fazer sentido financeiramente.

185
00:09:22,573 --> 00:09:24,223
Mas também poderia levar

186
00:09:24,247 --> 00:09:28,995
a um constante mas sorrateiro
fechamento do mercado de trabalho

187
00:09:29,019 --> 00:09:31,312
para pessoas com alto risco de depressão.

188
00:09:31,753 --> 00:09:34,349
É esse tipo de sociedade
que queremos construir,

189
00:09:34,373 --> 00:09:36,658
sem nem sequer saber que fizemos isso,

190
00:09:36,682 --> 00:09:40,646
por termos dado às máquinas um poder
de decisão que não entendemos totalmente?

191
00:09:41,265 --> 00:09:42,893
Outro problema é o seguinte:

192
00:09:43,314 --> 00:09:47,536
esses sistemas normalmente são treinados
com dados gerados pelas nossas ações,

193
00:09:47,790 --> 00:09:49,566
vestígios humanos.

194
00:09:50,188 --> 00:09:53,796
Bem, eles poderiam estar apenas
refletindo nossas tendências,

195
00:09:54,020 --> 00:09:57,613
e esses sistemas poderiam
estar pegando nossas tendências,

196
00:09:57,637 --> 00:10:01,560
amplificando-as e devolvendo-as para nós,
enquanto dizemos a nós mesmos:

197
00:10:01,560 --> 00:10:04,829
"Estamos fazendo apenas
computação objetiva e neutra".

198
00:10:06,314 --> 00:10:09,121
Pesquisadores descobriram que, no Google,

199
00:10:10,134 --> 00:10:15,447
são mostrados menos anúncios de empregos
bem pagos às mulheres do que aos homens.

200
00:10:16,463 --> 00:10:18,993
E, numa pesquisa de nomes afro-americanos,

201
00:10:19,017 --> 00:10:23,723
é provável que nos sejam mostrados
anúncios sugerindo história criminal,

202
00:10:23,747 --> 00:10:25,624
mesmo quando não há nenhuma.

203
00:10:26,693 --> 00:10:30,242
Tais tendências escondidas
e algoritmos caixas-pretas,

204
00:10:30,266 --> 00:10:34,239
que os pesquisadores às vezes revelam,
mas às vezes desconhecemos,

205
00:10:34,263 --> 00:10:36,924
podem afetar a vida das pessoas.

206
00:10:37,958 --> 00:10:42,117
Em Wisconsin, um réu foi sentenciado
a seis anos de prisão

207
00:10:42,141 --> 00:10:44,026
por fugir da polícia.

208
00:10:44,734 --> 00:10:46,010
Talvez não saibam disso,

209
00:10:46,034 --> 00:10:50,032
mas os algoritmos estão sendo cada vez
mais usados em decisões judiciais.

210
00:10:50,056 --> 00:10:53,011
E o réu quis saber:
como esse número foi calculado?

211
00:10:53,795 --> 00:10:55,460
É uma caixa-preta comercial.

212
00:10:55,484 --> 00:11:00,049
A empresa se recusou a ter
seu algoritmo exposto no tribunal.

213
00:11:00,396 --> 00:11:04,452
Mas a ProPublica, uma organização
investigativa sem fins lucrativos,

214
00:11:04,452 --> 00:11:07,968
auditou esse algoritmo com os dados
públicos que conseguiu encontrar

215
00:11:07,992 --> 00:11:10,308
e descobriu que os resultados
eram tendenciosos,

216
00:11:10,332 --> 00:11:13,961
e seu poder preditivo era deplorável,
apenas um pouco melhor do que o acaso,

217
00:11:13,985 --> 00:11:18,401
e estava rotulando erroneamente
réus negros como futuros criminosos

218
00:11:18,425 --> 00:11:22,480
duas vezes mais do que os réus brancos.

219
00:11:23,891 --> 00:11:25,585
Vejam por exemplo este caso:

220
00:11:26,103 --> 00:11:29,955
esta mulher se atrasou
para buscar sua parente

221
00:11:29,979 --> 00:11:32,324
numa escola no Condado
de Broward, na Flórida.

222
00:11:32,757 --> 00:11:35,113
Correndo pela rua com uma amiga,

223
00:11:35,137 --> 00:11:39,236
elas viram uma bicicleta sem cadeado
e uma lambreta numa varanda

224
00:11:39,260 --> 00:11:40,892
e, impensadamente, pularam nela.

225
00:11:40,916 --> 00:11:43,389
Quando estavam indo embora,
uma mulher saiu e falou:

226
00:11:43,389 --> 00:11:45,744
"Ei! Esta é a bicicleta do meu filho!"

227
00:11:45,768 --> 00:11:49,062
Elas largaram a bicicleta,
fugiram, mas foram presas.

228
00:11:49,086 --> 00:11:52,723
Ela errou, foi infantil,
mas tinha apenas 18 anos.

229
00:11:52,747 --> 00:11:55,501
Ela tinha algumas contravenções juvenis.

230
00:11:55,808 --> 00:12:00,993
Enquanto isso, aquele homem
tinha sido preso por furtar na Home Depot

231
00:12:01,017 --> 00:12:04,171
bens no valor de US$ 85,
um crime pequeno similar.

232
00:12:04,766 --> 00:12:09,325
Mas ele tinha duas condenações
prévias por roubo à mão armada.

233
00:12:09,715 --> 00:12:13,647
No entanto, o algoritmo a classificou
como sendo de alto risco, e ele não.

234
00:12:14,586 --> 00:12:18,484
Dois anos depois, a ProPublica descobriu
que ela não tinha reincidido em crime.

235
00:12:18,484 --> 00:12:21,364
E foi muito difícil conseguir
um emprego com esse histórico.

236
00:12:21,364 --> 00:12:23,294
Ele, por outro lado, reincidiu no crime

237
00:12:23,318 --> 00:12:27,454
e agora está cumprindo oito anos
de prisão por um crime posterior.

238
00:12:28,088 --> 00:12:31,457
Claramente, precisamos
auditar nossas caixas-pretas

239
00:12:31,481 --> 00:12:34,096
e não deixá-las ter esse tipo
de poder sem controle.

240
00:12:34,120 --> 00:12:36,999
(Aplausos)

241
00:12:38,087 --> 00:12:42,329
Auditorias são ótimas e importantes,
mas não resolvem todos os problemas.

242
00:12:42,353 --> 00:12:45,101
Peguem o poderoso algoritmo do Facebook.

243
00:12:45,125 --> 00:12:49,968
Sabe aquele que escolhe o que nos mostrar

244
00:12:49,992 --> 00:12:52,276
entre todos os amigos
e páginas que seguimos?

245
00:12:52,678 --> 00:12:55,173
Será que deveriam lhe mostrar
uma outra foto de bebê?

246
00:12:55,197 --> 00:12:56,393
(Risos)

247
00:12:56,417 --> 00:12:59,013
Um comentário estranho de um conhecido?

248
00:12:59,449 --> 00:13:01,305
Uma notícia importante, mas difícil?

249
00:13:01,329 --> 00:13:02,811
Não existe resposta certa.

250
00:13:02,835 --> 00:13:05,494
O Facebook o aperfeiçoa pelo uso do site:

251
00:13:05,518 --> 00:13:07,633
curtidas, compartilhamentos, comentários.

252
00:13:08,168 --> 00:13:10,864
Em agosto de 2014,

253
00:13:10,888 --> 00:13:13,550
houve uma onda de protestos
em Ferguson, no Missouri,

254
00:13:13,574 --> 00:13:17,991
depois do assassinato de um adolescente
afro-americano por um policial branco,

255
00:13:18,015 --> 00:13:19,835
sob circunstâncias nebulosas.

256
00:13:19,835 --> 00:13:22,201
Notícias sobre os protestos
estavam por toda parte

257
00:13:22,221 --> 00:13:24,690
no "feed" do meu Twitter
sem algoritmo de filtragem,

258
00:13:24,714 --> 00:13:26,914
mas em nenhum lugar no meu Facebook.

259
00:13:27,182 --> 00:13:28,916
Seriam meus amigos no Facebook?

260
00:13:28,940 --> 00:13:30,972
Eu desabilitei o algoritmo do Facebook,

261
00:13:31,472 --> 00:13:34,320
o que é difícil,
pois o Facebook espera que nós

262
00:13:34,344 --> 00:13:36,380
fiquemos sob o controle do algoritmo,

263
00:13:36,404 --> 00:13:38,876
e vi que meus amigos
estavam falando sobre o assunto.

264
00:13:38,876 --> 00:13:41,025
Mas o algoritmo
simplesmente não mostrava.

265
00:13:41,025 --> 00:13:44,241
Fui pesquisar e descobri
que era um problema geral.

266
00:13:44,265 --> 00:13:48,078
A história de Ferguson não
era compatível com o algoritmo.

267
00:13:48,102 --> 00:13:50,813
Não era "curtível";
quem ia "curtir" aquilo?

268
00:13:51,500 --> 00:13:53,806
Não era fácil nem mesmo
comentar sobre o assunto.

269
00:13:53,806 --> 00:13:55,101
Sem curtidas e comentários,

270
00:13:55,125 --> 00:13:58,557
era provável que o algoritmo mostrasse
isso para cada vez menos pessoas,

271
00:13:58,557 --> 00:14:00,643
assim, não pudemos ver isto.

272
00:14:00,946 --> 00:14:04,190
Em seu lugar, naquela semana,
o algoritmo do Facebook priorizou isto:

273
00:14:04,190 --> 00:14:06,886
o desafio do balde da ELA,
esclerose lateral amiotrófica.

274
00:14:06,886 --> 00:14:10,512
Causa importante: jogar água gelada,
doar para caridade, tudo bem.

275
00:14:10,536 --> 00:14:12,650
Mas era supercompatível com o algoritmo.

276
00:14:13,119 --> 00:14:15,832
A máquina tomou essa decisão por nós.

277
00:14:15,856 --> 00:14:19,353
Uma conversa muito importante,
mas muito difícil,

278
00:14:19,377 --> 00:14:20,932
teria sido atenuada,

279
00:14:20,956 --> 00:14:23,652
caso o Facebook fosse o único canal.

280
00:14:24,117 --> 00:14:27,914
Finalmente, esses sistemas
também podem errar

281
00:14:27,938 --> 00:14:30,488
de maneiras diferentes
dos sistemas humanos.

282
00:14:30,488 --> 00:14:33,620
Lembram-se do Watson, o sistema
de inteligência de máquina da IBM

283
00:14:33,644 --> 00:14:36,772
que sempre ganhava, competindo
com seres humanos num show de TV?

284
00:14:37,131 --> 00:14:38,559
Ele era um ótimo jogador.

285
00:14:38,583 --> 00:14:42,152
Mas então, na final, foi feita
a seguinte pergunta a Watson:

286
00:14:42,389 --> 00:14:45,591
"Seu maior aeroporto possui o nome
de um herói da Segunda Guerra,

287
00:14:45,615 --> 00:14:47,867
a maior grande batalha da Segunda Guerra".

288
00:14:47,891 --> 00:14:49,269
(Cantarola música do show)

289
00:14:49,582 --> 00:14:50,764
"Chicago."

290
00:14:50,788 --> 00:14:52,668
Os dois seres humanos acertaram.

291
00:14:52,697 --> 00:14:56,735
Watson, por sua vez, respondeu "Toronto"

292
00:14:56,939 --> 00:14:58,887
na categoria "cidade dos EUA"!

293
00:14:59,596 --> 00:15:02,497
O incrível sistema também cometeu um erro

294
00:15:02,521 --> 00:15:06,572
que um humano jamais faria,
uma criança não cometeria.

295
00:15:06,693 --> 00:15:09,932
Nossa inteligência artifical pode falhar

296
00:15:09,956 --> 00:15:12,820
de formas que não se encaixam
nos padrões de erros humanos,


297
00:15:12,820 --> 00:15:16,030
de formas que não esperamos
e para as quais não estamos preparados.

298
00:15:16,054 --> 00:15:19,692
Seria péssimo não conseguir um emprego
para o qual se está qualificado,

299
00:15:19,716 --> 00:15:23,443
mas seria triplamente péssimo
se fosse por causa de um "stack overflow"

300
00:15:23,467 --> 00:15:24,899
em alguma sub-rotina.

301
00:15:24,923 --> 00:15:26,502
(Risos)

302
00:15:26,526 --> 00:15:29,312
Em maio de 2010,

303
00:15:29,336 --> 00:15:33,380
uma baixa repentina em Wall Street,
alimentada pelo sistema de autoajuste

304
00:15:33,404 --> 00:15:36,432
do algoritmo de "venda",

305
00:15:36,456 --> 00:15:40,640
varreu US$ 1 trilhão em 36 minutos.

306
00:15:41,722 --> 00:15:43,909
Não quero nem pensar
no que significaria "erro"

307
00:15:43,933 --> 00:15:47,522
no contexto de armas letais autônomas.

308
00:15:49,894 --> 00:15:53,684
Então, sim, os seres humanos
sempre foram tendenciosos.

309
00:15:53,708 --> 00:15:55,884
Tomadores de decisão e controladores,

310
00:15:55,908 --> 00:15:59,401
em tribunais, na mídia, na guerra...

311
00:15:59,425 --> 00:16:02,463
eles cometem erros;
mas esse é exatamente meu ponto.

312
00:16:02,487 --> 00:16:06,008
Não podemos fugir
dessas questões difíceis.

313
00:16:06,596 --> 00:16:10,112
Não podemos terceirizar
nossas responsabilidades para as máquinas.

314
00:16:10,676 --> 00:16:13,554
(Aplausos) (Vivas)

315
00:16:17,089 --> 00:16:21,536
A inteligência artificial não nos dá
um passe para a "zona livre de ética".

316
00:16:22,742 --> 00:16:26,123
O cientista de dados Fred Benenson
chama isso de "mathwashing".

317
00:16:26,147 --> 00:16:27,536
Precisamos fazer o contrário.

318
00:16:27,560 --> 00:16:32,948
Precisamos cultivar o escrutínio,
a suspeita e investigação dos algoritmos.

319
00:16:33,380 --> 00:16:36,578
Precisamos nos assegurar de que temos
responsabilidade algorítmica,

320
00:16:36,602 --> 00:16:39,047
auditoria e transparência relevante.

321
00:16:39,380 --> 00:16:42,614
Precisamos aceitar que trazer
a matemática e a computação

322
00:16:42,638 --> 00:16:45,608
para negócios humanos confusos,
envolvendo julgamento de valor,

323
00:16:45,632 --> 00:16:48,016
não traz objetividade;

324
00:16:48,040 --> 00:16:51,903
mas que, ao contrário, a complexidade
dos negócios humanos invade os algoritmos.

325
00:16:52,148 --> 00:16:55,635
Sim, podemos e devemos usar a computação

326
00:16:55,659 --> 00:16:57,673
para nos ajudar a tomar decisões melhores.

327
00:16:57,697 --> 00:17:03,029
Mas temos de reconhecer
nossa responsabilidade moral para julgar,

328
00:17:03,053 --> 00:17:05,871
e usar os algoritmos
dentro desse espectro,

329
00:17:05,895 --> 00:17:10,830
não como uma forma de abdicar de nossas
responsabilidades ou terceirizá-las,

330
00:17:10,854 --> 00:17:13,558
como se fosse de um ser humano para outro.

331
00:17:13,807 --> 00:17:16,416
A inteligência artificial está aí.

332
00:17:16,440 --> 00:17:19,861
Isso significa que vamos
ter de nos agarrar firmemente

333
00:17:19,885 --> 00:17:22,032
aos valores e à ética humanos.

334
00:17:22,056 --> 00:17:23,210
Obrigada.

335
00:17:23,234 --> 00:17:26,324
(Aplausos) (Vivas)