1
00:00:00,739 --> 00:00:04,861
Empecé mi primer trabajo 
como programadora informática

2
00:00:04,885 --> 00:00:06,705
en mi primer año de universidad,

3
00:00:06,705 --> 00:00:08,632
básicamente, siendo aún adolescente.

4
00:00:08,889 --> 00:00:10,575
Poco después de empezar a trabajar,

5
00:00:10,575 --> 00:00:12,375
programando software en una empresa,

6
00:00:12,799 --> 00:00:16,434
un gerente que trabajaba en la compañía 
vino allí donde estaba yo,

7
00:00:16,458 --> 00:00:17,726
y me dijo al oído:

8
00:00:18,229 --> 00:00:21,090
"¿Puede decir ella si estoy mintiendo?"

9
00:00:21,806 --> 00:00:23,883
No había nadie más en la habitación.

10
00:00:25,032 --> 00:00:29,421
"¿Puede "quién" decir si está mintiendo? 
¿Y por qué estamos susurrando?"

11
00:00:30,266 --> 00:00:33,373
El gerente señaló la computadora 
de la habitación.

12
00:00:33,397 --> 00:00:36,493
"¿Puede ella decir si estoy mintiendo?"

13
00:00:37,613 --> 00:00:41,975
Bueno, el gerente tenía 
una aventura con la recepcionista.

14
00:00:41,999 --> 00:00:43,111
(Risas)

15
00:00:43,135 --> 00:00:44,901
Y yo todavía era adolescente.

16
00:00:45,447 --> 00:00:47,466
Por lo tanto, le susurro yo a él:

17
00:00:47,490 --> 00:00:51,114
"Sí, la computadora puede determinar 
si Ud. está mintiendo".

18
00:00:51,138 --> 00:00:52,944
(Risas)

19
00:00:52,968 --> 00:00:55,891
Bueno, me reí, pero, 
en realidad, me reía de mí.

20
00:00:55,915 --> 00:00:59,183
Hoy en día, existen sistemas informáticos

21
00:00:59,207 --> 00:01:02,669
que pueden detectar 
estados emocionales e incluso mentir

22
00:01:02,669 --> 00:01:05,081
a partir del procesamiento 
de rostros humanos.

23
00:01:05,248 --> 00:01:09,401
Los anunciantes, e incluso 
hay gobiernos muy interesados.

24
00:01:09,859 --> 00:01:12,231
Me había convertido en 
programadora informática

25
00:01:12,231 --> 00:01:15,812
porque yo era una de esas chicas 
locas por las matemáticas y la ciencia.

26
00:01:15,812 --> 00:01:19,220
Pero también me había 
interesado por las armas nucleares,

27
00:01:19,220 --> 00:01:22,646
y había empezado a realmente a 
preocuparme por la ética de la ciencia.

28
00:01:22,646 --> 00:01:24,234
Yo estaba preocupada.

29
00:01:24,234 --> 00:01:26,479
Sin embargo, 
por circunstancias familiares,

30
00:01:26,479 --> 00:01:29,241
también debía empezar 
a trabajar lo antes posible.

31
00:01:29,265 --> 00:01:32,478
Así que me dije, bueno, 
vamos a elegir un campo técnico

32
00:01:32,478 --> 00:01:34,384
donde poder conseguir un trabajo fácil

33
00:01:34,408 --> 00:01:38,426
y donde no tenga que lidiar 
con preguntas molestas sobre ética.

34
00:01:39,022 --> 00:01:40,551
Así que elegí las computadoras.

35
00:01:40,575 --> 00:01:41,679
(Risas)

36
00:01:41,703 --> 00:01:45,113
Bueno, ¡ja, ja, ja! 
Todas las risas a mi costa.

37
00:01:45,137 --> 00:01:47,891
Hoy en día, los informáticos 
construyen plataformas

38
00:01:47,915 --> 00:01:52,124
que controlan lo que millones 
de personas ven todos los días.

39
00:01:53,052 --> 00:01:56,874
Están desarrollando automóviles que 
podrían decidir a quién atropellar.

40
00:01:57,707 --> 00:02:00,920
Es más, están construyendo 
máquinas, armas,

41
00:02:00,944 --> 00:02:03,229
que podrían matar 
a seres humanos en la guerra.

42
00:02:03,253 --> 00:02:06,024
Esto es ética a fondo.

43
00:02:07,183 --> 00:02:09,241
La inteligencia artificial está aquí.

44
00:02:09,823 --> 00:02:12,951
Estamos usando la computación 
para tomar todo tipo de decisiones,

45
00:02:12,951 --> 00:02:15,101
además de nuevos tipos de decisiones.

46
00:02:15,101 --> 00:02:19,563
Planteamos preguntas a las computadoras 
que no tienen respuestas

47
00:02:19,563 --> 00:02:21,629
correctas individuales, 
por ser subjetivas

48
00:02:21,653 --> 00:02:23,978
e indefinidas y cargadas de valores.

49
00:02:24,002 --> 00:02:25,760
Planteamos preguntas como:

50
00:02:25,784 --> 00:02:27,784
"¿A quién debe contratar la empresa?"

51
00:02:28,096 --> 00:02:30,855
"¿Qué actualización de qué amigo 
debe mostrarse?"

52
00:02:30,879 --> 00:02:33,535
"¿Qué convicto tiene 
más probabilidades de reincidir?"

53
00:02:33,535 --> 00:02:36,968
"¿Qué artículo de noticias o película 
se deben recomendar a la gente?"

54
00:02:36,968 --> 00:02:39,964
Miren, sí, hemos venido usando 
computadoras hace tiempo,

55
00:02:39,988 --> 00:02:41,505
pero esto es diferente.

56
00:02:41,529 --> 00:02:43,596
Se trata de un giro histórico,

57
00:02:43,620 --> 00:02:48,957
porque no podemos anclar el cálculo 
para este tipo de decisiones subjetivas

58
00:02:48,981 --> 00:02:54,401
como anclamos el cálculo para 
pilotar aviones, construir puentes

59
00:02:54,425 --> 00:02:55,684
o ir a la luna.

60
00:02:56,449 --> 00:02:59,708
¿Son los aviones más seguros? 
¿Se balanceó el puente y cayó?

61
00:02:59,732 --> 00:03:04,230
Ahí, hemos acordado puntos 
de referencia bastante claros,

62
00:03:04,254 --> 00:03:06,493
y tenemos leyes de 
la naturaleza que nos guían.

63
00:03:06,517 --> 00:03:09,911
Nosotros no tenemos tales anclas 
y puntos de referencia

64
00:03:09,935 --> 00:03:13,898
para las decisiones sobre cuestiones
humanas desordenadas.

65
00:03:13,922 --> 00:03:18,159
Para complicar más las cosas, 
nuestro software es cada vez más potente,

66
00:03:18,183 --> 00:03:21,956
pero también es cada vez 
menos transparente y más complejo.

67
00:03:22,542 --> 00:03:24,582
Recientemente, en la última década,

68
00:03:24,606 --> 00:03:27,335
algunos algoritmos complejos 
han hecho grandes progresos.

69
00:03:27,359 --> 00:03:29,349
Pueden reconocer rostros humanos.

70
00:03:29,985 --> 00:03:32,040
Pueden descifrar la letra.

71
00:03:32,116 --> 00:03:34,502
Pueden detectar 
el fraude de tarjetas de crédito

72
00:03:34,526 --> 00:03:35,715
y bloquear el spam

73
00:03:35,739 --> 00:03:37,776
y pueden traducir a otros idiomas.

74
00:03:37,800 --> 00:03:40,374
Pueden detectar tumores 
en imágenes médicas.

75
00:03:40,374 --> 00:03:42,999
Puede vencer a los humanos 
en el ajedrez y en el Go.

76
00:03:43,264 --> 00:03:47,768
Gran parte de este progreso viene de un 
método llamado "aprendizaje automático".

77
00:03:47,905 --> 00:03:51,362
El aprendizaje automático es 
diferente a la programación tradicional,

78
00:03:51,386 --> 00:03:54,971
donde se da al equipo instrucciones 
exactas, detalladas y meticulosas.

79
00:03:55,378 --> 00:03:59,344
Es como si uno alimentara el sistema 
con una gran cantidad de datos,

80
00:03:59,344 --> 00:04:01,240
incluyendo los datos no estructurados,

81
00:04:01,264 --> 00:04:03,782
como los que generamos 
en nuestras vidas digitales.

82
00:04:03,782 --> 00:04:06,296
Y el sistema aprende de esos datos.

83
00:04:06,669 --> 00:04:08,195
Y también, de manera crucial,

84
00:04:08,219 --> 00:04:12,599
estos sistemas no funcionan 
bajo una lógica de una sola respuesta.

85
00:04:12,623 --> 00:04:15,582
No producen una respuesta sencilla; 
es más probabilístico:

86
00:04:15,606 --> 00:04:19,089
"Esto es probablemente parecido 
a lo que estás buscando".

87
00:04:19,833 --> 00:04:22,437
La ventaja es que 
este método es muy potente.

88
00:04:22,437 --> 00:04:25,663
El jefe de sistemas de inteligencia 
artificial de Google lo llama:

89
00:04:25,663 --> 00:04:27,534
"la eficacia irrazonable de los datos".

90
00:04:27,791 --> 00:04:29,144
La desventaja es que

91
00:04:29,738 --> 00:04:32,809
realmente no entendemos 
lo que aprendió el sistema.

92
00:04:32,833 --> 00:04:34,420
De hecho, ese es su poder.

93
00:04:34,946 --> 00:04:38,744
Esto no se parece a dar instrucciones 
a una computadora;

94
00:04:39,200 --> 00:04:43,264
se parece más a la formación 
de una criatura cachorro máquina

95
00:04:43,288 --> 00:04:45,659
que realmente no entendemos o controlamos.

96
00:04:46,052 --> 00:04:49,674
Así que este es nuestro problema;
un problema cuando el sistema

97
00:04:49,746 --> 00:04:52,689
de inteligencia artificial 
hace cosas erróneas.

98
00:04:52,713 --> 00:04:56,037
Es también un problema 
cuando hace bien las cosas,

99
00:04:56,037 --> 00:04:59,905
porque ni siquiera sabemos qué es qué 
cuando se trata de un problema subjetivo.

100
00:04:59,929 --> 00:05:02,268
No sabemos qué está pensando esta cosa.

101
00:05:03,493 --> 00:05:07,176
Por lo tanto, piensen en 
un algoritmo de contratación,

102
00:05:08,123 --> 00:05:12,434
un sistema usado para contratar, 
usa sistemas de aprendizaje automático.

103
00:05:13,052 --> 00:05:16,631
un sistema así habría sido entrenado 
con anteriores datos de empleados

104
00:05:16,655 --> 00:05:19,246
y tiene la instrucción 
de encontrar y contratar

105
00:05:19,270 --> 00:05:22,308
personas como las de alto rendimiento 
existentes en la empresa.

106
00:05:22,814 --> 00:05:23,967
Suena bien.

107
00:05:23,991 --> 00:05:25,884
Una vez asistí a una conferencia

108
00:05:25,884 --> 00:05:28,923
que reunió a los responsables 
de recursos humanos y ejecutivos,

109
00:05:28,923 --> 00:05:30,303
las personas de alto nivel,

110
00:05:30,303 --> 00:05:32,452
que usaban estos sistemas 
en la contratación.

111
00:05:32,452 --> 00:05:33,622
Estaban muy emocionados.

112
00:05:33,646 --> 00:05:38,299
Pensaban que esto haría la contratación 
más objetiva, menos tendenciosa,

113
00:05:38,323 --> 00:05:41,323
para dar a las mujeres y a las minorías 
mejores oportunidades

114
00:05:41,347 --> 00:05:43,715
contra los administradores 
humanos tendenciosos.

115
00:05:43,715 --> 00:05:46,402
La contratación humana es tendenciosa.

116
00:05:47,099 --> 00:05:48,284
Lo sé.

117
00:05:48,308 --> 00:05:51,313
Es decir, en uno de mis primeros 
trabajos como programadora,

118
00:05:51,337 --> 00:05:55,205
mi jefa a veces venía 
allí donde yo estaba

119
00:05:55,229 --> 00:05:58,982
muy temprano en la mañana 
o muy tarde por la tarde,

120
00:05:59,006 --> 00:06:02,068
y decía: "Zeynep, ¡vayamos a comer!"

121
00:06:02,174 --> 00:06:05,151
Me dejaba perpleja por el 
momento extraño de preguntar.

122
00:06:05,151 --> 00:06:07,044
Son las 16. ¿Almuerzo?

123
00:06:07,068 --> 00:06:10,332
Estaba en la ruina, así que, 
ante un almuerzo gratis, siempre fui.

124
00:06:10,428 --> 00:06:12,985
Más tarde me di cuenta 
de lo que estaba ocurriendo.

125
00:06:12,985 --> 00:06:16,969
Mis jefes inmediatos no habían 
confesado a sus altos mandos

126
00:06:16,969 --> 00:06:20,392
que el programador contratado para 
un trabajo serio era una adolescente

127
00:06:20,416 --> 00:06:24,346
que llevaba pantalones vaqueros 
y zapatillas de deporte en el trabajo.

128
00:06:24,624 --> 00:06:27,230
Yo hacía un buen trabajo, 
solo que no encajaba

129
00:06:27,230 --> 00:06:29,099
por la edad y por el sexo equivocado.

130
00:06:29,123 --> 00:06:32,469
Así que contratar a ciegas 
independiente del género y de la raza

131
00:06:32,493 --> 00:06:34,358
ciertamente me parece bien.

132
00:06:35,031 --> 00:06:38,372
Sin embargo, con estos sistemas, 
es más complicado, y he aquí por qué:

133
00:06:38,968 --> 00:06:44,759
Hoy los sistemas informáticos pueden 
deducir todo tipo de cosas sobre Uds.

134
00:06:44,783 --> 00:06:46,655
a partir de sus pistas digitales,

135
00:06:46,679 --> 00:06:49,012
incluso si no las han dado a conocer.

136
00:06:49,506 --> 00:06:52,433
Pueden inferir su orientación sexual,

137
00:06:52,994 --> 00:06:54,300
sus rasgos de personalidad,

138
00:06:54,859 --> 00:06:56,232
sus inclinaciones políticas.

139
00:06:56,830 --> 00:07:00,515
Tienen poder predictivo 
con altos niveles de precisión.

140
00:07:01,082 --> 00:07:03,940
Recuerden, por cosas que 
ni siquiera han dado a conocer.

141
00:07:03,964 --> 00:07:05,555
Esta es la inferencia.

142
00:07:05,579 --> 00:07:08,840
Tengo una amiga que desarrolló 
este tipo de sistemas informáticos

143
00:07:08,864 --> 00:07:12,505
para predecir la probabilidad 
de depresión clínica o posparto

144
00:07:12,529 --> 00:07:14,435
a partir de datos de medios sociales.

145
00:07:14,676 --> 00:07:16,363
Los resultados son impresionantes.

146
00:07:16,492 --> 00:07:19,849
Su sistema puede predecir 
la probabilidad de depresión

147
00:07:19,873 --> 00:07:23,776
meses antes de la aparición 
de cualquier síntoma,

148
00:07:23,800 --> 00:07:25,173
meses antes.

149
00:07:25,197 --> 00:07:27,443
No hay síntomas, sí hay predicción.

150
00:07:27,467 --> 00:07:32,279
Ella espera que se use para 
la intervención temprana. ¡Estupendo!

151
00:07:32,721 --> 00:07:35,431
Pero ahora pongan esto en el 
contexto de la contratación.

152
00:07:36,027 --> 00:07:39,073
Así que en esa conferencia 
de recursos humanos,

153
00:07:39,097 --> 00:07:43,806
me acerqué a una gerenta de alto nivel 
de una empresa muy grande,

154
00:07:43,830 --> 00:07:48,408
y le dije: "Mira, ¿qué pasaría si, 
sin su conocimiento,

155
00:07:48,432 --> 00:07:54,981
el sistema elimina a las personas con 
alta probabilidad futura de la depresión?

156
00:07:55,761 --> 00:07:59,137
No están deprimidos ahora, solo 
quizá en el futuro, sea probable.

157
00:07:59,853 --> 00:08:03,293
¿Y si elimina a las mujeres con más 
probabilidades de estar embarazadas

158
00:08:03,293 --> 00:08:06,179
en el próximo año o dos, 
pero no está embarazada ahora?

159
00:08:06,844 --> 00:08:12,480
¿Y si contratamos a personas agresivas, 
porque esa es su cultura de trabajo?"

160
00:08:13,173 --> 00:08:15,798
No se puede saber esto 
mirando un desglose por sexos.

161
00:08:15,798 --> 00:08:17,284
Estos pueden ser equilibrados.

162
00:08:17,284 --> 00:08:21,521
Y como esto es aprendizaje automático, 
no la programación tradicional,

163
00:08:21,521 --> 00:08:25,902
no hay una variable etiquetada 
como "mayor riesgo de depresión",

164
00:08:25,926 --> 00:08:27,759
"mayor riesgo de embarazo",

165
00:08:27,783 --> 00:08:29,517
"escala de chico agresivo".

166
00:08:29,995 --> 00:08:33,674
Ud. no solo no sabe lo que 
su sistema selecciona,

167
00:08:33,698 --> 00:08:36,020
sino que ni siquiera sabe 
por dónde empezar a buscar.

168
00:08:36,044 --> 00:08:37,291
Es una caja negra.

169
00:08:37,315 --> 00:08:40,121
Tiene capacidad de predicción, 
pero uno no lo entiende.

170
00:08:40,486 --> 00:08:42,855
"¿Qué salvaguardia", pregunté,

171
00:08:42,879 --> 00:08:46,552
"puede asegurar que la caja negra 
no hace algo perjudicial?"

172
00:08:48,863 --> 00:08:52,741
Ella me miró como si acabara 
de romper algo valioso.

173
00:08:52,765 --> 00:08:54,013
(Risas)

174
00:08:54,037 --> 00:08:56,078
Me miró y dijo:

175
00:08:56,556 --> 00:09:00,889
"No quiero oír ni una palabra de esto".

176
00:09:01,458 --> 00:09:03,492
Dio la vuelta y se alejó.

177
00:09:04,064 --> 00:09:05,550
Eso sí, ella no fue grosera.

178
00:09:05,574 --> 00:09:11,882
Era claramente: lo que no sé, no es 
mi problema, vete, encara la muerte.

179
00:09:11,906 --> 00:09:13,152
(Risas)

180
00:09:13,652 --> 00:09:17,325
Un sistema de este tipo 
puede ser incluso menos sesgado

181
00:09:17,325 --> 00:09:19,888
que los administradores humanos 
en algunos aspectos.

182
00:09:19,888 --> 00:09:21,998
Y podría tener sentido monetario.

183
00:09:22,573 --> 00:09:24,223
Pero también podría llevar

184
00:09:24,247 --> 00:09:28,995
a un cierre constante pero sigiloso 
del mercado de trabajo

185
00:09:29,019 --> 00:09:31,312
a las personas 
con mayor riesgo de depresión.

186
00:09:31,553 --> 00:09:34,349
¿Es este el tipo de sociedad 
la que queremos construir,

187
00:09:34,373 --> 00:09:36,658
sin siquiera saber que lo hemos hecho,

188
00:09:36,682 --> 00:09:40,646
porque nos movemos en torno a decisiones 
de máquinas que no entendemos totalmente?

189
00:09:41,265 --> 00:09:42,723
Otro problema es el siguiente:

190
00:09:43,314 --> 00:09:47,560
estos sistemas son a menudo 
entrenados con datos generados

191
00:09:47,560 --> 00:09:49,876
por nuestras acciones, 
por huellas humanas.

192
00:09:50,188 --> 00:09:53,996
Podrían pues estar reflejando 
nuestros prejuicios,

193
00:09:54,020 --> 00:09:57,613
y estos sistemas podrían dar cuenta 
de nuestros prejuicios

194
00:09:57,637 --> 00:09:58,950
y la amplificación de ellos

195
00:09:58,974 --> 00:10:00,392
volviendo a nosotros,

196
00:10:00,416 --> 00:10:01,878
mientras que decimos:

197
00:10:01,902 --> 00:10:05,019
"Somos objetivos, es el cómputo neutral".

198
00:10:06,314 --> 00:10:09,541
Los investigadores encontraron 
que en Google las mujeres tienen

199
00:10:10,134 --> 00:10:13,463
menos probabilidades que los hombres

200
00:10:13,463 --> 00:10:16,463
de que les aparezcan anuncios 
de trabajo bien remunerados.

201
00:10:16,463 --> 00:10:18,993
Y buscando nombres afroestadounidenses

202
00:10:19,017 --> 00:10:23,723
es más probable que aparezcan anuncios 
que sugieren antecedentes penales,

203
00:10:23,747 --> 00:10:25,314
incluso cuando no existan.

204
00:10:26,693 --> 00:10:30,242
Estos sesgos ocultos 
y algoritmos de la caja negra

205
00:10:30,266 --> 00:10:34,239
que descubren los investigadores 
a veces, pero a veces no,

206
00:10:34,263 --> 00:10:36,924
pueden tener consecuencias 
que cambian la vida.

207
00:10:37,958 --> 00:10:42,117
En Wisconsin, un acusado 
fue condenado a seis años de prisión

208
00:10:42,141 --> 00:10:43,496
por escaparse de la policía.

209
00:10:43,904 --> 00:10:46,970
Quizá no lo sepan, pero los algoritmos 
se usan cada vez más

210
00:10:46,970 --> 00:10:50,032
en las decisiones de 
libertad condicional y de sentencia.

211
00:10:50,056 --> 00:10:53,011
El acusado quiso saber: 
¿Cómo se calcula la puntuación?

212
00:10:53,795 --> 00:10:55,460
Es una caja negra comercial.

213
00:10:55,484 --> 00:10:59,689
La empresa se negó a que se cuestionara 
su algoritmo en audiencia pública.

214
00:11:00,206 --> 00:11:04,992
Pero ProPublica, organización 
no lucrativa de investigación,

215
00:11:04,992 --> 00:11:08,178
auditó precisamente ese algoritmo
con los datos públicos que encontró,

216
00:11:08,178 --> 00:11:10,598
y descubrió que sus resultados 
estaban sesgados

217
00:11:10,598 --> 00:11:13,961
y su capacidad de predicción era pésima, 
apenas mejor que el azar,

218
00:11:13,985 --> 00:11:18,401
y se etiquetaban erróneamente 
acusados negros como futuros criminales

219
00:11:18,425 --> 00:11:22,320
con una tasa del doble 
que a los acusados blancos.

220
00:11:23,641 --> 00:11:25,565
Piensen en este caso:

221
00:11:26,103 --> 00:11:29,955
Esta mujer llegó tarde a 
recoger a la hija de su madrina

222
00:11:29,979 --> 00:11:32,434
de una escuela en 
el condado de Broward, Florida,

223
00:11:32,757 --> 00:11:35,113
iba corriendo por la calle con una amiga.

224
00:11:35,137 --> 00:11:39,236
Vieron la bicicleta de un niño sin candado
y una moto en un porche

225
00:11:39,260 --> 00:11:40,892
y tontamente saltó sobre ella.

226
00:11:40,916 --> 00:11:43,515
A medida que aceleraban, 
una mujer salió y dijo,

227
00:11:43,539 --> 00:11:45,744
"¡Eh, esa es la bicicleta de mi hijo!"

228
00:11:45,768 --> 00:11:49,062
Se bajaron, se alejaron, 
pero fueron detenidas.

229
00:11:49,086 --> 00:11:52,723
Estaba equivocada, fue una tontería, 
pero también tenía solo 18 años.

230
00:11:52,747 --> 00:11:55,291
Tenía un par de faltas menores.

231
00:11:55,808 --> 00:12:00,993
Mientras tanto, detenían al hombre 
por hurto en Home Depot,

232
00:12:01,017 --> 00:12:03,941
por un valor de USD 85, 
un delito menor similar.

233
00:12:04,766 --> 00:12:09,325
Pero él tenía dos condenas anteriores
por robo a mano armada.

234
00:12:09,955 --> 00:12:13,437
Sin embargo, el algoritmo la anotó 
a ella como de alto riesgo, y no a él.

235
00:12:14,386 --> 00:12:17,864
Dos años más tarde, ProPublica descubrió 
que ella no había vuelto a delinquir.

236
00:12:17,864 --> 00:12:21,534
Pero le era difícil conseguir un trabajo 
con sus antecedentes registrados.

237
00:12:21,534 --> 00:12:23,464
Él, por el contrario, era reincidente

238
00:12:23,464 --> 00:12:27,414
y ahora cumple una pena de ocho años 
de prisión por un delito posterior.

239
00:12:28,088 --> 00:12:31,457
Es evidente que necesitamos 
auditar nuestras cajas negras

240
00:12:31,481 --> 00:12:34,096
para no tener 
este tipo de poder sin control.

241
00:12:34,120 --> 00:12:36,999
(Aplausos)

242
00:12:38,087 --> 00:12:42,329
Las auditorías son grandes e importantes, 
pero no resuelven todos los problemas.

243
00:12:42,353 --> 00:12:45,101
Tomemos el potente algoritmo 
de noticias de Facebook,

244
00:12:45,125 --> 00:12:49,968
ese que sabe todo y decide qué mostrarles

245
00:12:49,992 --> 00:12:52,276
de las páginas de los amigos que siguen.

246
00:12:52,898 --> 00:12:55,173
¿Debería mostrarles otra imagen de bebé?

247
00:12:55,197 --> 00:12:56,393
(Risas)

248
00:12:56,417 --> 00:12:59,013
¿Una nota deprimente de un conocido?

249
00:12:59,449 --> 00:13:01,305
¿Una noticia importante pero difícil?

250
00:13:01,329 --> 00:13:02,811
No hay una respuesta correcta.

251
00:13:02,835 --> 00:13:05,494
Facebook optimiza para 
que se participe en el sitio:

252
00:13:05,518 --> 00:13:06,933
con Me gusta, Compartir 
y con Comentarios.

253
00:13:08,168 --> 00:13:10,864
En agosto de 2014,

254
00:13:10,888 --> 00:13:13,550
estallaron protestas 
en Ferguson, Missouri,

255
00:13:13,574 --> 00:13:17,991
tras la muerte de un adolescente 
afroestadounidense por un policía blanco,

256
00:13:18,015 --> 00:13:19,585
en circunstancias turbias.

257
00:13:19,974 --> 00:13:21,981
La noticia de las protestas llegaron

258
00:13:22,005 --> 00:13:24,690
en mi cuenta de Twitter 
algorítmicamente sin filtrar

259
00:13:24,714 --> 00:13:26,664
pero en ninguna parte en mi Facebook.

260
00:13:26,782 --> 00:13:28,916
¿Y qué pasaba con mis amigos de Facebook?

261
00:13:28,940 --> 00:13:30,972
Desactivé el algoritmo de Facebook,

262
00:13:31,132 --> 00:13:34,320
lo cual es difícil ya que Facebook 
quiere seguir manteniéndonos

263
00:13:34,344 --> 00:13:36,380
bajo el control del algoritmo,

264
00:13:36,404 --> 00:13:38,642
y vi que mis amigos 
estaban hablando de ello.

265
00:13:38,666 --> 00:13:41,175
Pero el algoritmo no me lo mostraba.

266
00:13:41,199 --> 00:13:44,241
He investigado esto y encontré 
que era un problema generalizado.

267
00:13:44,265 --> 00:13:48,078
La historia de Ferguson no era 
compatible con el algoritmo.

268
00:13:48,102 --> 00:13:49,273
No es "gustable".

269
00:13:49,297 --> 00:13:51,249
¿Quién va a hacer clic en "Me gusta"?

270
00:13:51,500 --> 00:13:53,706
Ni siquiera es fácil de comentar.

271
00:13:53,730 --> 00:13:55,401
Sin Me gusta y sin comentarios,

272
00:13:55,401 --> 00:13:58,331
el algoritmo era probable de 
mostrarse a aún menos personas,

273
00:13:58,331 --> 00:14:00,393
así que no tuvimos 
oportunidad de ver esto.

274
00:14:00,946 --> 00:14:02,174
En cambio, esa semana,

275
00:14:02,198 --> 00:14:04,496
el algoritmo de Facebook destacó esto,

276
00:14:04,520 --> 00:14:06,746
el ALS que era 
el desafío del cubo de hielo.

277
00:14:06,770 --> 00:14:10,512
Noble causa; verter agua con hielo, 
donar a la caridad, bien.

278
00:14:10,536 --> 00:14:12,830
Esa causa era súper compatible 
con el algoritmo.

279
00:14:13,219 --> 00:14:15,832
La máquina tomó 
esta decisión por nosotros.

280
00:14:15,856 --> 00:14:19,353
Una conversación 
muy importante pero difícil

281
00:14:19,377 --> 00:14:20,932
podría haber sido silenciada

282
00:14:20,956 --> 00:14:23,652
si Facebook hubiese sido el único canal.

283
00:14:24,117 --> 00:14:27,914
Ahora, por fin, estos sistemas 
pueden también equivocarse

284
00:14:27,938 --> 00:14:30,398
de formas que no se parecen a los humanos.

285
00:14:30,398 --> 00:14:33,780
¿Se acuerdan de Watson, el sistema 
de inteligencia artificial de IBM

286
00:14:33,780 --> 00:14:36,772
que arrasó con los concursantes 
humanos en Jeopardy?

287
00:14:37,131 --> 00:14:38,413
Fue un gran jugador.

288
00:14:38,413 --> 00:14:42,079
Pero entonces, para la final de Jeopardy, 
a Watson se le hizo esta pregunta:

289
00:14:42,079 --> 00:14:45,591
"Su mayor aeropuerto lleva el nombre 
de un héroe de la 2ª Guerra Mundial,

290
00:14:45,615 --> 00:14:48,167
la 2ª batalla más grande 
de la 2ª Guerra Mundial".

291
00:14:48,167 --> 00:14:49,539
(Música final de Jeopardy)

292
00:14:49,582 --> 00:14:50,764
Chicago.

293
00:14:50,788 --> 00:14:52,568
Los dos humanos lo hicieron bien.

294
00:14:52,697 --> 00:14:57,045
Watson, por otra parte, 
respondió "Toronto"

295
00:14:57,069 --> 00:14:59,357
para una categoría de ciudad de EE.UU.

296
00:14:59,596 --> 00:15:02,497
El impresionante sistema 
también cometió un error

297
00:15:02,521 --> 00:15:06,172
que un humano nunca cometería, que
un estudiante de segundo grado tampoco.

298
00:15:06,823 --> 00:15:09,636
La inteligencia artificial puede fallar

299
00:15:09,636 --> 00:15:13,056
en formas que no se ajustan a 
los patrones de error de los humanos,

300
00:15:13,080 --> 00:15:16,030
de maneras que no esperamos
y para las que no estamos preparados.

301
00:15:16,054 --> 00:15:19,692
Sería pésimo no conseguir trabajo, 
una vez que uno se cualifica para ello,

302
00:15:19,716 --> 00:15:23,443
pero sería el triple de pésimo 
si fue por un desbordamiento de pila

303
00:15:23,467 --> 00:15:24,899
en algunas subrutinas.

304
00:15:24,923 --> 00:15:26,502
(Risas)

305
00:15:26,526 --> 00:15:29,312
En mayo del 2010

306
00:15:29,336 --> 00:15:33,380
un flash crash de Wall Street alimentado 
por un circuito de retroalimentación

307
00:15:33,404 --> 00:15:36,432
por el algoritmo de "venta" de Wall Street

308
00:15:36,456 --> 00:15:40,640
borró un billón de dólares en 36 minutos.

309
00:15:41,412 --> 00:15:43,909
Yo no quiero ni pensar 
lo que significa "error"

310
00:15:43,933 --> 00:15:48,082
en el contexto de 
las armas autónomas letales.

311
00:15:49,894 --> 00:15:53,684
Los humanos siempre 
hemos tenido prejuicios.

312
00:15:53,708 --> 00:15:55,884
Los que toman decisiones y los guardias,

313
00:15:55,908 --> 00:15:59,401
en los tribunales, 
en la actualidad, en la guerra...

314
00:15:59,425 --> 00:16:02,463
cometen errores; pero ese 
es exactamente mi tema.

315
00:16:02,487 --> 00:16:06,008
No podemos escapar 
a estas preguntas difíciles.

316
00:16:06,596 --> 00:16:10,112
No podemos delegar nuestra
responsabilidad a las máquinas.

317
00:16:10,676 --> 00:16:14,884
(Aplausos)

318
00:16:17,089 --> 00:16:21,536
La inteligencia artificial 
no nos da una tarjeta libre de ética.

319
00:16:22,102 --> 00:16:26,123
El experto en datos Fred Benenson lo 
llama "mathwashing" o lavado matemático.

320
00:16:26,147 --> 00:16:27,536
Necesitamos lo contrario.

321
00:16:27,560 --> 00:16:32,948
Necesitamos fomentar un algoritmo 
de sospecha, escrutinio e investigación.

322
00:16:33,380 --> 00:16:36,578
Tenemos que asegurarnos de tener 
responsabilidad algorítmica,

323
00:16:36,602 --> 00:16:39,047
auditoría y transparencia significativa.

324
00:16:39,380 --> 00:16:42,614
Tenemos que aceptar que llevar 
las matemáticas y la computación

325
00:16:42,638 --> 00:16:45,608
a los asuntos humanos, 
desordenados y cargados de valores

326
00:16:45,632 --> 00:16:48,016
no conlleva a la objetividad;

327
00:16:48,040 --> 00:16:51,673
más bien, la complejidad de los asuntos 
humanos invaden los algoritmos.

328
00:16:52,148 --> 00:16:55,635
Sí, podemos y debemos 
usar la computación

329
00:16:55,659 --> 00:16:57,673
para ayudar a tomar mejores decisiones.

330
00:16:57,697 --> 00:17:03,029
Pero tenemos que apropiarnos de 
nuestra responsabilidad moral de juicio,

331
00:17:03,053 --> 00:17:05,871
y usar algoritmos dentro de ese marco,

332
00:17:05,895 --> 00:17:10,829
no como un medio para abdicar 
y delegar nuestras responsabilidades

333
00:17:10,854 --> 00:17:13,308
el uno al otro, como de humano a humano.

334
00:17:13,807 --> 00:17:16,415
La inteligencia artificial está aquí.

335
00:17:16,440 --> 00:17:19,861
Eso significa que hay que 
ajustarla cada vez más

336
00:17:19,885 --> 00:17:22,031
a los valores humanos y a la ética humana.

337
00:17:22,056 --> 00:17:23,210
Gracias.

338
00:17:23,233 --> 00:17:28,252
(Aplausos)