0:00:00.739,0:00:04.861
Empecé mi primer trabajo [br]como programadora informática

0:00:04.885,0:00:06.705
en mi primer año de universidad,

0:00:06.705,0:00:08.632
básicamente, siendo aún adolescente.

0:00:08.889,0:00:10.575
Poco después de empezar a trabajar,

0:00:10.575,0:00:12.375
programando software en una empresa,

0:00:12.799,0:00:16.434
un gerente que trabajaba en la compañía [br]vino allí donde estaba yo,

0:00:16.458,0:00:17.726
y me dijo al oído:

0:00:18.229,0:00:21.090
"¿Puede decir ella si estoy mintiendo?"

0:00:21.806,0:00:23.883
No había nadie más en la habitación.

0:00:25.032,0:00:29.421
"¿Puede "quién" decir si está mintiendo? [br]¿Y por qué estamos susurrando?"

0:00:30.266,0:00:33.373
El gerente señaló la computadora [br]de la habitación.

0:00:33.397,0:00:36.493
"¿Puede ella decir si estoy mintiendo?"

0:00:37.613,0:00:41.975
Bueno, el gerente tenía [br]una aventura con la recepcionista.

0:00:41.999,0:00:43.111
(Risas)

0:00:43.135,0:00:44.901
Y yo todavía era adolescente.

0:00:45.447,0:00:47.466
Por lo tanto, le susurro yo a él:

0:00:47.490,0:00:51.114
"Sí, la computadora puede determinar [br]si Ud. está mintiendo".

0:00:51.138,0:00:52.944
(Risas)

0:00:52.968,0:00:55.891
Bueno, me reí, pero, [br]en realidad, me reía de mí.

0:00:55.915,0:00:59.183
Hoy en día, existen sistemas informáticos

0:00:59.207,0:01:02.669
que pueden detectar [br]estados emocionales e incluso mentir

0:01:02.669,0:01:05.081
a partir del procesamiento [br]de rostros humanos.

0:01:05.248,0:01:09.401
Los anunciantes, e incluso [br]hay gobiernos muy interesados.

0:01:09.859,0:01:12.231
Me había convertido en [br]programadora informática

0:01:12.231,0:01:15.812
porque yo era una de esas chicas [br]locas por las matemáticas y la ciencia.

0:01:15.812,0:01:19.220
Pero también me había [br]interesado por las armas nucleares,

0:01:19.220,0:01:22.646
y había empezado a realmente a [br]preocuparme por la ética de la ciencia.

0:01:22.646,0:01:24.234
Yo estaba preocupada.

0:01:24.234,0:01:26.479
Sin embargo, [br]por circunstancias familiares,

0:01:26.479,0:01:29.241
también debía empezar [br]a trabajar lo antes posible.

0:01:29.265,0:01:32.478
Así que me dije, bueno, [br]vamos a elegir un campo técnico

0:01:32.478,0:01:34.384
donde poder conseguir un trabajo fácil

0:01:34.408,0:01:38.426
y donde no tenga que lidiar [br]con preguntas molestas sobre ética.

0:01:39.022,0:01:40.551
Así que elegí las computadoras.

0:01:40.575,0:01:41.679
(Risas)

0:01:41.703,0:01:45.113
Bueno, ¡ja, ja, ja! [br]Todas las risas a mi costa.

0:01:45.137,0:01:47.891
Hoy en día, los informáticos [br]construyen plataformas

0:01:47.915,0:01:52.124
que controlan lo que millones [br]de personas ven todos los días.

0:01:53.052,0:01:56.874
Están desarrollando automóviles que [br]podrían decidir a quién atropellar.

0:01:57.707,0:02:00.920
Es más, están construyendo [br]máquinas, armas,

0:02:00.944,0:02:03.229
que podrían matar [br]a seres humanos en la guerra.

0:02:03.253,0:02:06.024
Esto es ética a fondo.

0:02:07.183,0:02:09.241
La inteligencia artificial está aquí.

0:02:09.823,0:02:12.951
Estamos usando la computación [br]para tomar todo tipo de decisiones,

0:02:12.951,0:02:15.101
además de nuevos tipos de decisiones.

0:02:15.101,0:02:19.563
Planteamos preguntas a las computadoras [br]que no tienen respuestas

0:02:19.563,0:02:21.629
correctas individuales, [br]por ser subjetivas

0:02:21.653,0:02:23.978
e indefinidas y cargadas de valores.

0:02:24.002,0:02:25.760
Planteamos preguntas como:

0:02:25.784,0:02:27.784
"¿A quién debe contratar la empresa?"

0:02:28.096,0:02:30.855
"¿Qué actualización de qué amigo [br]debe mostrarse?"

0:02:30.879,0:02:33.535
"¿Qué convicto tiene [br]más probabilidades de reincidir?"

0:02:33.535,0:02:36.968
"¿Qué artículo de noticias o película [br]se deben recomendar a la gente?"

0:02:36.968,0:02:39.964
Miren, sí, hemos venido usando [br]computadoras hace tiempo,

0:02:39.988,0:02:41.505
pero esto es diferente.

0:02:41.529,0:02:43.596
Se trata de un giro histórico,

0:02:43.620,0:02:48.957
porque no podemos anclar el cálculo [br]para este tipo de decisiones subjetivas

0:02:48.981,0:02:54.401
como anclamos el cálculo para [br]pilotar aviones, construir puentes

0:02:54.425,0:02:55.684
o ir a la luna.

0:02:56.449,0:02:59.708
¿Son los aviones más seguros? [br]¿Se balanceó el puente y cayó?

0:02:59.732,0:03:04.230
Ahí, hemos acordado puntos [br]de referencia bastante claros,

0:03:04.254,0:03:06.493
y tenemos leyes de [br]la naturaleza que nos guían.

0:03:06.517,0:03:09.911
Nosotros no tenemos tales anclas [br]y puntos de referencia

0:03:09.935,0:03:13.898
para las decisiones sobre cuestiones[br]humanas desordenadas.

0:03:13.922,0:03:18.159
Para complicar más las cosas, [br]nuestro software es cada vez más potente,

0:03:18.183,0:03:21.956
pero también es cada vez [br]menos transparente y más complejo.

0:03:22.542,0:03:24.582
Recientemente, en la última década,

0:03:24.606,0:03:27.335
algunos algoritmos complejos [br]han hecho grandes progresos.

0:03:27.359,0:03:29.349
Pueden reconocer rostros humanos.

0:03:29.985,0:03:32.040
Pueden descifrar la letra.

0:03:32.116,0:03:34.502
Pueden detectar [br]el fraude de tarjetas de crédito

0:03:34.526,0:03:35.715
y bloquear el spam

0:03:35.739,0:03:37.776
y pueden traducir a otros idiomas.

0:03:37.800,0:03:40.374
Pueden detectar tumores [br]en imágenes médicas.

0:03:40.374,0:03:42.999
Puede vencer a los humanos [br]en el ajedrez y en el Go.

0:03:43.264,0:03:47.768
Gran parte de este progreso viene de un [br]método llamado "aprendizaje automático".

0:03:47.905,0:03:51.362
El aprendizaje automático es [br]diferente a la programación tradicional,

0:03:51.386,0:03:54.971
donde se da al equipo instrucciones [br]exactas, detalladas y meticulosas.

0:03:55.378,0:03:59.344
Es como si uno alimentara el sistema [br]con una gran cantidad de datos,

0:03:59.344,0:04:01.240
incluyendo los datos no estructurados,

0:04:01.264,0:04:03.782
como los que generamos [br]en nuestras vidas digitales.

0:04:03.782,0:04:06.296
Y el sistema aprende de esos datos.

0:04:06.669,0:04:08.195
Y también, de manera crucial,

0:04:08.219,0:04:12.599
estos sistemas no funcionan [br]bajo una lógica de una sola respuesta.

0:04:12.623,0:04:15.582
No producen una respuesta sencilla; [br]es más probabilístico:

0:04:15.606,0:04:19.089
"Esto es probablemente parecido [br]a lo que estás buscando".

0:04:19.833,0:04:22.437
La ventaja es que [br]este método es muy potente.

0:04:22.437,0:04:25.663
El jefe de sistemas de inteligencia [br]artificial de Google lo llama:

0:04:25.663,0:04:27.534
"la eficacia irrazonable de los datos".

0:04:27.791,0:04:29.144
La desventaja es que

0:04:29.738,0:04:32.809
realmente no entendemos [br]lo que aprendió el sistema.

0:04:32.833,0:04:34.420
De hecho, ese es su poder.

0:04:34.946,0:04:38.744
Esto no se parece a dar instrucciones [br]a una computadora;

0:04:39.200,0:04:43.264
se parece más a la formación [br]de una criatura cachorro máquina

0:04:43.288,0:04:45.659
que realmente no entendemos o controlamos.

0:04:46.052,0:04:49.674
Así que este es nuestro problema;[br]un problema cuando el sistema

0:04:49.746,0:04:52.689
de inteligencia artificial [br]hace cosas erróneas.

0:04:52.713,0:04:56.037
Es también un problema [br]cuando hace bien las cosas,

0:04:56.037,0:04:59.905
porque ni siquiera sabemos qué es qué [br]cuando se trata de un problema subjetivo.

0:04:59.929,0:05:02.268
No sabemos qué está pensando esta cosa.

0:05:03.493,0:05:07.176
Por lo tanto, piensen en [br]un algoritmo de contratación,

0:05:08.123,0:05:12.434
un sistema usado para contratar, [br]usa sistemas de aprendizaje automático.

0:05:13.052,0:05:16.631
un sistema así habría sido entrenado [br]con anteriores datos de empleados

0:05:16.655,0:05:19.246
y tiene la instrucción [br]de encontrar y contratar

0:05:19.270,0:05:22.308
personas como las de alto rendimiento [br]existentes en la empresa.

0:05:22.814,0:05:23.967
Suena bien.

0:05:23.991,0:05:25.884
Una vez asistí a una conferencia

0:05:25.884,0:05:28.923
que reunió a los responsables [br]de recursos humanos y ejecutivos,

0:05:28.923,0:05:30.303
las personas de alto nivel,

0:05:30.303,0:05:32.452
que usaban estos sistemas [br]en la contratación.

0:05:32.452,0:05:33.622
Estaban muy emocionados.

0:05:33.646,0:05:38.299
Pensaban que esto haría la contratación [br]más objetiva, menos tendenciosa,

0:05:38.323,0:05:41.323
para dar a las mujeres y a las minorías [br]mejores oportunidades

0:05:41.347,0:05:43.715
contra los administradores [br]humanos tendenciosos.

0:05:43.715,0:05:46.402
La contratación humana es tendenciosa.

0:05:47.099,0:05:48.284
Lo sé.

0:05:48.308,0:05:51.313
Es decir, en uno de mis primeros [br]trabajos como programadora,

0:05:51.337,0:05:55.205
mi jefa a veces venía [br]allí donde yo estaba

0:05:55.229,0:05:58.982
muy temprano en la mañana [br]o muy tarde por la tarde,

0:05:59.006,0:06:02.068
y decía: "Zeynep, ¡vayamos a comer!"

0:06:02.174,0:06:05.151
Me dejaba perpleja por el [br]momento extraño de preguntar.

0:06:05.151,0:06:07.044
Son las 16. ¿Almuerzo?

0:06:07.068,0:06:10.332
Estaba en la ruina, así que, [br]ante un almuerzo gratis, siempre fui.

0:06:10.428,0:06:12.985
Más tarde me di cuenta [br]de lo que estaba ocurriendo.

0:06:12.985,0:06:16.969
Mis jefes inmediatos no habían [br]confesado a sus altos mandos

0:06:16.969,0:06:20.392
que el programador contratado para [br]un trabajo serio era una adolescente

0:06:20.416,0:06:24.346
que llevaba pantalones vaqueros [br]y zapatillas de deporte en el trabajo.

0:06:24.624,0:06:27.230
Yo hacía un buen trabajo, [br]solo que no encajaba

0:06:27.230,0:06:29.099
por la edad y por el sexo equivocado.

0:06:29.123,0:06:32.469
Así que contratar a ciegas [br]independiente del género y de la raza

0:06:32.493,0:06:34.358
ciertamente me parece bien.

0:06:35.031,0:06:38.372
Sin embargo, con estos sistemas, [br]es más complicado, y he aquí por qué:

0:06:38.968,0:06:44.759
Hoy los sistemas informáticos pueden [br]deducir todo tipo de cosas sobre Uds.

0:06:44.783,0:06:46.655
a partir de sus pistas digitales,

0:06:46.679,0:06:49.012
incluso si no las han dado a conocer.

0:06:49.506,0:06:52.433
Pueden inferir su orientación sexual,

0:06:52.994,0:06:54.300
sus rasgos de personalidad,

0:06:54.859,0:06:56.232
sus inclinaciones políticas.

0:06:56.830,0:07:00.515
Tienen poder predictivo [br]con altos niveles de precisión.

0:07:01.082,0:07:03.940
Recuerden, por cosas que [br]ni siquiera han dado a conocer.

0:07:03.964,0:07:05.555
Esta es la inferencia.

0:07:05.579,0:07:08.840
Tengo una amiga que desarrolló [br]este tipo de sistemas informáticos

0:07:08.864,0:07:12.505
para predecir la probabilidad [br]de depresión clínica o posparto

0:07:12.529,0:07:14.435
a partir de datos de medios sociales.

0:07:14.676,0:07:16.363
Los resultados son impresionantes.

0:07:16.492,0:07:19.849
Su sistema puede predecir [br]la probabilidad de depresión

0:07:19.873,0:07:23.776
meses antes de la aparición [br]de cualquier síntoma,

0:07:23.800,0:07:25.173
meses antes.

0:07:25.197,0:07:27.443
No hay síntomas, sí hay predicción.

0:07:27.467,0:07:32.279
Ella espera que se use para [br]la intervención temprana. ¡Estupendo!

0:07:32.721,0:07:35.431
Pero ahora pongan esto en el [br]contexto de la contratación.

0:07:36.027,0:07:39.073
Así que en esa conferencia [br]de recursos humanos,

0:07:39.097,0:07:43.806
me acerqué a una gerenta de alto nivel [br]de una empresa muy grande,

0:07:43.830,0:07:48.408
y le dije: "Mira, ¿qué pasaría si, [br]sin su conocimiento,

0:07:48.432,0:07:54.981
el sistema elimina a las personas con [br]alta probabilidad futura de la depresión?

0:07:55.761,0:07:59.137
No están deprimidos ahora, solo [br]quizá en el futuro, sea probable.

0:07:59.853,0:08:03.293
¿Y si elimina a las mujeres con más [br]probabilidades de estar embarazadas

0:08:03.293,0:08:06.179
en el próximo año o dos, [br]pero no está embarazada ahora?

0:08:06.844,0:08:12.480
¿Y si contratamos a personas agresivas, [br]porque esa es su cultura de trabajo?"

0:08:13.173,0:08:15.798
No se puede saber esto [br]mirando un desglose por sexos.

0:08:15.798,0:08:17.284
Estos pueden ser equilibrados.

0:08:17.284,0:08:21.521
Y como esto es aprendizaje automático, [br]no la programación tradicional,

0:08:21.521,0:08:25.902
no hay una variable etiquetada [br]como "mayor riesgo de depresión",

0:08:25.926,0:08:27.759
"mayor riesgo de embarazo",

0:08:27.783,0:08:29.517
"escala de chico agresivo".

0:08:29.995,0:08:33.674
Ud. no solo no sabe lo que [br]su sistema selecciona,

0:08:33.698,0:08:36.020
sino que ni siquiera sabe [br]por dónde empezar a buscar.

0:08:36.044,0:08:37.291
Es una caja negra.

0:08:37.315,0:08:40.121
Tiene capacidad de predicción, [br]pero uno no lo entiende.

0:08:40.486,0:08:42.855
"¿Qué salvaguardia", pregunté,

0:08:42.879,0:08:46.552
"puede asegurar que la caja negra [br]no hace algo perjudicial?"

0:08:48.863,0:08:52.741
Ella me miró como si acabara [br]de romper algo valioso.

0:08:52.765,0:08:54.013
(Risas)

0:08:54.037,0:08:56.078
Me miró y dijo:

0:08:56.556,0:09:00.889
"No quiero oír ni una palabra de esto".

0:09:01.458,0:09:03.492
Dio la vuelta y se alejó.

0:09:04.064,0:09:05.550
Eso sí, ella no fue grosera.

0:09:05.574,0:09:11.882
Era claramente: lo que no sé, no es [br]mi problema, vete, encara la muerte.

0:09:11.906,0:09:13.152
(Risas)

0:09:13.652,0:09:17.325
Un sistema de este tipo [br]puede ser incluso menos sesgado

0:09:17.325,0:09:19.888
que los administradores humanos [br]en algunos aspectos.

0:09:19.888,0:09:21.998
Y podría tener sentido monetario.

0:09:22.573,0:09:24.223
Pero también podría llevar

0:09:24.247,0:09:28.995
a un cierre constante pero sigiloso [br]del mercado de trabajo

0:09:29.019,0:09:31.312
a las personas [br]con mayor riesgo de depresión.

0:09:31.553,0:09:34.349
¿Es este el tipo de sociedad [br]la que queremos construir,

0:09:34.373,0:09:36.658
sin siquiera saber que lo hemos hecho,

0:09:36.682,0:09:40.646
porque nos movemos en torno a decisiones [br]de máquinas que no entendemos totalmente?

0:09:41.265,0:09:42.723
Otro problema es el siguiente:

0:09:43.314,0:09:47.560
estos sistemas son a menudo [br]entrenados con datos generados

0:09:47.560,0:09:49.876
por nuestras acciones, [br]por huellas humanas.

0:09:50.188,0:09:53.996
Podrían pues estar reflejando [br]nuestros prejuicios,

0:09:54.020,0:09:57.613
y estos sistemas podrían dar cuenta [br]de nuestros prejuicios

0:09:57.637,0:09:58.950
y la amplificación de ellos

0:09:58.974,0:10:00.392
volviendo a nosotros,

0:10:00.416,0:10:01.878
mientras que decimos:

0:10:01.902,0:10:05.019
"Somos objetivos, es el cómputo neutral".

0:10:06.314,0:10:09.541
Los investigadores encontraron [br]que en Google las mujeres tienen

0:10:10.134,0:10:13.463
menos probabilidades que los hombres

0:10:13.463,0:10:16.463
de que les aparezcan anuncios [br]de trabajo bien remunerados.

0:10:16.463,0:10:18.993
Y buscando nombres afroestadounidenses

0:10:19.017,0:10:23.723
es más probable que aparezcan anuncios [br]que sugieren antecedentes penales,

0:10:23.747,0:10:25.314
incluso cuando no existan.

0:10:26.693,0:10:30.242
Estos sesgos ocultos [br]y algoritmos de la caja negra

0:10:30.266,0:10:34.239
que descubren los investigadores [br]a veces, pero a veces no,

0:10:34.263,0:10:36.924
pueden tener consecuencias [br]que cambian la vida.

0:10:37.958,0:10:42.117
En Wisconsin, un acusado [br]fue condenado a seis años de prisión

0:10:42.141,0:10:43.496
por escaparse de la policía.

0:10:43.904,0:10:46.970
Quizá no lo sepan, pero los algoritmos [br]se usan cada vez más

0:10:46.970,0:10:50.032
en las decisiones de [br]libertad condicional y de sentencia.

0:10:50.056,0:10:53.011
El acusado quiso saber: [br]¿Cómo se calcula la puntuación?

0:10:53.795,0:10:55.460
Es una caja negra comercial.

0:10:55.484,0:10:59.689
La empresa se negó a que se cuestionara [br]su algoritmo en audiencia pública.

0:11:00.206,0:11:04.992
Pero ProPublica, organización [br]no lucrativa de investigación,

0:11:04.992,0:11:08.178
auditó precisamente ese algoritmo[br]con los datos públicos que encontró,

0:11:08.178,0:11:10.598
y descubrió que sus resultados [br]estaban sesgados

0:11:10.598,0:11:13.961
y su capacidad de predicción era pésima, [br]apenas mejor que el azar,

0:11:13.985,0:11:18.401
y se etiquetaban erróneamente [br]acusados negros como futuros criminales

0:11:18.425,0:11:22.320
con una tasa del doble [br]que a los acusados blancos.

0:11:23.641,0:11:25.565
Piensen en este caso:

0:11:26.103,0:11:29.955
Esta mujer llegó tarde a [br]recoger a la hija de su madrina

0:11:29.979,0:11:32.434
de una escuela en [br]el condado de Broward, Florida,

0:11:32.757,0:11:35.113
iba corriendo por la calle con una amiga.

0:11:35.137,0:11:39.236
Vieron la bicicleta de un niño sin candado[br]y una moto en un porche

0:11:39.260,0:11:40.892
y tontamente saltó sobre ella.

0:11:40.916,0:11:43.515
A medida que aceleraban, [br]una mujer salió y dijo,

0:11:43.539,0:11:45.744
"¡Eh, esa es la bicicleta de mi hijo!"

0:11:45.768,0:11:49.062
Se bajaron, se alejaron, [br]pero fueron detenidas.

0:11:49.086,0:11:52.723
Estaba equivocada, fue una tontería, [br]pero también tenía solo 18 años.

0:11:52.747,0:11:55.291
Tenía un par de faltas menores.

0:11:55.808,0:12:00.993
Mientras tanto, detenían al hombre [br]por hurto en Home Depot,

0:12:01.017,0:12:03.941
por un valor de USD 85, [br]un delito menor similar.

0:12:04.766,0:12:09.325
Pero él tenía dos condenas anteriores[br]por robo a mano armada.

0:12:09.955,0:12:13.437
Sin embargo, el algoritmo la anotó [br]a ella como de alto riesgo, y no a él.

0:12:14.386,0:12:17.864
Dos años más tarde, ProPublica descubrió [br]que ella no había vuelto a delinquir.

0:12:17.864,0:12:21.534
Pero le era difícil conseguir un trabajo [br]con sus antecedentes registrados.

0:12:21.534,0:12:23.464
Él, por el contrario, era reincidente

0:12:23.464,0:12:27.414
y ahora cumple una pena de ocho años [br]de prisión por un delito posterior.

0:12:28.088,0:12:31.457
Es evidente que necesitamos [br]auditar nuestras cajas negras

0:12:31.481,0:12:34.096
para no tener [br]este tipo de poder sin control.

0:12:34.120,0:12:36.999
(Aplausos)

0:12:38.087,0:12:42.329
Las auditorías son grandes e importantes, [br]pero no resuelven todos los problemas.

0:12:42.353,0:12:45.101
Tomemos el potente algoritmo [br]de noticias de Facebook,

0:12:45.125,0:12:49.968
ese que sabe todo y decide qué mostrarles

0:12:49.992,0:12:52.276
de las páginas de los amigos que siguen.

0:12:52.898,0:12:55.173
¿Debería mostrarles otra imagen de bebé?

0:12:55.197,0:12:56.393
(Risas)

0:12:56.417,0:12:59.013
¿Una nota deprimente de un conocido?

0:12:59.449,0:13:01.305
¿Una noticia importante pero difícil?

0:13:01.329,0:13:02.811
No hay una respuesta correcta.

0:13:02.835,0:13:05.494
Facebook optimiza para [br]que se participe en el sitio:

0:13:05.518,0:13:06.933
con Me gusta, Compartir [br]y con Comentarios.

0:13:08.168,0:13:10.864
En agosto de 2014,

0:13:10.888,0:13:13.550
estallaron protestas [br]en Ferguson, Missouri,

0:13:13.574,0:13:17.991
tras la muerte de un adolescente [br]afroestadounidense por un policía blanco,

0:13:18.015,0:13:19.585
en circunstancias turbias.

0:13:19.974,0:13:21.981
La noticia de las protestas llegaron

0:13:22.005,0:13:24.690
en mi cuenta de Twitter [br]algorítmicamente sin filtrar

0:13:24.714,0:13:26.664
pero en ninguna parte en mi Facebook.

0:13:26.782,0:13:28.916
¿Y qué pasaba con mis amigos de Facebook?

0:13:28.940,0:13:30.972
Desactivé el algoritmo de Facebook,

0:13:31.132,0:13:34.320
lo cual es difícil ya que Facebook [br]quiere seguir manteniéndonos

0:13:34.344,0:13:36.380
bajo el control del algoritmo,

0:13:36.404,0:13:38.642
y vi que mis amigos [br]estaban hablando de ello.

0:13:38.666,0:13:41.175
Pero el algoritmo no me lo mostraba.

0:13:41.199,0:13:44.241
He investigado esto y encontré [br]que era un problema generalizado.

0:13:44.265,0:13:48.078
La historia de Ferguson no era [br]compatible con el algoritmo.

0:13:48.102,0:13:49.273
No es "gustable".

0:13:49.297,0:13:51.249
¿Quién va a hacer clic en "Me gusta"?

0:13:51.500,0:13:53.706
Ni siquiera es fácil de comentar.

0:13:53.730,0:13:55.401
Sin Me gusta y sin comentarios,

0:13:55.401,0:13:58.331
el algoritmo era probable de [br]mostrarse a aún menos personas,

0:13:58.331,0:14:00.393
así que no tuvimos [br]oportunidad de ver esto.

0:14:00.946,0:14:02.174
En cambio, esa semana,

0:14:02.198,0:14:04.496
el algoritmo de Facebook destacó esto,

0:14:04.520,0:14:06.746
el ALS que era [br]el desafío del cubo de hielo.

0:14:06.770,0:14:10.512
Noble causa; verter agua con hielo, [br]donar a la caridad, bien.

0:14:10.536,0:14:12.830
Esa causa era súper compatible [br]con el algoritmo.

0:14:13.219,0:14:15.832
La máquina tomó [br]esta decisión por nosotros.

0:14:15.856,0:14:19.353
Una conversación [br]muy importante pero difícil

0:14:19.377,0:14:20.932
podría haber sido silenciada

0:14:20.956,0:14:23.652
si Facebook hubiese sido el único canal.

0:14:24.117,0:14:27.914
Ahora, por fin, estos sistemas [br]pueden también equivocarse

0:14:27.938,0:14:30.398
de formas que no se parecen a los humanos.

0:14:30.398,0:14:33.780
¿Se acuerdan de Watson, el sistema [br]de inteligencia artificial de IBM

0:14:33.780,0:14:36.772
que arrasó con los concursantes [br]humanos en Jeopardy?

0:14:37.131,0:14:38.413
Fue un gran jugador.

0:14:38.413,0:14:42.079
Pero entonces, para la final de Jeopardy, [br]a Watson se le hizo esta pregunta:

0:14:42.079,0:14:45.591
"Su mayor aeropuerto lleva el nombre [br]de un héroe de la 2ª Guerra Mundial,

0:14:45.615,0:14:48.167
la 2ª batalla más grande [br]de la 2ª Guerra Mundial".

0:14:48.167,0:14:49.539
(Música final de Jeopardy)

0:14:49.582,0:14:50.764
Chicago.

0:14:50.788,0:14:52.568
Los dos humanos lo hicieron bien.

0:14:52.697,0:14:57.045
Watson, por otra parte, [br]respondió "Toronto"

0:14:57.069,0:14:59.357
para una categoría de ciudad de EE.UU.

0:14:59.596,0:15:02.497
El impresionante sistema [br]también cometió un error

0:15:02.521,0:15:06.172
que un humano nunca cometería, que[br]un estudiante de segundo grado tampoco.

0:15:06.823,0:15:09.636
La inteligencia artificial puede fallar

0:15:09.636,0:15:13.056
en formas que no se ajustan a [br]los patrones de error de los humanos,

0:15:13.080,0:15:16.030
de maneras que no esperamos[br]y para las que no estamos preparados.

0:15:16.054,0:15:19.692
Sería pésimo no conseguir trabajo, [br]una vez que uno se cualifica para ello,

0:15:19.716,0:15:23.443
pero sería el triple de pésimo [br]si fue por un desbordamiento de pila

0:15:23.467,0:15:24.899
en algunas subrutinas.

0:15:24.923,0:15:26.502
(Risas)

0:15:26.526,0:15:29.312
En mayo del 2010

0:15:29.336,0:15:33.380
un flash crash de Wall Street alimentado [br]por un circuito de retroalimentación

0:15:33.404,0:15:36.432
por el algoritmo de "venta" de Wall Street

0:15:36.456,0:15:40.640
borró un billón de dólares en 36 minutos.

0:15:41.412,0:15:43.909
Yo no quiero ni pensar [br]lo que significa "error"

0:15:43.933,0:15:48.082
en el contexto de [br]las armas autónomas letales.

0:15:49.894,0:15:53.684
Los humanos siempre [br]hemos tenido prejuicios.

0:15:53.708,0:15:55.884
Los que toman decisiones y los guardias,

0:15:55.908,0:15:59.401
en los tribunales, [br]en la actualidad, en la guerra...

0:15:59.425,0:16:02.463
cometen errores; pero ese [br]es exactamente mi tema.

0:16:02.487,0:16:06.008
No podemos escapar [br]a estas preguntas difíciles.

0:16:06.596,0:16:10.112
No podemos delegar nuestra[br]responsabilidad a las máquinas.

0:16:10.676,0:16:14.884
(Aplausos)

0:16:17.089,0:16:21.536
La inteligencia artificial [br]no nos da una tarjeta libre de ética.

0:16:22.102,0:16:26.123
El experto en datos Fred Benenson lo [br]llama "mathwashing" o lavado matemático.

0:16:26.147,0:16:27.536
Necesitamos lo contrario.

0:16:27.560,0:16:32.948
Necesitamos fomentar un algoritmo [br]de sospecha, escrutinio e investigación.

0:16:33.380,0:16:36.578
Tenemos que asegurarnos de tener [br]responsabilidad algorítmica,

0:16:36.602,0:16:39.047
auditoría y transparencia significativa.

0:16:39.380,0:16:42.614
Tenemos que aceptar que llevar [br]las matemáticas y la computación

0:16:42.638,0:16:45.608
a los asuntos humanos, [br]desordenados y cargados de valores

0:16:45.632,0:16:48.016
no conlleva a la objetividad;

0:16:48.040,0:16:51.673
más bien, la complejidad de los asuntos [br]humanos invaden los algoritmos.

0:16:52.148,0:16:55.635
Sí, podemos y debemos [br]usar la computación

0:16:55.659,0:16:57.673
para ayudar a tomar mejores decisiones.

0:16:57.697,0:17:03.029
Pero tenemos que apropiarnos de [br]nuestra responsabilidad moral de juicio,

0:17:03.053,0:17:05.871
y usar algoritmos dentro de ese marco,

0:17:05.895,0:17:10.829
no como un medio para abdicar [br]y delegar nuestras responsabilidades

0:17:10.854,0:17:13.308
el uno al otro, como de humano a humano.

0:17:13.807,0:17:16.415
La inteligencia artificial está aquí.

0:17:16.440,0:17:19.861
Eso significa que hay que [br]ajustarla cada vez más

0:17:19.885,0:17:22.031
a los valores humanos y a la ética humana.

0:17:22.056,0:17:23.210
Gracias.

0:17:23.233,0:17:28.252
(Aplausos)