La inteligencia artificial hace que la moral humana sea más importante

La inteligencia artificial está aquí, y ya la estamos usando para tomar decisiones subjetivas. Pero la forma compleja en la que crece y mejora la inteligencia artificial hace que sea difícil de entender e incluso más difícil de controlar. En esta charla cautelosa, la tecnosocióloga Zeynep Tufekci explica cómo las máquinas inteligentes pueden fallar en formas que no encajan en los patrones del error humano y de maneras que no esperamos ni predecimos. "No podemos delegar nuestra responsabilidad a las máquinas", dice. "Debemos ajustarlas cada vez más a los valores humanos y a la ética humana".

Empecé mi primer trabajo
como programadora informática

en mi primer año de universidad,

básicamente, siendo aún adolescente.

Poco después de empezar a trabajar,

programando software en una empresa,

un gerente que trabajaba en la compañía
vino allí donde estaba yo,

y me dijo al oído:

"¿Puede decir ella si estoy mintiendo?"

No había nadie más en la habitación.

"¿Puede "quién" decir si está mintiendo?
¿Y por qué estamos susurrando?"

El gerente señaló la computadora
de la habitación.

"¿Puede ella decir si estoy mintiendo?"

Bueno, el gerente tenía
una aventura con la recepcionista.

(Risas)

Y yo todavía era adolescente.

Por lo tanto, le susurro yo a él:

"Sí, la computadora puede determinar
si Ud. está mintiendo".

(Risas)

Bueno, me reí, pero,
en realidad, me reía de mí.

Hoy en día, existen sistemas informáticos

que pueden detectar
estados emocionales e incluso mentir

a partir del procesamiento
de rostros humanos.

Los anunciantes, e incluso
hay gobiernos muy interesados.

Me había convertido en
programadora informática

porque yo era una de esas chicas
locas por las matemáticas y la ciencia.

Pero también me había
interesado por las armas nucleares,

y había empezado a realmente a
preocuparme por la ética de la ciencia.

Yo estaba preocupada.

Sin embargo,
por circunstancias familiares,

también debía empezar
a trabajar lo antes posible.

Así que me dije, bueno,
vamos a elegir un campo técnico

donde poder conseguir un trabajo fácil

y donde no tenga que lidiar
con preguntas molestas sobre ética.

Así que elegí las computadoras.

(Risas)

Bueno, ¡ja, ja, ja!
Todas las risas a mi costa.

Hoy en día, los informáticos
construyen plataformas

que controlan lo que millones
de personas ven todos los días.

Están desarrollando automóviles que
podrían decidir a quién atropellar.

Es más, están construyendo
máquinas, armas,

que podrían matar
a seres humanos en la guerra.

Esto es ética a fondo.

La inteligencia artificial está aquí.

Estamos usando la computación
para tomar todo tipo de decisiones,

además de nuevos tipos de decisiones.

Planteamos preguntas a las computadoras
que no tienen respuestas

correctas individuales,
por ser subjetivas

e indefinidas y cargadas de valores.

Planteamos preguntas como:

"¿A quién debe contratar la empresa?"

"¿Qué actualización de qué amigo
debe mostrarse?"

"¿Qué convicto tiene
más probabilidades de reincidir?"

"¿Qué artículo de noticias o película
se deben recomendar a la gente?"

Miren, sí, hemos venido usando
computadoras hace tiempo,

pero esto es diferente.

Se trata de un giro histórico,

porque no podemos anclar el cálculo
para este tipo de decisiones subjetivas

como anclamos el cálculo para
pilotar aviones, construir puentes

o ir a la luna.

¿Son los aviones más seguros?
¿Se balanceó el puente y cayó?

Ahí, hemos acordado puntos
de referencia bastante claros,

y tenemos leyes de
la naturaleza que nos guían.

Nosotros no tenemos tales anclas
y puntos de referencia

para las decisiones sobre cuestiones
humanas desordenadas.

Para complicar más las cosas,
nuestro software es cada vez más potente,

pero también es cada vez
menos transparente y más complejo.

Recientemente, en la última década,

algunos algoritmos complejos
han hecho grandes progresos.

Pueden reconocer rostros humanos.

Pueden descifrar la letra.

Pueden detectar
el fraude de tarjetas de crédito

y bloquear el spam

y pueden traducir a otros idiomas.

Pueden detectar tumores
en imágenes médicas.

Puede vencer a los humanos
en el ajedrez y en el Go.

Gran parte de este progreso viene de un
método llamado "aprendizaje automático".

El aprendizaje automático es
diferente a la programación tradicional,

donde se da al equipo instrucciones
exactas, detalladas y meticulosas.

Es como si uno alimentara el sistema
con una gran cantidad de datos,

incluyendo los datos no estructurados,

como los que generamos
en nuestras vidas digitales.

Y el sistema aprende de esos datos.

Y también, de manera crucial,

estos sistemas no funcionan
bajo una lógica de una sola respuesta.

No producen una respuesta sencilla;
es más probabilístico:

"Esto es probablemente parecido
a lo que estás buscando".

La ventaja es que
este método es muy potente.

El jefe de sistemas de inteligencia
artificial de Google lo llama:

"la eficacia irrazonable de los datos".

La desventaja es que

realmente no entendemos
lo que aprendió el sistema.

De hecho, ese es su poder.

Esto no se parece a dar instrucciones
a una computadora;

se parece más a la formación
de una criatura cachorro máquina

que realmente no entendemos o controlamos.

Así que este es nuestro problema;
un problema cuando el sistema

de inteligencia artificial
hace cosas erróneas.

Es también un problema
cuando hace bien las cosas,

porque ni siquiera sabemos qué es qué
cuando se trata de un problema subjetivo.

No sabemos qué está pensando esta cosa.

Por lo tanto, piensen en
un algoritmo de contratación,

un sistema usado para contratar,
usa sistemas de aprendizaje automático.

un sistema así habría sido entrenado
con anteriores datos de empleados

y tiene la instrucción
de encontrar y contratar

personas como las de alto rendimiento
existentes en la empresa.

Suena bien.

Una vez asistí a una conferencia

que reunió a los responsables
de recursos humanos y ejecutivos,

las personas de alto nivel,

que usaban estos sistemas
en la contratación.

Estaban muy emocionados.

Pensaban que esto haría la contratación
más objetiva, menos tendenciosa,

para dar a las mujeres y a las minorías
mejores oportunidades

contra los administradores
humanos tendenciosos.

La contratación humana es tendenciosa.

Lo sé.

Es decir, en uno de mis primeros
trabajos como programadora,

mi jefa a veces venía
allí donde yo estaba

muy temprano en la mañana
o muy tarde por la tarde,

y decía: "Zeynep, ¡vayamos a comer!"

Me dejaba perpleja por el
momento extraño de preguntar.

Son las 16. ¿Almuerzo?

Estaba en la ruina, así que,
ante un almuerzo gratis, siempre fui.

Más tarde me di cuenta
de lo que estaba ocurriendo.

Mis jefes inmediatos no habían
confesado a sus altos mandos

que el programador contratado para
un trabajo serio era una adolescente

que llevaba pantalones vaqueros
y zapatillas de deporte en el trabajo.

Yo hacía un buen trabajo,
solo que no encajaba

por la edad y por el sexo equivocado.

Así que contratar a ciegas
independiente del género y de la raza

ciertamente me parece bien.

Sin embargo, con estos sistemas,
es más complicado, y he aquí por qué:

Hoy los sistemas informáticos pueden
deducir todo tipo de cosas sobre Uds.

a partir de sus pistas digitales,

incluso si no las han dado a conocer.

Pueden inferir su orientación sexual,

sus rasgos de personalidad,

sus inclinaciones políticas.

Tienen poder predictivo
con altos niveles de precisión.

Recuerden, por cosas que
ni siquiera han dado a conocer.

Esta es la inferencia.

Tengo una amiga que desarrolló
este tipo de sistemas informáticos

para predecir la probabilidad
de depresión clínica o posparto

a partir de datos de medios sociales.

Los resultados son impresionantes.

Su sistema puede predecir
la probabilidad de depresión

meses antes de la aparición
de cualquier síntoma,

meses antes.

No hay síntomas, sí hay predicción.

Ella espera que se use para
la intervención temprana. ¡Estupendo!

Pero ahora pongan esto en el
contexto de la contratación.

Así que en esa conferencia
de recursos humanos,

me acerqué a una gerenta de alto nivel
de una empresa muy grande,

y le dije: "Mira, ¿qué pasaría si,
sin su conocimiento,

el sistema elimina a las personas con
alta probabilidad futura de la depresión?

No están deprimidos ahora, solo
quizá en el futuro, sea probable.

¿Y si elimina a las mujeres con más
probabilidades de estar embarazadas

en el próximo año o dos,
pero no está embarazada ahora?

¿Y si contratamos a personas agresivas,
porque esa es su cultura de trabajo?"

No se puede saber esto
mirando un desglose por sexos.

Estos pueden ser equilibrados.

Y como esto es aprendizaje automático,
no la programación tradicional,

no hay una variable etiquetada
como "mayor riesgo de depresión",

"mayor riesgo de embarazo",

"escala de chico agresivo".

Ud. no solo no sabe lo que
su sistema selecciona,

sino que ni siquiera sabe
por dónde empezar a buscar.

Es una caja negra.

Tiene capacidad de predicción,
pero uno no lo entiende.

"¿Qué salvaguardia", pregunté,

"puede asegurar que la caja negra
no hace algo perjudicial?"

Ella me miró como si acabara
de romper algo valioso.

(Risas)

Me miró y dijo:

"No quiero oír ni una palabra de esto".

Dio la vuelta y se alejó.

Eso sí, ella no fue grosera.

Era claramente: lo que no sé, no es
mi problema, vete, encara la muerte.

(Risas)

Un sistema de este tipo
puede ser incluso menos sesgado

que los administradores humanos
en algunos aspectos.

Y podría tener sentido monetario.

Pero también podría llevar

a un cierre constante pero sigiloso
del mercado de trabajo

a las personas
con mayor riesgo de depresión.

¿Es este el tipo de sociedad
la que queremos construir,

sin siquiera saber que lo hemos hecho,

porque nos movemos en torno a decisiones
de máquinas que no entendemos totalmente?

Otro problema es el siguiente:

estos sistemas son a menudo
entrenados con datos generados

por nuestras acciones,
por huellas humanas.

Podrían pues estar reflejando
nuestros prejuicios,

y estos sistemas podrían dar cuenta
de nuestros prejuicios

y la amplificación de ellos

volviendo a nosotros,

mientras que decimos:

"Somos objetivos, es el cómputo neutral".

Los investigadores encontraron
que en Google las mujeres tienen

menos probabilidades que los hombres

de que les aparezcan anuncios
de trabajo bien remunerados.

Y buscando nombres afroestadounidenses

es más probable que aparezcan anuncios
que sugieren antecedentes penales,

incluso cuando no existan.

Estos sesgos ocultos
y algoritmos de la caja negra

que descubren los investigadores
a veces, pero a veces no,

pueden tener consecuencias
que cambian la vida.

En Wisconsin, un acusado
fue condenado a seis años de prisión

por escaparse de la policía.

Quizá no lo sepan, pero los algoritmos
se usan cada vez más

en las decisiones de
libertad condicional y de sentencia.

El acusado quiso saber:
¿Cómo se calcula la puntuación?

Es una caja negra comercial.

La empresa se negó a que se cuestionara
su algoritmo en audiencia pública.

Pero ProPublica, organización
no lucrativa de investigación,

auditó precisamente ese algoritmo
con los datos públicos que encontró,

y descubrió que sus resultados
estaban sesgados

y su capacidad de predicción era pésima,
apenas mejor que el azar,

y se etiquetaban erróneamente
acusados negros como futuros criminales

con una tasa del doble
que a los acusados blancos.

Piensen en este caso:

Esta mujer llegó tarde a
recoger a la hija de su madrina

de una escuela en
el condado de Broward, Florida,

iba corriendo por la calle con una amiga.

Vieron la bicicleta de un niño sin candado
y una moto en un porche

y tontamente saltó sobre ella.

A medida que aceleraban,
una mujer salió y dijo,

"¡Eh, esa es la bicicleta de mi hijo!"

Se bajaron, se alejaron,
pero fueron detenidas.

Estaba equivocada, fue una tontería,
pero también tenía solo 18 años.

Tenía un par de faltas menores.

Mientras tanto, detenían al hombre
por hurto en Home Depot,

por un valor de USD 85,
un delito menor similar.

Pero él tenía dos condenas anteriores
por robo a mano armada.

Sin embargo, el algoritmo la anotó
a ella como de alto riesgo, y no a él.

Dos años más tarde, ProPublica descubrió
que ella no había vuelto a delinquir.

Pero le era difícil conseguir un trabajo
con sus antecedentes registrados.

Él, por el contrario, era reincidente

y ahora cumple una pena de ocho años
de prisión por un delito posterior.

Es evidente que necesitamos
auditar nuestras cajas negras

para no tener
este tipo de poder sin control.

(Aplausos)

Las auditorías son grandes e importantes,
pero no resuelven todos los problemas.

Tomemos el potente algoritmo
de noticias de Facebook,

ese que sabe todo y decide qué mostrarles

de las páginas de los amigos que siguen.

¿Debería mostrarles otra imagen de bebé?

(Risas)

¿Una nota deprimente de un conocido?

¿Una noticia importante pero difícil?

No hay una respuesta correcta.

Facebook optimiza para
que se participe en el sitio:

con Me gusta, Compartir
y con Comentarios.

En agosto de 2014,

estallaron protestas
en Ferguson, Missouri,

tras la muerte de un adolescente
afroestadounidense por un policía blanco,

en circunstancias turbias.

La noticia de las protestas llegaron

en mi cuenta de Twitter
algorítmicamente sin filtrar

pero en ninguna parte en mi Facebook.

¿Y qué pasaba con mis amigos de Facebook?

Desactivé el algoritmo de Facebook,

lo cual es difícil ya que Facebook
quiere seguir manteniéndonos

bajo el control del algoritmo,

y vi que mis amigos
estaban hablando de ello.

Pero el algoritmo no me lo mostraba.

He investigado esto y encontré
que era un problema generalizado.

La historia de Ferguson no era
compatible con el algoritmo.

No es "gustable".

¿Quién va a hacer clic en "Me gusta"?

Ni siquiera es fácil de comentar.

Sin Me gusta y sin comentarios,

el algoritmo era probable de
mostrarse a aún menos personas,

así que no tuvimos
oportunidad de ver esto.

En cambio, esa semana,

el algoritmo de Facebook destacó esto,

el ALS que era
el desafío del cubo de hielo.

Noble causa; verter agua con hielo,
donar a la caridad, bien.

Esa causa era súper compatible
con el algoritmo.

La máquina tomó
esta decisión por nosotros.

Una conversación
muy importante pero difícil

podría haber sido silenciada

si Facebook hubiese sido el único canal.

Ahora, por fin, estos sistemas
pueden también equivocarse

de formas que no se parecen a los humanos.

¿Se acuerdan de Watson, el sistema
de inteligencia artificial de IBM

que arrasó con los concursantes
humanos en Jeopardy?

Fue un gran jugador.

Pero entonces, para la final de Jeopardy,
a Watson se le hizo esta pregunta:

"Su mayor aeropuerto lleva el nombre
de un héroe de la 2ª Guerra Mundial,

la 2ª batalla más grande
de la 2ª Guerra Mundial".

(Música final de Jeopardy)

Chicago.

Los dos humanos lo hicieron bien.

Watson, por otra parte,
respondió "Toronto"

para una categoría de ciudad de EE.UU.

El impresionante sistema
también cometió un error

que un humano nunca cometería, que
un estudiante de segundo grado tampoco.

La inteligencia artificial puede fallar

en formas que no se ajustan a
los patrones de error de los humanos,

de maneras que no esperamos
y para las que no estamos preparados.

Sería pésimo no conseguir trabajo,
una vez que uno se cualifica para ello,

pero sería el triple de pésimo
si fue por un desbordamiento de pila

en algunas subrutinas.

(Risas)

En mayo del 2010

un flash crash de Wall Street alimentado
por un circuito de retroalimentación

por el algoritmo de "venta" de Wall Street

borró un billón de dólares en 36 minutos.

Yo no quiero ni pensar
lo que significa "error"

en el contexto de
las armas autónomas letales.

Los humanos siempre
hemos tenido prejuicios.

Los que toman decisiones y los guardias,

en los tribunales,
en la actualidad, en la guerra...

cometen errores; pero ese
es exactamente mi tema.

No podemos escapar
a estas preguntas difíciles.

No podemos delegar nuestra
responsabilidad a las máquinas.

(Aplausos)

La inteligencia artificial
no nos da una tarjeta libre de ética.

El experto en datos Fred Benenson lo
llama "mathwashing" o lavado matemático.

Necesitamos lo contrario.

Necesitamos fomentar un algoritmo
de sospecha, escrutinio e investigación.

Tenemos que asegurarnos de tener
responsabilidad algorítmica,

auditoría y transparencia significativa.

Tenemos que aceptar que llevar
las matemáticas y la computación

a los asuntos humanos,
desordenados y cargados de valores

no conlleva a la objetividad;

más bien, la complejidad de los asuntos
humanos invaden los algoritmos.

Sí, podemos y debemos
usar la computación

para ayudar a tomar mejores decisiones.

Pero tenemos que apropiarnos de
nuestra responsabilidad moral de juicio,

y usar algoritmos dentro de ese marco,

no como un medio para abdicar
y delegar nuestras responsabilidades

el uno al otro, como de humano a humano.

La inteligencia artificial está aquí.

Eso significa que hay que
ajustarla cada vez más

a los valores humanos y a la ética humana.

Gracias.

(Aplausos)