Hay algoritmos por todos lados.
Ordenan y separan a los ganadores de los perdedores.
Los ganadores consiguen el trabajo
o buenas condiciones de crédito.
A los perdedores ni siquiera se les invita a una entrevista
o tienen que pagar más por el seguro.
Se nos califica mediante fórmulas secretas que no entendemos
y a las que no se puede apelar.
Eso plantea una pregunta:
¿Qué pasa si los algoritmos se equivocan?
Un algoritmo necesita dos cosas:
datos ocurridos en el pasado
y una definición del éxito;
esto es, lo que uno quiere y lo que desea.
Los algoritmos se entrenan mirando, descubriendo.
El algoritmo calcula a qué se asocia el éxito,
qué situaciones llevan al éxito.
En general todos usamos algoritmos
pero no los formalizamos mediante un código escrito.
Les doy un ejemplo.
Yo uso un algoritmo todos los días para preparar la comida en casa.
Los datos que uso
son los ingredientes de la cocina,
el tiempo que tengo
y lo ambiciosa que estoy.
Y así organizo los datos.
No incluyo esos paquetitos de fideos como comida.
(Risas)
Mi definición del éxito es:
la comida tiene éxito, si mis hijos comen verdura.
Lo que sería muy distinto, si mi hijito tuviera el control.
Para él el éxito es comer mucha Nutella.
Pero yo soy quien elige el éxito.
Estoy al mando. Mi opinión cuenta.
Esa es la primera regla de los algoritmos.
Los algoritmos son opiniones que se embeben en código.
Es muy diferente a cómo la gente se imagina los algoritmos.
Se creen que los algoritmos son objetivos, verdaderos y científicos.
Ese en un truco del marketing.
Tambien es un truco del marketing
la intimidación con algoritmos,
que nos hacer confiar y temer los algoritmos
porque confiamos y tememos las matemáticas.
Muchas cosas pueden salir mal si confiamos a ciegas en datos masivos.
Esta es Kiri Soares. Es la directora de una escuela de Brooklyn.
En 2011 me contó que sus maestros se clasificaban
mediante un algoritmo complejo y secreto
llamado "modelo del valor añadido".
Le dije, "Intente saber cuál es la fórmula, muéstremela.
Se la voy a explicar".
Me respondió, "Trate de conseguir la fórmula,
pero un conocido del Departamento de Educación me dijo
que era matemática y que no la entendería".
Esto se pone peor.
El New York Post la solicitó bajo la Ley de Libertad a la Información.
Obtuvo los nombres de los maestros y su puntuación
y los publicó como un acto para avergonzar a los maestros.
Cuando intenté conseguir las fórmulas en código base, usando el mismo mecanismo,
me dijeron que no se podía.
Me lo negaron.
Más tarde descubrí
que nadie tenía derecho a la fórmula en Nueva York.
Nadie lo podía entender.
Entonces apareció un tipo muy inteligente, Gary Rubenstein.
Localizó a 665 maestros por los datos del New York Post
que tenían dos puntuaciones.
Eso podía ocurrir si enseñaban
matemática en 7º y 8º grado.
Decidió hacer un gráfico.
Donde cada punto representa a un maestro.
(Risas)
Y eso ¿qué es?
(Risas)
Eso no debiera haberse usado nunca para evaluar a una persona.
Es casi un generador de números al azar.
(Aplausos)
Pero lo fue.
Esta es Sarah Wysocki.
La echaron junto a otros 205 maestros
de una escuela en Washington DC,
a pesar de tener muy buena recomendación de la directora
y de los padres de sus alumnos.
Me imagino lo que estarán pensando,
especialmente los cientificos de datos, los expertos en IA
Pensarán "Nosotros nunca produciríamos un algoritmo tan inconsistente."
Pero los algoritmos a veces fallan,
y tambien provocar mucha destrucción sin querer.
Y mientras un avión mal diseñado
se estrella y todos lo ven,
un algoritmo mal diseñado
puede funcionar mucho tiempo provocando un desastre silenciosamente.
Este es Roger Ailes.
(Risas)
Fundador de Fox News en el 1996.
Mas de 20 mujeres se quejaron de acoso sexual.
Dijeron que no pudieron tener éxito en Fox News.
Lo echaron el año pasado, pero hemos visto que hace poco
los problemas han continuado.
Esto plantea una pregunta:
¿Qué debe hacer Fox News para cambiar?
Y si substituyeran su mecanismo de contratación
con un algoritmo de auto- aprendizaje automatizado?
¿Suena bien?
Piénsenlo,
Los datos, ¿qué datos serían?
Una eleccion razonable serian las últimas 21 solicitudes recibidas por Fox News
Razonable.
Y ¿cuál sería la definición del éxito?
Algo razonable sería
preguntar, quién es exitoso en Fox News.
Me imagino que alguien que hubiera estado alli unos 4 años
y subido de puesto por lo menosuna vez.
¿Suena razonable?
Y así se adiestraría el algoritmo.
Se adiestraría para buscar a gente que logra el éxito.
Y qué solicitudes antiguas llegaron al éxito
según esa definición.
Ahora piensen que ocurriría
si lo usáramos con los candidatos de hoy.
Filtraría a las mujeres
ya que no parecen ser personas que hayan tenido éxito en el pasado.
Los algoritmos no son justos
si uno usa algoritmos a ciegas.
No son justos.
Repiten prácticas anteriores,
nuestros patrones.
Automatizan al status quo.
Sería genial en un mundo perfecto,
pero no lo tenemos.
Y aclaro que la mayoria de las empresas no estan involucradas en litigios,
pero los cientificos de datos de esas empresas
emplean esos datos
para lograr la precisión.
Piensen qué significa esto.
Porque todos tenemos prejuicios, y así podríamos codificar sexismo
u otro tipo de fanatismo.
Un experimento de pensamiento,
porque me gusta,
una sociedad totalmente segregada.
segregada racialmente, todas las ciudades y los barrios
y donde enviamos a la policia solo a barrios minoritarios
para detectar delitos.
Los arrestos serían sesgados.
Y, además, elegimos a los cientificos de datos
y pagamos por los datos para predecir dónde ocurrirán los próximos delitos.
El barrio de una minoría.
O a predecir quien será el próximo criminal.
Una minoría.
Los cientificos de datos se jactarían de su grandeza y de la precisión
de su modelo,
y tendrían razón.
La realidad no es tan drástica, pero tenemos grandes segregaciones
en muchas ciudades
y tenemos muchas pruebas
de datos políticos y legislativos sesgados.
Y podemos predecir puntos calientes,
lugares donde podrá ocurrir un delito
Y así predecir un crimen individual
y la criminalidad de los individuos.
El organismo de noticias ProPublica lo estudió hace poco.
un algoritmo de "riesgo recidivista"
según los llaman
usado en Florida al hacer sentencias judiciales.
Bernardo, a la izquierda, un hombre negro sacó una puntuación de 10 de 10.
Dylan, a la derecha, 3 de 10.
10 de 10, alto riesgo 3 de 10, bajo riesgo.
Los sentenciaron por tener drogas.
Ambos con antecedentes penales
pero Dylan habia cometido un delito
Bernard, no.
Esto importa porque a mayor puntuación
mayor probabilidad de una sentencia más larga.
¿Que sucede?
Lavado de datos.
El proceso que se usa para ocultar verdades feas
dentro de una caja negra de algoritmos
y llamarlos objetivos;
llamándolos meritocráticos
cuando son secretos, importantes y destructivos
Les puse un nombre a estos algoritmos:
"armas matemáticas de destrucción"
(Risas)
(Aplausos)
Estan en todos sitios
Son empresas privadas que construyen algoritmos privados
para fines privados.
Incluso los mencionados de los maestros y la policía pública
fueron diseñados por empresas privadas
y vendidos a instituciones gubernamentales.
Lo llaman su "salsa secreta"
por eso no nos pueden hablar de ello.
Es un poder privado
que saca provecho por su autoridad inescrutable.
Entonces uno ha de pensar, ya que todo esto es privado
y hay competición,
tal vez un mercado libre podrá solucionarlo
Pero no.
Se puede ganar mucho dinero con la injusticia.
Tampoco somos agentes económicos racionales.
Todos tenemos prejuicios
Somos racistas y fanáticos de una forma que no quisiéramos,
de maneras que desconocemos.
Lo sabemos al sumarlo
porque los sociólogos lo han demostrado consistentemente
con experimentos que construyeron
donde mandan una cantidad de solicitudes de empleo
de personas de calificaciones iguales pero algunas con apellidos blancos
y otras con apellidos negros,
y los resultados siempre los decepcionan, siempre.
Nosotros somos los prejuiciosos
que inyectamos prejuicios a nuestros algoritmos
al elegir qué datos recoger,
así como yo elegí no pensar en los fideos--
Y decidi que no era importante.
Pero tenerle confianza a los datos basados en prácticas pasadas
y eligiendo la definición del éxito,
¿cómo pretendemos que los algoritmos emerjan intactos?
No podemos. Tenemos que verificarlos.
Hay que revisarlos por equidad.
Y las buenas noticias son
que los algoritmos pueden ser interrogados,
y nos dirán la verdad todas las veces.
Y los podemos arreglar. Y mejorarlos.
Lo explico. Esto se llama revisión del algoritmo,
lo explico.
Primero, verificación de integridad de datos.
por el riesgo recidivista.
La verificación de la integridad de datos implicaría una conciliación
que en EE. UU. los blancos y los negros fuman marihuana
pero a los negros es mas fácil que los arresten
más probablemente cuatro o cinco veces más dependiendo de la zona.
Y ¿cómo son los prejuicios en otras categorías criminales,
y cómo lo justificamos?
Segundo, debemos pensar en la definición del éxito,
revisarla.
¿Recuerdan el algoritmo de la contratación?
alguien que se queda cuatro años y asciende de cargo una vez?
Ese es el empleado exitoso,
pero tambien es el empleado apoyado por la cultura.
Esto puede ser bastante injusto.
Tenemos que separar dos cosas.
Mirar a la audicion de una orquesta de ciegos
por ejemplo.
Los que dan la audición están detrás de la partitura.
Lo que quiero que piensen
es que la gente que escucha decide lo que es importante
y lo que no lo es,
sin que eso nos distraiga.
Cuando empezaron las audiciones de orquesta de ciegos
la cantidad de mujeres aumentó un factor de cinco veces.
Tambien hay que pensar en la precisión
y así el modelo del valor añadido fallaría.
Por supuesto ningún algoritmo es perfecto,
asi que hay que considerar los errores de cada algoritmo.
¿Qué frecuencia tienen los errores y con quiénes falla?
Y ¿cuál es el costo de dicha falla?
Y por último, tenemos que considerar
los efectos a largo plazo de los algoritmos,
los bucles de retroalimentación que engendran.
Eso suena a abstracto.
Pero imagínese si los ingenieros de Facebook lo hubieran considerado
antes de mostrarnos cosas publicadas por nuestros amigos.
Tengo dos mensajes, uno para los científicos de datos.
Cientificos de datos: no debemos ser los árbitros de la verdad.
Debemos ser tradutores de las discusiones éticas que ocurren
en toda la sociedad.
(Aplausos)
Y para el resto de Uds.
los que no son científicos de datos:
esta no es un examen de matemáticas.
Es una lucha politica.
Tenemos que exigir responsabilidad a los lores de los algoritmos.
(Aplausos)
La era de la fe ciega en los datos masivos debe terminar.
Muchas gracias.
(Aplauso)