Hay algoritmos por todos lados.
Ordenan y separan a los ganadores
de los perdedores.
Los ganadores consiguen el trabajo
o buenas condiciones de crédito.
A los perdedores ni siquiera
se les invita a una entrevista
o tienen que pagar más por el seguro.
Se nos califica mediante fórmulas
secretas que no entendemos
y a las que no se puede apelar.
Eso plantea una pregunta:
¿Qué pasa si los algoritmos se equivocan?
Un algoritmo necesita dos cosas:
datos ocurridos en el pasado
y una definición del éxito;
esto es, lo que uno quiere y lo que desea.
Los algoritmos se entrenan
mirando, descubriendo.
El algoritmo calcula a qué
se asocia el éxito,
qué situaciones llevan al éxito.
En general todos usamos algoritmos
pero no los formalizamos
mediante un código escrito.
Les doy un ejemplo.
Yo uso un algoritmo todos los días
para preparar la comida en casa.
Los datos que uso
son los ingredientes de la cocina,
el tiempo que tengo
y lo ambiciosa que estoy.
Y así organizo los datos.
No incluyo esos paquetitos
de fideos como comida.
(Risas)
Mi definición del éxito es:
la comida tiene éxito,
si mis hijos comen verdura.
Lo que sería muy distinto,
si mi hijito tuviera el control.
Para él el éxito es comer
mucha Nutella.
Pero yo soy quien elige el éxito.
Estoy al mando. Mi opinión cuenta.
Esa es la primera regla de los algoritmos.
Los algoritmos son opiniones
que se embeben en código.
Es muy diferente a cómo la gente
se imagina los algoritmos.
Se creen que los algoritmos son
objetivos, verdaderos y científicos.
Ese en un truco del marketing.
Tambien es un truco del marketing
la intimidación con algoritmos,
que nos hacer confiar
y temer los algoritmos
porque confiamos y tememos
las matemáticas.
Muchas cosas pueden salir mal si
confiamos a ciegas en datos masivos.
Esta es Kiri Soares. Es la directora
de una escuela de Brooklyn.
En 2011 me contó que
sus maestros se clasificaban
mediante un algoritmo complejo y secreto
llamado "modelo del valor añadido".
Le dije, "Intente saber
cuál es la fórmula, muéstremela.
Se la voy a explicar".
Me respondió,
"Trate de conseguir la fórmula,
pero un conocido del Departamento
de Educación me dijo
que era matemática y
que no la entendería".
Esto se pone peor.
El New York Post la solicitó bajo la
Ley de Libertad a la Información.
Obtuvo los nombres de los maestros
y su puntuación
y los publicó como un acto para
avergonzar a los maestros.
Cuando intenté conseguir las fórmulas en
código base, usando el mismo mecanismo,
me dijeron que no se podía.
Me lo negaron.
Más tarde descubrí
que nadie tenía derecho
a la fórmula en Nueva York.
Nadie lo podía entender.
Entonces apareció un tipo muy
inteligente, Gary Rubenstein.
Localizó a 665 maestros por
los datos del New York Post
que tenían dos puntuaciones.
Eso podía ocurrir si enseñaban
matemática en 7º y 8º grado.
Decidió hacer un gráfico.
Donde cada punto representa
a un maestro.
(Risas)
Y eso ¿qué es?
(Risas)
Eso no debiera haberse usado nunca
para evaluar a una persona.
Es casi un generador de números al azar.
(Aplausos)
Pero lo fue.
Esta es Sarah Wysocki.
La echaron junto a otros 205 maestros
de una escuela en Washington DC,
a pesar de tener muy buena recomendación
de la directora
y de los padres de sus alumnos.
Me imagino lo que estarán pensando,
especialmente los cientificos de
datos, los expertos en IA
Pensarán "Nosotros nunca produciríamos
un algoritmo tan inconsistente."
Pero los algoritmos a veces fallan,
y tambien provocar mucha destrucción
sin querer.
Y mientras un avión mal diseñado
se estrella y todos lo ven,
un algoritmo mal diseñado
puede funcionar mucho tiempo
provocando un desastre silenciosamente.
Este es Roger Ailes.
(Risas)
Fundador de Fox News en el 1996.
Mas de 20 mujeres se quejaron de
acoso sexual.
Dijeron que no pudieron
tener éxito en Fox News.
Lo echaron el año pasado,
pero hemos visto que hace poco
los problemas han continuado.
Esto plantea una pregunta:
¿Qué debe hacer Fox News para cambiar?
Y si substituyeran su mecanismo
de contratación
con un algoritmo de auto-
aprendizaje automatizado?
¿Suena bien?
Piénsenlo,
Los datos, ¿qué datos serían?
Una eleccion razonable serian las últimas
21 solicitudes recibidas por Fox News
Razonable.
Y ¿cuál sería la definición del éxito?
Algo razonable sería
preguntar, quién es exitoso en Fox News.
Me imagino que alguien que
hubiera estado alli unos 4 años
y subido de puesto por lo menosuna vez.
¿Suena razonable?
Y así se adiestraría el algoritmo.
Se adiestraría para buscar a gente
que logra el éxito.
Y qué solicitudes antiguas
llegaron al éxito
según esa definición.
Ahora piensen que ocurriría
si lo usáramos con los candidatos de hoy.
Filtraría a las mujeres
ya que no parecen ser personas que
hayan tenido éxito en el pasado.
Los algoritmos no son justos
si uno usa algoritmos a ciegas.
No son justos.
Repiten prácticas anteriores,
nuestros patrones.
Automatizan al status quo.
Sería genial en un mundo perfecto,
pero no lo tenemos.
Y aclaro que la mayoria de las empresas
no estan involucradas en litigios,
pero los cientificos de datos
de esas empresas
emplean esos datos
para lograr la precisión.
Piensen qué significa esto.
Porque todos tenemos prejuicios,
y así podríamos codificar sexismo
u otro tipo de fanatismo.
Un experimento de pensamiento,
porque me gusta,
una sociedad totalmente segregada.
segregada racialmente,
todas las ciudades y los barrios
y donde enviamos a la policia
solo a barrios minoritarios
para detectar delitos.
Los arrestos serían sesgados.
Y, además, elegimos a los
cientificos de datos
y pagamos por los datos para predecir
dónde ocurrirán los próximos delitos.
El barrio de una minoría.
O a predecir quien será
el próximo criminal.
Una minoría.
Los cientificos de datos se jactarían
de su grandeza y de la precisión
de su modelo,
y tendrían razón.
La realidad no es tan drástica,
pero tenemos grandes segregaciones
en muchas ciudades
y tenemos muchas pruebas
de datos políticos y
legislativos sesgados.
Y podemos predecir puntos calientes,
lugares donde podrá ocurrir un delito
Y así predecir un crimen individual
y la criminalidad de los individuos.
El organismo de noticias ProPublica
lo estudió hace poco.
un algoritmo de "riesgo recidivista"
según los llaman
usado en Florida
al hacer sentencias judiciales.
Bernardo, a la izquierda, un hombre negro
sacó una puntuación de 10 de 10.
Dylan, a la derecha, 3 de 10.
10 de 10, alto riesgo
3 de 10, bajo riesgo.
Los sentenciaron por tener drogas.
Ambos con antecedentes penales
pero Dylan habia cometido un delito
Bernard, no.
Esto importa porque
a mayor puntuación
mayor probabilidad de
una sentencia más larga.
¿Que sucede?
Lavado de datos.
El proceso que se usa para
ocultar verdades feas
dentro de una caja negra
de algoritmos
y llamarlos objetivos;
llamándolos meritocráticos
cuando son secretos,
importantes y destructivos
Les puse un nombre a estos algoritmos:
"armas matemáticas de destrucción"
(Risas)
(Aplausos)
Estan en todos sitios
Son empresas privadas
que construyen algoritmos privados
para fines privados.
Incluso los mencionados
de los maestros y la policía pública
fueron diseñados por empresas privadas
y vendidos a
instituciones gubernamentales.
Lo llaman su "salsa secreta"
por eso no nos pueden hablar de ello.
Es un poder privado
que saca provecho por su
autoridad inescrutable.
Entonces uno ha de pensar,
ya que todo esto es privado
y hay competición,
tal vez un mercado libre
podrá solucionarlo
Pero no.
Se puede ganar mucho dinero
con la injusticia.
Tampoco somos agentes
económicos racionales.
Todos tenemos prejuicios
Somos racistas y fanáticos
de una forma que no quisiéramos,
de maneras que desconocemos.
Lo sabemos al sumarlo
porque los sociólogos
lo han demostrado consistentemente
con experimentos que construyeron
donde mandan una cantidad de solicitudes
de empleo
de personas de calificaciones iguales
pero algunas con apellidos blancos
y otras con apellidos negros,
y los resultados siempre los
decepcionan, siempre.
Nosotros somos los prejuiciosos
que inyectamos prejuicios
a nuestros algoritmos
al elegir qué datos recoger,
así como yo elegí no pensar
en los fideos--
Y decidi que no era importante.
Pero tenerle confianza a los datos
basados en prácticas pasadas
y eligiendo la definición del éxito,
¿cómo pretendemos que los
algoritmos emerjan intactos?
No podemos. Tenemos que verificarlos.
Hay que revisarlos por equidad.
Y las buenas noticias son
que los algoritmos pueden ser
interrogados,
y nos dirán la verdad todas las veces.
Y los podemos arreglar.
Y mejorarlos.
Lo explico. Esto se llama revisión
del algoritmo,
lo explico.
Primero, verificación de
integridad de datos.
por el riesgo recidivista.
La verificación de la integridad de datos
implicaría una conciliación
que en EE. UU. los blancos y los
negros fuman marihuana
pero a los negros es mas fácil que
los arresten
más probablemente cuatro o cinco
veces más dependiendo de la zona.
Y ¿cómo son los prejuicios en
otras categorías criminales,
y cómo lo justificamos?
Segundo, debemos pensar
en la definición del éxito,
revisarla.
¿Recuerdan el algoritmo
de la contratación?
alguien que se queda cuatro años
y asciende de cargo una vez?
Ese es el empleado exitoso,
pero tambien es el empleado
apoyado por la cultura.
Esto puede ser bastante injusto.
Tenemos que separar dos cosas.
Mirar a la audicion de una
orquesta de ciegos
por ejemplo.
Los que dan la audición están
detrás de la partitura.
Lo que quiero que piensen
es que la gente que escucha
decide lo que es importante
y lo que no lo es,
sin que eso nos distraiga.
Cuando empezaron las audiciones
de orquesta de ciegos
la cantidad de mujeres aumentó
un factor de cinco veces.
Tambien hay que pensar en la precisión
y así el modelo
del valor añadido fallaría.
Por supuesto ningún algoritmo es perfecto,
asi que hay que considerar los
errores de cada algoritmo.
¿Qué frecuencia tienen los errores
y con quiénes falla?
Y ¿cuál es el costo de dicha falla?
Y por último, tenemos que considerar
los efectos a largo plazo
de los algoritmos,
los bucles de retroalimentación
que engendran.
Eso suena a abstracto.
Pero imagínese si los ingenieros
de Facebook lo hubieran considerado
antes de mostrarnos cosas
publicadas por nuestros amigos.
Tengo dos mensajes,
uno para los científicos de datos.
Cientificos de datos: no debemos
ser los árbitros de la verdad.
Debemos ser tradutores de las
discusiones éticas que ocurren
en toda la sociedad.
(Aplausos)
Y para el resto de Uds.
los que no son científicos de datos:
esta no es un examen de matemáticas.
Es una lucha politica.
Tenemos que exigir responsabilidad
a los lores de los algoritmos.
(Aplausos)
La era de la fe ciega en los
datos masivos debe terminar.
Muchas gracias.
(Aplauso)