A era da fé cega no Big data tem de acabar

Os algoritmos decidem quem vai receber um empréstimo, quem vai ser selecionado para uma entrevista de emprego, quem vai ter direito ao seguro, e muito mais -- mas eles não garantem automaticamente que as coisas sejam justas. Cathy O'Neil, matemática e engenheira de dados, cunhou um termo para esses algoritmos secretos, importantes e nocivos: "armas de destruição em matemática". Saiba mais sobre as agendas secretas por trás das fórmulas dos algoritmos.

Os algoritmos estão por toda parte.

Eles selecionam e separam
os vencedores dos perdedores.

Os vencedores conseguem o emprego
ou a oferta de um bom cartão de crédito.

Os perdedores não conseguem
nem mesmo uma entrevista.

Ou pagam mais caro pelo seu seguro.

Estamos sendo avaliados
com fórmulas secretas que não entendemos,

que geralmente não têm
como serem contestadas.

Isso coloca uma questão:

e se os algoritmos estiverem errados?

Precisamos de duas coisas
para criar um algoritmo:

de dados, o que aconteceu no passado,
e uma definição de sucesso,

aquilo que estamos procurando
e geralmente esperando.

Treinamos um algoritmo
procurando, calculando.

O algoritmo descobre
o que está associado com o sucesso,

que situação leva ao sucesso.

Na verdade, todos usamos algoritmos,

apenas não os formalizamos
num código escrito.

Querem um exemplo?

Todo dia uso um algoritmo pra preparar
as refeições da minha família.

Os dados que uso

são os ingredientes da minha cozinha,
o tempo disponível,

minha ambição,

e quem seleciona os dados sou eu.

Não conto um pacote de Miojo como comida.

(Risos)

Minha definição de sucesso é:

uma refeição é um sucesso
quando meus filhos comem verduras.

Muito diferente se meu filho
mais novo estiver no comando.

Para ele, sucesso
é comer montes de Nutella.

Mas eu é que escolho o que é sucesso.

Eu estou no comando; minha opinião conta.

Essa é a primeira regra dos algoritmos.

Algoritmos são opiniões
embutidas num código.

Bem diferente do que a maioria
de nós pensa sobre os algoritmos.

Achamos que os algoritmos são
objetivos, verdadeiros e científicos.

Esse é um truque de marketing.

É também um truque de marketing

intimidar vocês com algoritmos,

fazê-los acreditar nos algoritmos
ou ter medo deles

porque acreditamos
na matemática, e temos medo dela.

Muita coisa pode dar errado
quando confiamos cegamente no Big Data.

Esta é Kiri Soares,
diretora de um colégio no Brooklyn.

Em 2011, ela me disse que seus professores

estavam sendo avaliados
por um algoritmo complexo e secreto,

chamado "modelo de valor agregado".

Disse a ela: "Descubra
a fórmula dele e me mostre.

Aí, posso explicá-lo a você".

Ela disse: "Tentei conseguir a fórmula,
mas meu contato na Secretaria de Educação

me falou que era matemática
e que eu não iria entender".

E a história só fica pior.

O "New York Post" protocolou
um pedido de transparência,

pegou o nome de todos os professores,
e todas suas avaliações

e publicou como um ato
para expor os professores.

Quando tentei conseguir as fórmulas,
o código-fonte, através dos mesmos meios,

me disseram que não podia, me foi negado.

Descobri mais tarde que ninguém em
Nova Iorque tinha acesso àquela fórmula.

Ninguém a entendia.

Então, Gary Rubenstein,
um cara muito inteligente, se envolveu.

Ele descobriu 665 professores
naqueles dados do "New York Post"

que na verdade tinham duas avaliações.

Aquilo podia acontecer se eles ensinavam
matemática na sétima e na oitava série.

Ele decidiu marcá-los.

Cada ponto representa um professor.

(Risos)

O que é isto?

(Risos)

Isso nunca deveria ter sido usado
numa avaliação individual.

É quase um gerador aleatório de número.

(Aplausos) (Vivas)

Mas foi usado.

Esta é Sarah Wysocki.

Ela foi demitida, juntamente
com 205 outros professores,

da superintendência de ensino
de Washington, D.C.,

mesmo tendo excelente recomendação
de sua diretora e dos pais das crianças.

Muitos aqui devem estar pensando,
especialmente cientistas de dados,

os especialistas em IA:

"Eu nunca faria um algoritmo
inconsistente assim".

Mas os algoritmos podem dar errado,

mesmo os bem-intencionados podem ter
efeitos profundamente destrutivos.

E enquanto um avião mal projetado
cai, e todo mundo vê,

um algoritmo mal projetado

pode continuar a causar destruição
de forma silenciosa, por um longo tempo.

Este é Roger Ailes.

(Risos)

Ele fundou a Fox News em 1996.

Mais de 20 mulheres
reclamaram de assédio sexual.

Elas disseram que não lhes foi
permitido subir na Fox News.

Ele foi afastado ano passado,
mas vimos recentemente

que os problemas continuaram.

Uma pergunta se impõe aqui:

o que a Fox News deveria fazer
para virar essa página?

Que tal se eles substituírem
seu processo de contratação

por um algoritmo de aprendizado
de máquina? Parece boa ideia, né?

Pensem bem.

Os dados, quais seriam os dados?

Uma escolha razoável seria os últimos
21 anos de contratação da Fox News.

Bem razoável.

E a definição de sucesso?

Seria uma escolha racional:
quem é bem-sucedido para a Fox News?

Digamos que seja alguém
que tenha ficado lá por quatro anos

e promovido pelo menos uma vez.

Parece razoável.

E então o algoritmo poderia ser treinado.

Seria treinado para procurar pessoas
para aprender o que leva ao sucesso,

que tipo de contratações
historicamente levaram ao sucesso

segundo aquela definição.

Agora pensem sobre o que aconteceria

se aplicado a um conjunto
atual de pedidos de emprego.

Ele filtraria as mulheres,

pois aparentemente elas não
tiveram sucesso no passado.

Os algoritmos não tornam as coisas justas

se forem aplicados
de forma cega e displicente.

Não tornam as coisas justas.

Eles repetem nossas práticas
passadas, nossos padrões.

Eles automatizam o status quo.

Isso seria ótimo se tivéssemos
um mundo perfeito,

mas não temos.

E mais: a maioria das empresas
não inclui os litígios constrangedores,

mas os cientistas de dados dessas empresas

são orientados a seguirem os dados,

a terem rigor.

Pensem no que isso significa.

Como todos somos tendenciosos, significa
que poderiam estar codificando sexismo

ou qualquer outro tipo de intolerância.

Vamos fazer um exercício
intelectual, pois gosto deles:

uma sociedade inteiramente segregada,

racialmente segregada,
todas as cidades, todos os bairros,

e onde enviamos a polícia apenas
a bairros de minorias atrás de crimes.

Os dados sobre os presos
seriam muito tendenciosos.

E se, além disso, pegássemos
cientistas de dados

e pagássemos a eles para predizerem
onde vai ocorrer o próximo crime?

Bairros de minorias.

Ou predizer quem será o próximo criminoso?

Alguém das minorias.

Os cientistas de dados se gabariam
da excelência e da precisão de seu modelo,

e estariam certos.

Bem, a realidade não é drástica assim,
mas temos graves segregações

em muitas cidades e vilas,
e muitas evidências

de dados policiais
e judiciários tendenciosos.

Na verdade, predizemos focos de crise,

lugares onde crimes podem ocorrer.

E predizemos, de fato,
a criminalidade individual,

a criminalidade dos indivíduos.

A organização de notícias ProPublica
recentemente estudou

um desses algoritmos,
chamados de "risco de recidiva",

que têm sido usados por juízes
na Flórida para proferirem sentenças.

Bernard, à esquerda,
o homem negro, atingiu dez em dez.

Dylan, à direita, três em dez.

Então, dez em dez, alto risco;
três em dez, baixo risco.

Ambos foram pegos por posse de droga.

Ambos tinham antecedentes,
e Dylan tinha um delito grave,

mas Bernard não.

Isso é importante,
pois, quanto maior a pontuação,

maior a chance de se receber
uma sentença mais severa.

O que que está havendo?

Branqueamento dos dados.

É um processo por meio do qual tecnólogos
escondem verdades sujas

dentro da caixa-preta dos algoritmos,
e os chamam de objetivos,

de meritocráticos.

Cunhei um termo para esses algoritmos
secretos, importantes e destrutivos:

"armas de destruição em matemática".

(Aplausos) (Vivas)

Eles estão por toda parte,
e isso não é um erro.

Trata-se de empresas privadas
criando algoritmos privados

para fins privados.

Mesmos aqueles que mencionei,
para os professores e a polícia,

foram criados por empresas privadas
e vendidos a instituições governamentais.

Eles os chamam de seu "molho secreto",
e por isso não nos contam sobre eles.

Isso é poder privado também.

Eles estão lucrando para exercerem
a autoridade do inescrutável.

Vocês podem achar, já que isso é privado
e não há competição,

que talvez o livre comércio
resolva o problema.

Não vai resolver.

Há muito dinheiro
a ser ganho com a injustiça.

Além disso, não somos
agentes econômicos racionais.

Somos todos tendenciosos.

Somos todos racistas e intolerantes
de maneiras que desejávamos não ser,

de maneiras das nem temos consciência.

No entanto, sabemos disso

porque os sociólogos têm
demonstrado isso consistentemente

com experimentos nos quais
enviam um monte de currículos,

todos igualmente qualificados,

mas alguns com nomes que parecem
ser de brancos, e outros, de negros,

e os resultados são sempre frustrantes.

Então, nós somos tendenciosos,

e estamos instilando
esses preconceitos nos algoritmos

quando escolhemos quais dados coletar,

como quando escolhi descartar o Miojo,
porque decidi que ele era irrelevante.

Mas, ao confiar em dados
que se baseiam em práticas do passado

e ao escolher a definição de sucesso,

como podemos esperar
que os algoritmos saiam incólumes?

Não dá, temos de fiscalizá-los.

Temos de checar se são justos.

A boa notícia é que isso é possível.

Os algoritmos podem ser questionados,

e eles sempre vão nos dizer a verdade.

E podemos repará-los, aperfeiçoá-los.

Podemos chamar de auditoria de algoritmos,

e vou mostrar como seria.

Primeiro, temos de checar
a integridade dos dados.

Para o algoritmo de risco
de recidiva que mencionei,

checar a integridade dos dados
significa aceitarmos o fato

de que, nos EUA, brancos e negros
fumam maconha na mesma proporção,

mas os negros têm
muito mais chance de serem presos,

quatro ou cinco vezes mais,
dependendo da região.

E como esse viés surge
em outras categorias de crime

e como justificamos isso?

Segundo, devemos pensar
na definição de sucesso,

auditar esse conceito.

Lembram-se do algoritmo
de contratação de que falei?

Alguém que trabalhou por quatro anos
e foi promovido uma vez?

Bem, esse é um empregado de sucesso,

mas é também um empregado
que tem apoio da cultura da empresa.

Isso pode ser bem tendencioso.

Precisamos separar essas duas coisas.

Deveríamos nos mirar
na audição às cegas de orquestras.

É quando os examinadores
ficam atrás de uma planilha.

O importante aí

é que os examinadores
decidem o que é importante

e o que não é,

e não se distraem com outras coisas.

Quando as audições às cegas
de orquestras começaram,

o número de mulheres em orquestras
cresceu cinco vezes mais.

Depois, temos de considerar o rigor.

É aí que o modelo valor agregado para
professores fracassaria imediatamente.

Nenhum algoritmo é perfeito, claro,

assim, temos de partir
do pressuposto de que todos erram.

Qual a frequência desses erros,
e com quem esse modelo falha?

Qual o preço desse fracasso?

E, finalmente, temos de considerar

os efeitos de longo prazo dos algoritmos,

os círculos viciosos que são gerados.

Isso parece abstrato, mas imaginem
se os engenheiros do Facebook

tivessem considerado isso

antes de decidirem nos mostrar
apenas coisas que nossos amigos postam.

Tenho mais duas mensagens,
uma para os cientistas de dados.

Cientistas de dados: não devemos
ser os árbitros da verdade.

Devemos ser tradutores
dos debates éticos que ocorrem

na sociedade como um todo.

(Aplausos) (Vivas)

E os demais,

os que não são cientistas de dados:
isso não é um teste de matemática.

Essa é uma luta política.

Precisamos exigir prestação de contas
dos "senhores dos algoritmos".

(Aplausos) (Vivas)

A era da fé cega
no Big Data tem de acabar.

Muito obrigada.

(Aplausos) (Vivas)