Os algoritmos estão por toda parte.
Eles selecionam e separam os vencedores dos perdedores.
Os vencedores conseguem o emprego ou a oferta de um bom cartão de crédito.
Os perdedores não conseguem nem mesmo uma entrevista.
Ou pagam mais caro pelo seu seguro.
Estamos sendo avaliados com fórmulas secretas que não entendemos,
que geralmente não têm como serem contestadas.
Isso coloca uma questão:
e se os algoritmos estiverem errados?
Precisamos de duas coisas para criar um algoritmo:
de dados, o que aconteceu no passado, e uma definição de sucesso,
aquilo que estamos procurando e geralmente esperando.
Treinamos um algoritmo procurando, calculando.
O algoritmo descobre o que está associado com o sucesso,
que situação leva ao sucesso.
Na verdade, todos usamos algoritmos,
apenas não os formalizamos num código escrito.
Querem um exemplo?
Todo dia uso um algoritmo pra preparar as refeições da minha família.
Os dados que uso
são os ingredientes da minha cozinha, o tempo disponível,
minha ambição,
e quem seleciona os dados sou eu.
Não conto um pacote de Miojo como comida.
(Risos)
Minha definição de sucesso é:
uma refeição é um sucesso quando meus filhos comem verduras.
Muito diferente se meu filho mais novo estiver no comando.
Para ele, sucesso é comer montes de Nutella.
Mas eu é que escolho o que é sucesso.
Eu estou no comando; minha opinião conta.
Essa é a primeira regra dos algoritmos.
Algoritmos são opiniões embutidas num código.
Bem diferente do que a maioria de nós pensa sobre os algoritmos.
Achamos que os algoritmos são objetivos, verdadeiros e científicos.
Esse é um truque de marketing.
É também um truque de marketing
intimidar vocês com algoritmos,
fazê-los acreditar nos algoritmos ou ter medo deles
porque acreditamos na matemática, e temos medo dela.
Muita coisa pode dar errado quando confiamos cegamente no Big Data.
Esta é Kiri Soares, diretora de um colégio no Brooklyn.
Em 2011, ela me disse que seus professores
estavam sendo avaliados por um algoritmo complexo e secreto,
chamado "modelo de valor agregado".
Disse a ela: "Descubra a fórmula dele e me mostre.
Aí, posso explicá-lo a você".
Ela disse: "Tentei conseguir a fórmula, mas meu contato na Secretaria de Educação
me falou que era matemática e que eu não iria entender".
E a história só fica pior.
O "New York Post" protocolou um pedido de transparência,
pegou o nome de todos os professores, e todas suas avaliações
e publicou como um ato para expor os professores.
Quando tentei conseguir as fórmulas, o código-fonte, através dos mesmos meios,
me disseram que não podia, me foi negado.
Descobri mais tarde que ninguém em Nova Iorque tinha acesso àquela fórmula.
Ninguém a entendia.
Então, Gary Rubenstein, um cara muito inteligente, se envolveu.
Ele descobriu 665 professores naqueles dados do "New York Post"
que na verdade tinham duas avaliações.
Aquilo podia acontecer se eles ensinavam matemática na sétima e na oitava série.
Ele decidiu marcá-los.
Cada ponto representa um professor.
(Risos)
O que é isto?
(Risos)
Isso nunca deveria ter sido usado numa avaliação individual.
É quase um gerador aleatório de número.
(Aplausos) (Vivas)
Mas foi usado.
Esta é Sarah Wysocki.
Ela foi demitida, juntamente com 205 outros professores,
da superintendência de ensino de Washington, D.C.,
mesmo tendo excelente recomendação de sua diretora e dos pais das crianças.
Muitos aqui devem estar pensando, especialmente cientistas de dados,
os especialistas em IA:
"Eu nunca faria um algoritmo inconsistente assim".
Mas os algoritmos podem dar errado,
mesmo os bem-intencionados podem ter efeitos profundamente destrutivos.
E enquanto um avião mal projetado cai, e todo mundo vê,
um algoritmo mal projetado
pode continuar a causar destruição de forma silenciosa, por um longo tempo.
Este é Roger Ailes.
(Risos)
Ele fundou a Fox News em 1996.
Mais de 20 mulheres reclamaram de assédio sexual.
Elas disseram que não lhes foi permitido subir na Fox News.
Ele foi afastado ano passado, mas vimos recentemente
que os problemas continuaram.
Uma pergunta se impõe aqui:
o que a Fox News deveria fazer para virar essa página?
Que tal se eles substituírem seu processo de contratação
por um algoritmo de aprendizado de máquina? Parece boa ideia, né?
Pensem bem.
Os dados, quais seriam os dados?
Uma escolha razoável seria os últimos 21 anos de contratação da Fox News.
Bem razoável.
E a definição de sucesso?
Seria uma escolha racional: quem é bem-sucedido para a Fox News?
Digamos que seja alguém que tenha ficado lá por quatro anos
e promovido pelo menos uma vez.
Parece razoável.
E então o algoritmo poderia ser treinado.
Seria treinado para procurar pessoas para aprender o que leva ao sucesso,
que tipo de contratações historicamente levaram ao sucesso
segundo aquela definição.
Agora pensem sobre o que aconteceria
se aplicado a um conjunto atual de pedidos de emprego.
Ele filtraria as mulheres,
pois aparentemente elas não tiveram sucesso no passado.
Os algoritmos não tornam as coisas justas
se forem aplicados de forma cega e displicente.
Não tornam as coisas justas.
Eles repetem nossas práticas passadas, nossos padrões.
Eles automatizam o status quo.
Isso seria ótimo se tivéssemos um mundo perfeito,
mas não temos.
E mais: a maioria das empresas não inclui os litígios constrangedores,
mas os cientistas de dados dessas empresas
são orientados a seguirem os dados,
a terem rigor.
Pensem no que isso significa.
Como todos somos tendenciosos, significa que poderiam estar codificando sexismo
ou qualquer outro tipo de intolerância.
Vamos fazer um exercício intelectual, pois gosto deles:
uma sociedade inteiramente segregada,
racialmente segregada, todas as cidades, todos os bairros,
e onde enviamos a polícia apenas a bairros de minorias atrás de crimes.
Os dados sobre os presos seriam muito tendenciosos.
E se, além disso, pegássemos cientistas de dados
e pagássemos a eles para predizerem onde vai ocorrer o próximo crime?
Bairros de minorias.
Ou predizer quem será o próximo criminoso?
Alguém das minorias.
Os cientistas de dados se gabariam da excelência e da precisão de seu modelo,
e estariam certos.
Bem, a realidade não é drástica assim, mas temos graves segregações
em muitas cidades e vilas, e muitas evidências
de dados policiais e judiciários tendenciosos.
Na verdade, predizemos focos de crise,
lugares onde crimes podem ocorrer.
E predizemos, de fato, a criminalidade individual,
a criminalidade dos indivíduos.
A organização de notícias ProPublica recentemente estudou
um desses algoritmos, chamados de "risco de recidiva",
que têm sido usados por juízes na Flórida para proferirem sentenças.
Bernard, à esquerda, o homem negro, atingiu dez em dez.
Dylan, à direita, três em dez.
Então, dez em dez, alto risco; três em dez, baixo risco.
Ambos foram pegos por posse de droga.
Ambos tinham antecedentes, e Dylan tinha um delito grave,
mas Bernard não.
Isso é importante, pois, quanto maior a pontuação,
maior a chance de se receber uma sentença mais severa.
O que que está havendo?
Branqueamento dos dados.
É um processo por meio do qual tecnólogos escondem verdades sujas
dentro da caixa-preta dos algoritmos, e os chamam de objetivos,
de meritocráticos.
Cunhei um termo para esses algoritmos secretos, importantes e destrutivos:
"armas de destruição em matemática".
(Aplausos) (Vivas)
Eles estão por toda parte, e isso não é um erro.
Trata-se de empresas privadas criando algoritmos privados
para fins privados.
Mesmos aqueles que mencionei, para os professores e a polícia,
foram criados por empresas privadas e vendidos a instituições governamentais.
Eles os chamam de seu "molho secreto", e por isso não nos contam sobre eles.
Isso é poder privado também.
Eles estão lucrando para exercerem a autoridade do inescrutável.
Vocês podem achar, já que isso é privado e não há competição,
que talvez o livre comércio resolva o problema.
Não vai resolver.
Há muito dinheiro a ser ganho com a injustiça.
Além disso, não somos agentes econômicos racionais.
Somos todos tendenciosos.
Somos todos racistas e intolerantes de maneiras que desejávamos não ser,
de maneiras das nem temos consciência.
No entanto, sabemos disso
porque os sociólogos têm demonstrado isso consistentemente
com experimentos nos quais enviam um monte de currículos,
todos igualmente qualificados,
mas alguns com nomes que parecem ser de brancos, e outros, de negros,
e os resultados são sempre frustrantes.
Então, nós somos tendenciosos,
e estamos instilando esses preconceitos nos algoritmos
quando escolhemos quais dados coletar,
como quando escolhi descartar o Miojo, porque decidi que ele era irrelevante.
Mas, ao confiar em dados que se baseiam em práticas do passado
e ao escolher a definição de sucesso,
como podemos esperar que os algoritmos saiam incólumes?
Não dá, temos de fiscalizá-los.
Temos de checar se são justos.
A boa notícia é que isso é possível.
Os algoritmos podem ser questionados,
e eles sempre vão nos dizer a verdade.
E podemos repará-los, aperfeiçoá-los.
Podemos chamar de auditoria de algoritmos,
e vou mostrar como seria.
Primeiro, temos de checar a integridade dos dados.
Para o algoritmo de risco de recidiva que mencionei,
checar a integridade dos dados significa aceitarmos o fato
de que, nos EUA, brancos e negros fumam maconha na mesma proporção,
mas os negros têm muito mais chance de serem presos,
quatro ou cinco vezes mais, dependendo da região.
E como esse viés surge em outras categorias de crime
e como justificamos isso?
Segundo, devemos pensar na definição de sucesso,
auditar esse conceito.
Lembram-se do algoritmo de contratação de que falei?
Alguém que trabalhou por quatro anos e foi promovido uma vez?
Bem, esse é um empregado de sucesso,
mas é também um empregado que tem apoio da cultura da empresa.
Isso pode ser bem tendencioso.
Precisamos separar essas duas coisas.
Deveríamos nos mirar na audição às cegas de orquestras.
É quando os examinadores ficam atrás de uma planilha.
O importante aí
é que os examinadores decidem o que é importante
e o que não é,
e não se distraem com outras coisas.
Quando as audições às cegas de orquestras começaram,
o número de mulheres em orquestras cresceu cinco vezes mais.
Depois, temos de considerar o rigor.
É aí que o modelo valor agregado para professores fracassaria imediatamente.
Nenhum algoritmo é perfeito, claro,
assim, temos de partir do pressuposto de que todos erram.
Qual a frequência desses erros, e com quem esse modelo falha?
Qual o preço desse fracasso?
E, finalmente, temos de considerar
os efeitos de longo prazo dos algoritmos,
os círculos viciosos que são gerados.
Isso parece abstrato, mas imaginem se os engenheiros do Facebook
tivessem considerado isso
antes de decidirem nos mostrar apenas coisas que nossos amigos postam.
Tenho mais duas mensagens, uma para os cientistas de dados.
Cientistas de dados: não devemos ser os árbitros da verdade.
Devemos ser tradutores dos debates éticos que ocorrem
na sociedade como um todo.
(Aplausos) (Vivas)
E os demais,
os que não são cientistas de dados: isso não é um teste de matemática.
Essa é uma luta política.
Precisamos exigir prestação de contas dos "senhores dos algoritmos".
(Aplausos) (Vivas)
A era da fé cega no Big Data tem de acabar.
Muito obrigada.
(Aplausos) (Vivas)