Os algoritmos estão em todo o lado.
Eles classificam e separam os vencedores dos perdedores.
Os vencedores ficam com o emprego
ou uma boa oferta para o cartão de crédito.
Os que perdem nem sequer vão à entrevista
mas pagam mais pelo seguro.
Estamos a ser marcados com fórmulas secretas que não entendemos
e que, muitas vezes, não têm sistemas de recurso.
Isto traz-nos a pergunta:
E se os algoritmos estão errados?
Para criar um algoritmo é preciso:
dados — o que aconteceu no passado;
e uma definição de sucesso,
aquilo de que estamos à procura e que queremos atingir.
Um algoritmo treina-se com a procura, com a descoberta.
O algoritmo descobre o que está associado ao sucesso.
Qual a situação que leva ao sucesso?
Na verdade, todos usam algoritmos.
Só que as pessoas não os formalizam em código escrito.
Deixem-me dar um exemplo.
Eu uso um algoritmo todos os dias para cozinhar para a minha família.
Os dados que eu uso
são os ingredientes que tenho,
o tempo disponível,
a minha ambição,
e junto esses dados todos.
Não contabilizo aqueles pacotes pequenos de "noodles" como comida.
(Risos)
A minha definição de sucesso é:
a refeição é conseguida se os filhos comerem vegetais.
Seria diferente se o meu filho mais novo fosse o responsável.
Ele diria que o sucesso seria ele comer muita Nutella.
Mas eu posso escolher o sucesso.
Sou eu a responsável. A minha opinião conta.
Essa é a primeira regra dos algoritmos.
Os algoritmos são opiniões embutidas em código.
É muito diferente daquilo que muitos pensam sobre este assunto.
As pessoas pensam que os algoritmos são objetivos, verdadeiros e científicos.
Isso é um truque de "marketing".
O que também é um truque
é o facto de os algoritmos nos intimidarem,
para nos fazer ter confiança e medo deles,
porque confiamos e receamos a matemática.
Muita coisa pode correr mal se confiarmos cegamente nos "big data".
Esta é Kiri Soares e é diretora de uma escola secundária em Brooklyn.
Em 2011, ela disse-me que os professores eram avaliados
com um algoritmo secreto e complexo
chamado "modelo de valor acrescentado".
Eu disse-lhe: "Bem, se descobrir a fórmula, mostre-ma".
"Eu explico-lha".
Ela respondeu: "Bom, eu tentei obtê-la"
"mas o Departamento de Educação disse que era matemática"
"e que eu não iria entendê-la".
E ainda é pior.
O jornal "The New York Post" invocou a lei da Liberdade de Informação,
reuniu os nomes de todos os professores e os seus resultados
e publicou todas essas informações como forma de envergonhar os professores.
Quando tentei aceder às fórmulas, ao código-fonte, através dos mesmos meios,
disseram-me que não podia fazê-lo.
Foi-me negado.
Mais tarde, descobri
que ninguém em Nova Iorque teve acesso a essa fórmula.
Ninguém a percebia.
Então, envolveu-se um tipo muito inteligente: Gary Rubenstein.
Ele descobriu 665 professores, através dos dados publicados no jornal,
que tiveram dois resultados diferentes.
Podia acontecer se estivessem a lecionar
matemática de sétimo e matemática de oitavo ano.
Decidiu representá-los graficamente
em que cada ponto representa um professor.
(Risos)
O que é isto?
(Risos)
Isto nunca poderia ter sido usado para uma avaliação individual.
É como um gerador de números aleatórios.
(Aplausos)
Mas foi utilizado.
Esta é Sarah Wysocki.
Foi despedida, juntamente com 205 professores
de escolas do distrito de Washington, DC,
embora tivesse excelentes recomendações do seu diretor
e dos pais dos seus alunos.
Sei o que muitos estão a pensar,
sobretudo os cientistas de dados especialistas em Inteligência Artificial.
Estão a pensar: "Eu nunca faria um algoritmo tão inconsistente".
Mas os algoritmos podem correr mal,
chegando a ter efeitos profundamente destrutivos, cheios de boas intenções.
Enquanto que um avião que é mal arquitetado
se despenha e todos veem,
um algoritmo mal projetado
pode ser utilizado durante muito tempo, causando estragos silenciosamente.
Este é Roger Ailes.
(Risos)
Fundou a Fox News em 1996.
Mais de 20 mulheres queixaram-se de assédio sexual.
Diziam que, na Fox News, não lhes era permitido terem sucesso.
Ailes foi despedido no ano passado, mas, recentemente,
temos visto que os problemas persistem.
Isto leva-nos a perguntar:
O que é que a Fox News deveria fazer para virar a página?
E se tivessem substituído o seu processo de recrutamento
por um algoritmo de aprendizagem automática?
Parece-vos bem, não é?
Pensem nisso.
Que dados poderiam ser?
Uma escolha razoável seriam os currículos recebidos nos últimos 21 anos.
Razoável.
E qual seria a definição de sucesso?
A escolha razoável seria...
Bem, quem tem sucesso na Fox News?
Eu diria alguém que lá trabalhou durante quatro anos
e que foi promovido, pelo menos, uma vez.
Parece razoável.
E aí, o algoritmo seria treinado.
Seria treinado para procurar pessoas e perceber o que levava ao sucesso,
que tipo de currículos eram propícios a isso,
seguindo essa definição.
Pensem no que poderia acontecer
se o aplicássemos ao conjunto atual de candidaturas.
Filtraria as mulheres,
porque não foram as pessoas que tiveram sucesso no passado.
Os algoritmos não são justos,
se os aplicarmos de ânimo leve e às cegas.
Eles não agem com justiça.
Eles repetem o que fizemos no passado,
os nossos padrões.
Eles automatizam o "status quo".
Isso seria incrível se o mundo fosse perfeito.
Mas não é.
E digo-vos mais: a maioria das empresas não têm processos legais em curso,
mas essas empresas dizem aos seus cientistas de dados
para seguirem os dados,
para se focarem na precisão.
Pensem no que isso significa.
Como todos temos preconceitos, eles podiam codificar o sexismo
ou qualquer outro tipo de sectarismo.
Um exercício intelectual,
porque gosto de fazer isso:
uma sociedade inteiramente segregada
— todas as cidades, os bairros, tudo segregado racialmente —
e onde só enviamos a polícia a bairros minoritários
para combater o crime.
Os dados sobre os detidos seriam tendenciosos.
E se tivéssemos cientistas de dados para esta situação
e lhes pagássemos para preverem onde iria ocorrer o crime seguinte?
Num bairro minoritário.
Ou para preverem quem seria o criminoso seguinte?
Alguém da minoria.
Os cientistas de dados iriam vangloriar-se da eficiência e precisão do seu modelo
e teriam razão.
A realidade não é tão drástica, mas temos segregações graves
em várias cidades e vilas,
e existem inúmeras provas
de que os dados do sistema de justiça são tendenciosos.
E nós prevemos lugares críticos,
locais onde irão ocorrer crimes.
E prevemos a criminalidade individual,
a criminalidade de indivíduos.
A agência de notícias ProPublica analisou recentemente
um algoritmo de "risco de reincidência",
como lhe chamam,
que os júris usam na Flórida, durante os julgamentos.
À esquerda, temos Bernard, de cor negra, que teve uma pontuação de 10 em 10.
Dylan, à direita, teve uma pontuação de 3 em 10.
10 em 10 é risco elevado. 3 em 10 é risco reduzido.
Foram ambos a julgamento por posse de droga.
Ambos tinham cadastro,
mas Dylan já tinha cometido um assalto à mão armada
e o Bernard não.
Isto é importante, porque, quanto mais alta é a pontuação,
maior a probabilidade de a sentença ser mais longa.
O que está a acontecer?
Lavagem de dados.
É um processo em que os tecnólogos escondem verdades muito graves
dentro de algoritmos de caixa negra
e chamam-lhes objetivos;
chamam-lhes meritocráticos.
Quando são secretos, importantes e destrutivos
eu chamo-lhes da seguinte maneira:
"armas de destruição maciça".
(Risos)
(Aplausos)
Estão por todo o lado e não são um erro.
São empresas privadas que estão a criar algoritmos privados
para objetivos privados.
Mesmo os que mencionei aqui para os professores e a polícia,
foram criados por empresas privadas
e vendidos a instituições governamentais.
Chamam-lhes o seu "molho secreto"
— é por isso que não nos podem contar.
Trata-se, também, de poder privado.
Estão a lucrar para dominarem a autoridade do inescrutável.
Agora, vocês podem pensar:
se tudo isto é privado e existe concorrência,
talvez o mercado livre corrija este problema.
Não, não o fará.
Pode fazer-se muito dinheiro com a injustiça.
Além disso, nós não somos agentes económicos racionais.
Somos todos tendenciosos.
Somos racistas e intolerantes em proporções horríveis,
em proporções que nem nós sabemos.
Mas sabemos que isto acontece em níveis agregados,
porque os sociólogos têm vindo a demonstrá-lo,
através de experiências,
em que se enviam vários currículos em resposta a anúncios,
igualmente qualificados, mas alguns com nomes caucasianos
e outros com nomes de raça negra,
e os resultados são sempre desconcertantes... Sempre!
Somos nós que somos tendenciosos
e estamos a colocar esses preconceitos nos algoritmos,
ao escolhermos os dados,
tal como eu decidi em relação aos "noodles"
— decidi que eram irrelevantes.
Mas, ao confiarmos em dados que têm, por base, acontecimentos passados
e ao escolhermos a definição de sucesso,
como é que podemos esperar que os algoritmos saiam ilesos?
Não podemos. Temos de os verificar.
Temos de ver o nível de justiça.
A boa notícia é que podemos fazer isso.
Os algoritmos podem ser questionados
e as respostas são sempre verdadeiras.
Podemos corrigi-los. Podemos torná-los melhores.
Posso chamar-lhe "auditoria algorítmica"
e explico-vos em que consiste.
Primeiro, verificar a integridade dos dados.
Em relação ao risco de reincidência de que já vos falei,
verificar a integridade dos dados significa que concordamos com o facto
de que, nos EUA, tanto os brancos como os negros fumam erva,
mas os negros têm maior probabilidade de ser detidos
— quatro ou cinco vezes mais probabilidades, dependendo da zona.
Como é que se comporta esta tendência, noutros crimes
e como é que lidamos com isso?
Segundo, devemos pensar na definição de sucesso,
rever esse conceito.
Lembrem-se do algoritmo de contratação de que já falámos.
Alguém que fica na empresa durante quatro anos e é promovido uma vez?
É um trabalhador bem-sucedido,
mas também é alguém que apoia a cultura da empresa.
Assim, vemos que também é muito tendencioso.
É necessário separar estas duas coisas.
Tomemos como exemplo
uma audição às cegas de uma orquestra
As pessoas que fazem a audição escondem-se atrás duma cortina.
O que é importante reter
é que as pessoas que estão a ouvir decidiram o que é importante
e o que não é importante,
e não se deixam distrair.
Quando as audições às cegas começaram,
o número de mulheres em orquestras aumentou cinco vezes.
Em seguida, temos de considerar a precisão.
É aqui que falharia o "modelo de valor acrescentado" dos professores.
Claro que nenhum algoritmo é perfeito,
é por isso que temos de considerar os erros de cada um.
Com que frequência existem erros e com quem é que este modelo falha?
Qual é o custo desta falha?
Por último, temos de considerar
os efeitos a longo prazo dos algoritmos,
o "feedback" que está programado.
Isto parece abstrato,
mas imaginem se os engenheiros do Facebook consideravam
mostrar-nos apenas o que os nossos amigos publicam.
Tenho mais duas mensagens, uma delas para os cientistas de dados.
Cientistas de dados: nós não devemos ser os árbitros da verdade.
Devemos ser tradutores de discussões éticas
que acontecem em sociedades mais amplas.
(Aplausos)
E aos restantes,
aos que não são cientistas de dados:
isto não é um teste matemático.
É uma luta política.
Precisamos de exigir a responsabilização dos soberanos dos nossos algoritmos.
(Aplausos)
A era da fé cega nos "big data" tem de acabar.
Muito obrigada.
(Aplausos)