A era da fé cega nos "big data" tem de acabar

Os algoritmos decidem a quem é concedido um empréstimo, quem é chamado para uma entrevista de emprego, a quem é atribuído um seguro, e muito mais — mas não tornam as coisas justas automaticamente. A matemática e o cientista de dados Cathy O'Neil cunhou um termo para os algoritmos que são secretos, importantes e prejudiciais: "armas de destruição matemática".
Saiba mais sobre os sumários escondidos por detrás das fórmulas.

Os algoritmos estão em todo o lado.

Eles classificam e separam
os vencedores dos perdedores.

Os vencedores ficam com o emprego

ou uma boa oferta
para o cartão de crédito.

Os que perdem nem sequer vão à entrevista

mas pagam mais pelo seguro.

Estamos a ser marcados
com fórmulas secretas que não entendemos

e que, muitas vezes,
não têm sistemas de recurso.

Isto traz-nos a pergunta:

E se os algoritmos estão errados?

Para criar um algoritmo é preciso:

dados — o que aconteceu no passado;

e uma definição de sucesso,

aquilo de que estamos à procura
e que queremos atingir.

Um algoritmo treina-se
com a procura, com a descoberta.

O algoritmo descobre
o que está associado ao sucesso.

Qual a situação que leva ao sucesso?

Na verdade, todos usam algoritmos.

Só que as pessoas não os formalizam
em código escrito.

Deixem-me dar um exemplo.

Eu uso um algoritmo todos os dias
para cozinhar para a minha família.

Os dados que eu uso

são os ingredientes que tenho,

o tempo disponível,

a minha ambição,

e junto esses dados todos.

Não contabilizo aqueles pacotes pequenos
de "noodles" como comida.

(Risos)

A minha definição de sucesso é:

a refeição é conseguida
se os filhos comerem vegetais.

Seria diferente se o meu filho
mais novo fosse o responsável.

Ele diria que o sucesso
seria ele comer muita Nutella.

Mas eu posso escolher o sucesso.

Sou eu a responsável.
A minha opinião conta.

Essa é a primeira regra
dos algoritmos.

Os algoritmos são opiniões
embutidas em código.

É muito diferente daquilo que muitos
pensam sobre este assunto.

As pessoas pensam que os algoritmos
são objetivos, verdadeiros e científicos.

Isso é um truque de "marketing".

O que também é um truque

é o facto de os algoritmos
nos intimidarem,

para nos fazer ter confiança
e medo deles,

porque confiamos
e receamos a matemática.

Muita coisa pode correr mal
se confiarmos cegamente nos "big data".

Esta é Kiri Soares e é diretora
de uma escola secundária em Brooklyn.

Em 2011, ela disse-me que
os professores eram avaliados

com um algoritmo secreto e complexo

chamado "modelo de valor acrescentado".

Eu disse-lhe:
"Bem, se descobrir a fórmula, mostre-ma".

"Eu explico-lha".

Ela respondeu: "Bom, eu tentei obtê-la"

"mas o Departamento de Educação
disse que era matemática"

"e que eu não iria entendê-la".

E ainda é pior.

O jornal "The New York Post" invocou
a lei da Liberdade de Informação,

reuniu os nomes de todos os professores
e os seus resultados

e publicou todas essas informações
como forma de envergonhar os professores.

Quando tentei aceder às fórmulas,
ao código-fonte, através dos mesmos meios,

disseram-me que não podia fazê-lo.

Foi-me negado.

Mais tarde, descobri

que ninguém em Nova Iorque
teve acesso a essa fórmula.

Ninguém a percebia.

Então, envolveu-se um tipo
muito inteligente: Gary Rubenstein.

Ele descobriu 665 professores,
através dos dados publicados no jornal,

que tiveram dois resultados diferentes.

Podia acontecer
se estivessem a lecionar

matemática de sétimo
e matemática de oitavo ano.

Decidiu representá-los graficamente

em que cada ponto representa
um professor.

(Risos)

O que é isto?

(Risos)

Isto nunca poderia ter sido usado
para uma avaliação individual.

É como um gerador
de números aleatórios.

(Aplausos)

Mas foi utilizado.

Esta é Sarah Wysocki.

Foi despedida,
juntamente com 205 professores

de escolas do distrito de Washington, DC,

embora tivesse excelentes
recomendações do seu diretor

e dos pais dos seus alunos.

Sei o que muitos estão a pensar,

sobretudo os cientistas de dados
especialistas em Inteligência Artificial.

Estão a pensar: "Eu nunca faria
um algoritmo tão inconsistente".

Mas os algoritmos podem correr mal,

chegando a ter efeitos profundamente
destrutivos, cheios de boas intenções.

Enquanto que um avião
que é mal arquitetado

se despenha e todos veem,

um algoritmo mal projetado

pode ser utilizado durante muito tempo,
causando estragos silenciosamente.

Este é Roger Ailes.

(Risos)

Fundou a Fox News em 1996.

Mais de 20 mulheres
queixaram-se de assédio sexual.

Diziam que, na Fox News,
não lhes era permitido terem sucesso.

Ailes foi despedido no ano passado,
mas, recentemente,

temos visto que os problemas persistem.

Isto leva-nos a perguntar:

O que é que a Fox News deveria fazer
para virar a página?

E se tivessem substituído
o seu processo de recrutamento

por um algoritmo
de aprendizagem automática?

Parece-vos bem, não é?

Pensem nisso.

Que dados poderiam ser?

Uma escolha razoável seriam os currículos
recebidos nos últimos 21 anos.

Razoável.

E qual seria a definição de sucesso?

A escolha razoável seria...

Bem, quem tem sucesso na Fox News?

Eu diria alguém que lá trabalhou
durante quatro anos

e que foi promovido, pelo menos, uma vez.

Parece razoável.

E aí, o algoritmo seria treinado.

Seria treinado para procurar pessoas
e perceber o que levava ao sucesso,

que tipo de currículos
eram propícios a isso,

seguindo essa definição.

Pensem no que poderia acontecer

se o aplicássemos
ao conjunto atual de candidaturas.

Filtraria as mulheres,

porque não foram as pessoas
que tiveram sucesso no passado.

Os algoritmos não são justos,

se os aplicarmos
de ânimo leve e às cegas.

Eles não agem com justiça.

Eles repetem o que fizemos no passado,

os nossos padrões.

Eles automatizam o "status quo".

Isso seria incrível
se o mundo fosse perfeito.

Mas não é.

E digo-vos mais: a maioria das empresas
não têm processos legais em curso,

mas essas empresas dizem
aos seus cientistas de dados

para seguirem os dados,

para se focarem na precisão.

Pensem no que isso significa.

Como todos temos preconceitos,
eles podiam codificar o sexismo

ou qualquer outro tipo de sectarismo.

Um exercício intelectual,

porque gosto de fazer isso:

uma sociedade inteiramente segregada

— todas as cidades, os bairros,
tudo segregado racialmente —

e onde só enviamos a polícia
a bairros minoritários

para combater o crime.

Os dados sobre os detidos
seriam tendenciosos.

E se tivéssemos cientistas de dados
para esta situação

e lhes pagássemos para preverem
onde iria ocorrer o crime seguinte?

Num bairro minoritário.

Ou para preverem quem seria
o criminoso seguinte?

Alguém da minoria.

Os cientistas de dados iriam vangloriar-se
da eficiência e precisão do seu modelo

e teriam razão.

A realidade não é tão drástica,
mas temos segregações graves

em várias cidades e vilas,

e existem inúmeras provas

de que os dados do sistema de justiça
são tendenciosos.

E nós prevemos lugares críticos,

locais onde irão ocorrer crimes.

E prevemos a criminalidade individual,

a criminalidade de indivíduos.

A agência de notícias ProPublica
analisou recentemente

um algoritmo de "risco de reincidência",

como lhe chamam,

que os júris usam na Flórida,
durante os julgamentos.

À esquerda, temos Bernard, de cor negra,
que teve uma pontuação de 10 em 10.

Dylan, à direita,
teve uma pontuação de 3 em 10.

10 em 10 é risco elevado.
3 em 10 é risco reduzido.

Foram ambos a julgamento
por posse de droga.

Ambos tinham cadastro,

mas Dylan já tinha cometido
um assalto à mão armada

e o Bernard não.

Isto é importante, porque,
quanto mais alta é a pontuação,

maior a probabilidade
de a sentença ser mais longa.

O que está a acontecer?

Lavagem de dados.

É um processo em que os tecnólogos
escondem verdades muito graves

dentro de algoritmos de caixa negra

e chamam-lhes objetivos;

chamam-lhes meritocráticos.

Quando são secretos,
importantes e destrutivos

eu chamo-lhes da seguinte maneira:

"armas de destruição maciça".

(Risos)

(Aplausos)

Estão por todo o lado
e não são um erro.

São empresas privadas que estão
a criar algoritmos privados

para objetivos privados.

Mesmo os que mencionei aqui
para os professores e a polícia,

foram criados por empresas privadas

e vendidos a instituições governamentais.

Chamam-lhes o seu "molho secreto"

— é por isso que não nos podem contar.

Trata-se, também, de poder privado.

Estão a lucrar para dominarem
a autoridade do inescrutável.

Agora, vocês podem pensar:

se tudo isto é privado
e existe concorrência,

talvez o mercado livre
corrija este problema.

Não, não o fará.

Pode fazer-se muito dinheiro
com a injustiça.

Além disso, nós não somos
agentes económicos racionais.

Somos todos tendenciosos.

Somos racistas e intolerantes
em proporções horríveis,

em proporções que nem nós sabemos.

Mas sabemos que isto acontece
em níveis agregados,

porque os sociólogos
têm vindo a demonstrá-lo,

através de experiências,

em que se enviam vários currículos
em resposta a anúncios,

igualmente qualificados,
mas alguns com nomes caucasianos

e outros com nomes de raça negra,

e os resultados são sempre
desconcertantes... Sempre!

Somos nós que somos tendenciosos

e estamos a colocar
esses preconceitos nos algoritmos,

ao escolhermos os dados,

tal como eu decidi
em relação aos "noodles"

— decidi que eram irrelevantes.

Mas, ao confiarmos em dados
que têm, por base, acontecimentos passados

e ao escolhermos a definição de sucesso,

como é que podemos esperar
que os algoritmos saiam ilesos?

Não podemos. Temos de os verificar.

Temos de ver o nível de justiça.

A boa notícia é que podemos fazer isso.

Os algoritmos podem ser questionados

e as respostas são sempre verdadeiras.

Podemos corrigi-los.
Podemos torná-los melhores.

Posso chamar-lhe "auditoria algorítmica"

e explico-vos em que consiste.

Primeiro, verificar
a integridade dos dados.

Em relação ao risco de reincidência
de que já vos falei,

verificar a integridade dos dados
significa que concordamos com o facto

de que, nos EUA, tanto os brancos
como os negros fumam erva,

mas os negros têm
maior probabilidade de ser detidos

— quatro ou cinco vezes mais
probabilidades, dependendo da zona.

Como é que se comporta
esta tendência, noutros crimes

e como é que lidamos com isso?

Segundo, devemos pensar
na definição de sucesso,

rever esse conceito.

Lembrem-se do algoritmo
de contratação de que já falámos.

Alguém que fica na empresa
durante quatro anos e é promovido uma vez?

É um trabalhador bem-sucedido,

mas também é alguém
que apoia a cultura da empresa.

Assim, vemos que também
é muito tendencioso.

É necessário separar estas duas coisas.

Tomemos como exemplo

uma audição às cegas
de uma orquestra

As pessoas que fazem a audição
escondem-se atrás duma cortina.

O que é importante reter

é que as pessoas que estão a ouvir
decidiram o que é importante

e o que não é importante,

e não se deixam distrair.

Quando as audições às cegas começaram,

o número de mulheres em orquestras
aumentou cinco vezes.

Em seguida, temos de considerar
a precisão.

É aqui que falharia o "modelo de valor
acrescentado" dos professores.

Claro que nenhum algoritmo é perfeito,

é por isso que temos de considerar
os erros de cada um.

Com que frequência existem erros
e com quem é que este modelo falha?

Qual é o custo desta falha?

Por último, temos de considerar

os efeitos a longo prazo dos algoritmos,

o "feedback" que está programado.

Isto parece abstrato,

mas imaginem se os engenheiros
do Facebook consideravam

mostrar-nos apenas
o que os nossos amigos publicam.

Tenho mais duas mensagens,
uma delas para os cientistas de dados.

Cientistas de dados: nós não
devemos ser os árbitros da verdade.

Devemos ser tradutores
de discussões éticas

que acontecem em sociedades mais amplas.

(Aplausos)

E aos restantes,

aos que não são cientistas de dados:

isto não é um teste matemático.

É uma luta política.

Precisamos de exigir a responsabilização
dos soberanos dos nossos algoritmos.

(Aplausos)

A era da fé cega nos "big data"
tem de acabar.

Muito obrigada.

(Aplausos)