Comecei a trabalhar
como programadora informática

no meu primeiro ano de faculdade

— basicamente uma adolescente.

Pouco depois de começar a trabalhar,

a programar software numa empresa.

um gestor que trabalhava na empresa

veio ter comigo e segredou-me:

"Ele consegue saber se eu estou a mentir?"

Não havia mais ninguém na sala.

"Quem poderá saber que você está a mentir?
Porque é que está a segredar?"

O gestor apontou
para o computador na sala.

"Ele consegue saber se eu estou a mentir?"

Aquele gestor tinha
um caso romântico com a rececionista.

(Risos)

Eu ainda era uma adolescente.

Por isso, sussurrei-gritei:

"Sim, o computador sabe
que você está a mentir."

(Risos)

Bem, eu ri-me, mas, na verdade,
hoje riem-se de mim.

Hoje em dia, há sistemas informáticos

que conseguem detetar
estados emocionais e mesmo a mentira

processando apenas os rostos humanos.

Os publicitários e mesmo os governos
estão muito interessados nesta tecnologia.

Tornei-me programadora informática

porque era uma criança
louca por matemática e ciências.

Mas, ao longo do caminho
descobri as armas nucleares

e fiquei muito preocupada
com a ética da ciência.

Fiquei perturbada.

No entanto, 
devido a circunstâncias familiares,

também precisava de começar a trabalhar
o mais cedo possível.

Então pensei:
"Bem, vou escolher uma área técnica

"onde facilmente consiga um emprego

"e onde não tenha que lidar
com essas questões incómodas da ética".

Escolhi a informática.

(Risos)

Bem, ha, ha, ha!
Riam-se todos de mim.

Hoje, os cientistas de informática
estão a construir plataformas

que controlam o que mil milhões
de pessoas veem todos os dias.

Estão a desenvolver carros
que podem decidir quem atropelar.

Estão inclusive a construir
máquinas, armas,

que poderão matar
seres humanos, em guerras.

Há ética por todo o lado.

A inteligência artificial já chegou.

Estamos a usar a informática
para tomar todo o tipo de decisões,

mas também novos tipos de decisões.

Estamos a fazer perguntas
que não têm uma resposta certa,

que são subjetivas,

estão em aberto e assentam em valores.

Fazemos perguntas como:

"Quem é que a empresa deve contratar?"

"Que notícias de que amigo
devemos mostrar?"

"Qual o prisioneiro
que reincidirá mais facilmente?""

"Que notícia ou filme
deve ser recomendado?"

Sim, já utilizamos
os computadores há algum tempo,

mas isto é diferente.

Esta é uma mudança histórica,

porque não podemos
apoiar-nos na informática

para decisões tão subjetivas,

do mesmo modo que podemos
apoiar-nos na informática

para pôr aviões no ar,
para construir pontes,

para voar até à lua.

Os aviões são mais seguros?
Será que a ponte vai balançar e cair?

Nestes casos, chegámos a acordo
sobre referências bastante claras,

tendo as leis da natureza para nos guiar.

Não temos esses apoios e referências

para as decisões sobre
os complexos assuntos humanos.

Para complicar ainda mais,
o software está cada vez mais poderoso,

mas também está a ficar
menos transparente e mais complexo.

Recentemente, na última década,

os algoritmos complexos
alcançaram grandes feitos.

Conseguem reconhecer rostos humanos.

Podem decifrar a caligrafia.

Detetam fraudes de cartões de crédito
e bloqueiam "spam".

Conseguem traduzir idiomas.

Conseguem detetar 
tumores em imagens médicas.

Vencem os humanos no xadrez e no "Go".

Grande parte deste progresso obteve-se

com o método chamado
"aprendizagem de máquina."

A "aprendizagem de máquina"
é diferente da programação tradicional,

na qual se dá ao computador instruções
detalhadas, meticulosas e exatas.

Com este novo método, disponibilizam-se
grandes quantidades de dados ao sistema,

— incluindo dados não estruturados,

como os que geramos
na nossa vida digital.

O sistema aprende
analisando esses dados.

Para além disso,

estes sistemas não funcionam
sob uma lógica de resposta única.

Não produzem uma resposta única;
é mais probabilista:

"Isto, provavelmente,
está mais próximo do que procura."

A vantagem é que
este método é muito poderoso.

O chefe de sistemas da IA
do Google, chamou-lhe:

"A eficácia irracional dos dados".

A desvantagem é que

não entendemos concretamente
o que o sistema aprendeu.

Na verdade, é essa a sua força.

É menos como dar instruções ao computador

e mais como treinar
um filhote de máquina-criatura

que não entendemos nem controlamos.

Portanto, este é o problema.

É problemático quando a IA
compreende mal as coisas.

É também um problema
quando as compreende bem,

porque nem sabemos o que é o quê
quando se trata de um problema subjetivo.

Nós não sabemos 
o que a máquina está a pensar.

Assim, considerem
um algoritmo de contratação

— um sistema usado para contratar pessoas,
utilizando a aprendizagem de máquina.

Tal sistema teria sido treinado
com dados dos empregados anteriores

e instruído para encontrar
e contratar pessoas

semelhantes aos melhores profissionais
da empresa.

Parece bem.

Uma vez, fui a uma conferência

que juntou gestores
de recursos humanos e executivos.

Pessoas de alto nível, que usam
esses sistemas para contratar

Estavam super entusiasmados,

Achavam que isto tornaria a contratação
mais objetiva, menos tendenciosa,

e daria mais hipóteses
às mulheres e minorias,

ao contrário dos gestores
de RH tendenciosos.

Notem, a contratação humana
é tendenciosa.

Eu bem sei.

Num dos meus primeiros empregos
como programadora,

a minha chefe imediata,
às vezes vinha ter comigo,

muito cedo de manhã
ou muito ao final da tarde,

e dizia:
"Zeynep, vamos almoçar!"

Eu ficava intrigada
com aquele horário estranho.

São 16 horas. Almoço?

Como estava sem dinheiro 
— almoço grátis — aceitava sempre.

Mais tarde percebi porquê:

Os meus chefes diretos
não tinham informado os superiores

que o programador contratado
para um trabalho sério

era uma garota adolescente

que usava "jeans" e ténis para trabalhar.

Eu fazia um bom trabalho,
mas tinha um aspeto não convencional

e tinha a idade e sexo errados.

Logo, contratar sem olhar
ao sexo e à etnia

claro que me soa bem.

Mas com estes sistemas,
é mais complicado. E porquê?

Atualmente, os sistemas informáticos

conseguem inferir 
todo o tipo de coisas sobre a pessoa

a partir das suas migalhas digitais,

mesmo que a pessoa não tenha
divulgado essas coisas.

Conseguem inferir 
a sua orientação sexual,

os seus traços de personalidade,

as inclinações políticas.

Conseguem prever
com elevados níveis de precisão.

Notem... coisas que nem sequer
divulgámos conscientemente.

Isto é dedução.

Tenho uma amiga que desenvolveu
esses sistemas informáticos,

para prever a probabilidade
de depressão clínica ou pós-parto

a partir de dados de redes sociais.

Os resultados são impressionantes.

O sistema consegue prever
a probabilidade de depressão

meses antes do início
de quaisquer sintomas

— meses antes.

Não há sintomas. Há previsão.

Ela espera que isso seja usado
para intervenção precoce. Ótimo!

Mas agora coloquem isto
no contexto da contratação.

Na conferência de gestores
de recursos humanos,

aproximei-me de uma gestora de alto nível
de uma grande empresa e disse-lhe:

"O que acha se, sem o seu conhecimento,

"o seu sistema estiver a excluir pessoas
com alto risco de futura depressão?

"Não estão deprimidas agora,
mas talvez no futuro, seja mais provável.

"E se está a excluir as mulheres
com maior probabilidade de engravidar

"dentro de um ou dois anos
mas que não estão grávidas agora?

"E se está a contratar pessoas agressivas
porque essa é a cultura da empresa?

"Não nos apercebemos disso
olhando par a repartição por sexos.

Aí até pode estar equilibrado.

Como isto é aprendizagem de máquina,
e não codificação tradicional,

não há lá nenhuma variável
intitulada "maior risco de depressão",

"maior risco de gravidez",

"escala de agressividade".

Não só não se sabe
o que é que o sistema está a selecionar,

como não se sabe
por onde começar a procurar.

É uma caixa preta.

Tem poder preditivo,
mas não conseguimos entendê-la.

"Que garantia você tem", perguntei,

"de que a sua caixa negra
não está a fazer algo sombrio?"

Ela olhou para mim
como se eu a tivesse ofendido.

(Risos)

Olhou para mim e disse:

"Não quero ouvir
nem mais uma palavra sobre isso."

Virou-me as costas e foi-se embora.

Ela não foi indelicada. 
Foi claramente:

"O que eu não sei, não é problema meu.
Desapareça." Olhar de morte.

(Risos)

Notem que estes sistemas
podem ser menos tendenciosos

do que os gestores humanos,
nalguns aspetos.

E isso pode fazer sentido economicamente.

Mas também pode levar

ao fecho constante mas furtivo
do mercado de trabalho

para as pessoas
com maior risco de depressão.

Será este o tipo de sociedade
que queremos construir,

sem sequer saber que o fizemos,

porque demos às máquinas
a tomada de decisões

que não compreendemos totalmente?

Outro problema é o seguinte:

estes sistemas são treinados frequentemente
com dados gerados pelas nossas ações,

impressões humanas.

Assim, poderão estar
a refletir os nossos preconceitos.

poderão estar 
a aprender os nossos preconceitos,

a amplificá-los e a mostrá-los de novo,

enquanto nós pensamos:

"Estamos a ser objetivos,
a informática é neutra".

Investigadores verificaram que, no Google,

os anúncios para empregos
com salários elevados

aparecem mais para homens
do que para mulheres.

E se procurarmos nomes de afro-americano

encontramos mais resultados de anúncios
sugerindo antecedentes criminais,

mesmo quando não há nenhum.

Estes preconceitos escondidos
e algoritmos de caixa-negra

que os investigadores por vezes descobrem,
mas que por vezes nós não descobrimos,

podem ter consequências
capazes de mudar uma vida.

No Wisconsin, um réu
foi condenado a seis anos de prisão

por fugir da polícia.

Podem não saber,

mas os algoritmos são utilizados

para a liberdade condicional 
e as condenações.

Este réu queria saber
como era calculada a pontuação.

É uma caixa preta comercial.

A empresa recusou-se a ver o seu algoritmo
questionado em tribunal aberto.

Mas a ProPublica, uma agência
de investigação sem fins lucrativos,

auditou esse algoritmo
com os dados públicos que encontrou,

e descobriu que os resultados
eram tendenciosos

e o poder de previsão
era pouco melhor que o acaso.

E que estava a sinalizar erradamente
réus negros como futuros criminosos

duas vezes mais do que réus brancos.

Considerem o seguinte caso:

Esta mulher estava atrasada
para ir buscar a afilhada

a uma escola no condado
de Broward, Flórida

e corria pela rua abaixo com uma amiga.

Avistaram uma bicicleta e uma scooter,
não amarradas, numa varanda

e, parvoíce... levaram-nas.

Quando estavam a acelerar,
apareceu uma mulher que disse:

"Ei! Essa bicicleta é do meu filho!"

Largaram-nas e seguiram caminho,
mas acabaram por ser presas.

Foi errado, foi uma parvoíce,
mas ela só tinha 18 anos.

Tinha alguns delitos juvenis.

Entretanto, aquele homem

já tinha sido preso
por furto no Home Depot

— um roubo de 85 dólares,
um crime menor.

Mas, para além disso, já tinha
duas sentenças por assalto à mão armada.

Mas o algoritmo marcou-a
como de alto risco, e não a ele.

Dois anos depois, a ProPublica verificou
que ela não tinha reincidido,

mas tinha dificuldade em conseguir
um emprego, devido ao cadastro.

Ele, por outro lado, reincidiu

e agora está a cumprir pena de oito anos
por um crime cometido mais tarde.

Necessitamos, claramente, 
de auditar as nossas caixas-negras

e não deixá-las ter
este poder sem controlo.

(Aplausos)

As auditorias são ótimas e importantes,
mas não solucionam todos os problemas.

Considerem o poderoso algoritmo
de notícias do Facebook,

aquele que classifica
e decide tudo o que vos mostram

de todos os amigos e das páginas
que vocês seguem.

Deverão mostrar-vos
outra foto de um bebé?

(Risos)

Uma nota mal-humorado de um conhecido?

Uma notícia importante, 
mas incomodativa?

Não há uma resposta certa.

O Facebook otimiza
para manter-vos ligado ao site:

"likes", partilhas, comentários.

Em agosto de 2014,

estalaram manifestações
em Ferguson, no Missouri,

após a morte de um jovem afro-americano
infligida por um polícia branco,

em circunstâncias pouco claras.

As notícias dos protestos
apareceram de todos o lados

na minha conta de Twitter
sem filtro de algoritmos,

mas em parte alguma no meu Facebook.

Foram os meus amigos no Facebook?

Desativei o algoritmo do Facebook

— o que é difícil, pois o Facebook
insiste em voltar a incluir-nos

sob o controlo do algoritmo —

e vi que os meus amigos falavam disso.

O algoritmo é que
não me mostrava essa informação.

Fiz pesquisas e verifiquei
que era um problema generalizado.

A história de Ferguson
não agradava ao algoritmo.

Não era "simpática".

Quem ia clicar em "Gosto"?"

Nem é fácil de comentar.

Sem "gosto" e sem comentários,

o algoritmo, provavelmente,
mostrá-la-ia a menos pessoas,

e assim nós não a conseguimos ver.

Em vez disso, nessa semana,

o algoritmo do Facebook destacava isto,

o Desafio do Balde de Água Gelada.

Uma causa digna: despejar água gelada;
doar para a caridade. Tudo bem.

Mas, para o algoritmo, era super amigável.

A máquina tomou essa decisão por nós.

Uma conversa muito importante
mas também difícil

poderia ter sido abafada,

se o Facebook fosse o único canal.

Finalmente, estes sistemas
também podem cometer erros

diferentes dos erros dos sistemas humanos.

Lembram-se do Watson,
a máquina de IA da IBM

que eliminou os concorrentes
humanos no Jeopardy?

Foi um grande jogador.

Mas depois, na final do Jeopardy,
quando perguntaram ao Watson:

"O maior aeroporto com o nome
de um herói da II Guerra Mundial,

"o segundo maior com o nome
de uma batalha da II Guerra Mundial."

Chicago.

Os dois seres humanos acertaram.

Watson, por outro lado,
respondeu "Toronto"

— para uma pergunta sobre cidades dos EUA!

O impressionante sistema
também cometeu um erro

que um ser humano nunca iria fazer,
que uma criança do 1.º ciclo não faria.

A inteligência artificial pode falhar

de formas que não se encaixam
nos padrões de erro dos seres humanos.

de formas inesperadas e imprevistas.

Seria péssimo não conseguir um emprego
para o qual estamos qualificados,

mas seria três vezes pior
se fosse por causa de um erro

de processamento de alguma sub-rotina.

(Risos)

Em maio de 2010,

um acidente relâmpago em Wall Street
provocado por uma auto alimentação

no algoritmo de "vender", em Wall Street,

fez perder um bilião de dólares
em 36 minutos.

Eu nem quero pensar
o que significa "erro"

no contexto de armas mortais autónomas.

Sim. Os seres humanos
sempre alimentaram preconceitos.

Quem toma decisões e controla

nos tribunais, nas notícias, na guerra ...
comete erros.

É esse exatamente o meu ponto.

Nós não podemos fugir
destas perguntas difíceis.

Não podemos atribuir 
as nossas responsabilidades às máquinas.

(Aplausos)

A inteligência artificial não nos dá
um cartão "Liberte-se da ética".

O cientista de dados Fred Benenson
chama-lhe "lavagem de matemática".

Precisamos é do oposto.

Temos de cultivar algoritmos de suspeita,
de análise e de investigação.

Precisamos de garantir que assumimos
a responsabilidade dos algoritmos,

da auditoria e da transparência relevante.

Precisamos de aceitar
que trazer a matemática e a informática

para os assuntos humanos,
complicados e carregados de valores,

não nos dá objetividade.

Em vez disso, a complexidade
dos assuntos humanos invade os algoritmos.

Sim, podemos e devemos usar a informática

para nos ajudar a tomar melhores decisões.

Mas temos que assumir 
a responsabilidade moral do julgamento.

e usar os algoritmos nesse âmbito,

não como um meio para abdicar
e subcontratar a nossa responsabilidade

de ser humano para ser humano.

A inteligência artificial já chegou.

O que significa que mais que nunca
temos de nos agarrar afincadamente

aos valores e à ética humana.

Obrigada.

(Aplausos)