A inteligência de máquina ressalta a importância da moral humana

A inteligência de máquina está aí, e está sendo usada para a tomada de decisões subjetivas. Mas a forma complexa como a inteligência artificial (IA) se desenvolve e se aperfeiçoa, torna difícil entendê-la e mais difícil ainda controlá-la. Nesta palestra de alerta, a tecno-socióloga Zeynep Tufekci explica como as máquinas inteligentes podem falhar de maneiras que não se encaixam nos padrões dos erros humanos -- e de maneiras que não esperamos e para as quais não estamos preparados. "Não podemos terceirizar nossas responsabilidades para as máquinas", ela afirma. "Precisamos nos agarrar de forma bem firme aos valores e à ética humanos."

Meu primeiro emprego na vida foi
como programadora de computador

já no primeiro ano de faculdade,

praticamente uma adolescente.

Logo que comecei a trabalhar,

escrevendo software numa empresa,

um gerente que trabalhava lá
se aproximou de mim

e começou a sussurrar:

"Ele consegue dizer se estou mentindo?"

Não havia mais ninguém na sala.

(Risos)

"Quem consegue dizer se você está
mentindo? E por que estamos sussurrando?"

O gerente apontou
para o computador na sala.

"Ele consegue dizer se estou mentindo?"

Bem, aquele gerente estava tendo
um caso com a recepcionista.

(Risos)

E eu ainda era uma adolescente.

Assim, gritei sussurrando de volta:

"Sim, o computador sabe
se você está mentindo".

(Risos)

Eu ri, mas, na verdade,
estava rindo de mim mesma.

Atualmente, há sistemas computacionais

que conseguem perceber
estados emocionais e até mentiras

ao processar rostos humanos.

Anunciantes e até governos
estão muito interessados nisso.

Tornei-me programadora de computador,

pois era uma dessas crianças
loucas por matemática e ciências.

Mas, a uma certa altura,
descobri as armas nucleares

e passei a me preocupar
com a ética da ciência.

Aquilo me perturbou.

No entanto, devido
a circunstâncias familiares,

eu também precisava começar
a trabalhar o mais rápido possível.

Assim, pensei comigo mesma:
"Ei, vou escolher a área técnica,

onde posso conseguir
um emprego facilmente

e não tenho de lidar com quaisquer
questões éticas perturbadoras".

Então escolhi os computadores.

(Risos)

Bem, ha, ha, ha! Eu virei a piada.

Hoje, os cientistas da computação
constroem plataformas

que controlam o que um bilhão
de pessoas veem todos os dias.

Eles estão desenvolvendo carros
que poderiam decidir quem atropelar.

(Risos)

Estão construindo até mesmo
máquinas e armas

que podem matar seres humanos na guerra.

É ética o tempo todo.

A inteligência de máquina chegou.

Hoje em dia usamos a computação
para tomar todo tipo de decisão,

mas também novos tipos de decisão.

Perguntamos aos computadores coisas
que não têm apenas uma resposta correta,

que são subjetivas, abertas
e que envolvem julgamento de valor.

Perguntamos coisas do tipo:
"Quem a empresa deve contratar?"

"Que atualização de qual amigo
deve ser mostrada?"

"Qual condenado tem mais chance
de reincidir num crime?"

"Quais notícias ou filmes devem
ser recomendados às pessoas?"

Sim, temos usado os computadores
já faz um bom tempo,

mas isso é diferente.

Essa é uma virada histórica,

pois não podemos confiar na computação
para essas decisões subjetivas

da mesma forma que podemos confiar
na computação para pilotar aviões,

construir pontes, ir à Lua.

Os aviões estão mais seguros?
A ponte balançou e caiu?

Nesses casos, concordamos de forma
bem clara com os parâmetros,

e temos as leis da natureza como baliza.

Nós não temos tais âncoras ou marcos

para a tomada de decisões
em negócios humanos confusos.

Para complicar ainda mais as coisas,
nosso software está ficando mais poderoso,

mas também menos transparente
e mais complexo.

Recentemente, na década passada,

algoritmos complexos deram passos enormes.

Eles conseguem reconhecer rostos humanos.

Eles conseguem decifrar caligrafia.

Eles conseguem detectar fraude
de cartão de crédito, bloquear spam,

conseguem traduzir línguas

e detectar tumores em exames de imagem.

Conseguem vencer humanos
em jogos de xadrez e Go.

Muito desse progresso vem de um método
chamado "aprendizado de máquina".

O aprendizado de máquina é diferente
da programação tradicional

em que instruções detalhadas, exatas
e meticulosas são dadas ao computador.

É mais como pegar um sistema
e alimentá-lo com montes de dados,

incluindo dados não estruturados,

como os que geramos
em nossas vidas digitais.

E o sistema aprende revirando esses dados.

Além disso, fundamentalmente,

esses sistemas não operam
sob a lógica de uma resposta única.

Eles não produzem uma resposta
simples; é mais probabilidade:

"É provável que isto aqui seja
o que você está procurando".

Bem, a vantagem é que esse método
é realmente poderoso.

O responsável pela IA do Google o chamou

de "a eficácia irracional dos dados".

O lado negativo é

não sabermos realmente
o que o sistema aprendeu.

Na realidade, é aí que está seu poder.

Isso tem pouco a ver com dar
instruções a um computador;

é mais como adestrar uma máquina-filhote

que não controlamos
ou conhecemos de verdade.

(Risos)

Então, este é o nosso problema.

É um problema

quando esse sistema de inteligência
artificial entende as coisas errado.

Também é um problema
quando ele entende certo,

pois não sabemos distinguir os dois
quando se trata de um problema subjetivo.

Não sabemos o que esta coisa
está pensando.

Por exemplo, vamos imaginar
um algoritmo de contratação,

um sistema usado para contratar pessoas,

usando o aprendizado de máquina.

Tal sistema teria sido treinado
em dados prévios dos empregados

e treinado para encontrar e contratar

pessoas como os atuais empregados
com alto desempenho na empresa.

Parece uma coisa boa.

Uma vez, fui a um seminário

que reuniu gerentes e executivos
da área de recursos humanos,

pessoas de alto nível,
usando tais sistemas para contratar.

Eles estavam muito empolgados.

Achavam que isso tornaria a contratação
mais objetiva, menos parcial,

e daria a mulheres e minorias
uma melhor oportunidade

versus gerentes humanos tendenciosos.

Pois vejam: a contratação
humana é tendenciosa.

Sei bem disso.

Quero dizer, num dos meus primeiros
empregos como programadora,

minha gerente imediata
às vezes vinha ao meu setor

bem cedinho pela manhã
ou bem no final da tarde,

e me chamava: "Zeynep, vamos almoçar!"

Eu ficava atônita com o horário estranho.

Eram quatro da tarde. Almoço?

Eu não tinha grana, então,
almoço grátis, eu sempre ia.

Só mais tarde percebi
o que estava acontecendo.

Meus gerentes imediatos não tinham
confessado a seus superiores

que a programadora que tinham contratado
para um emprego sério era uma adolescente

que vinha trabalhar de jeans e tênis.

Eu trabalhava direito, só parecia errada,

e tinha a idade e o gênero errados.

Assim, contratar independente
da raça e do gênero

certamente me parece uma coisa boa.

Mas, com esses sistemas,
é mais complicado, e eis a razão:

hoje, sistemas de computador podem
inferir todo tipo de coisas sobre nós

por meio de nossas pegadas digitais,

mesmo coisas que não tivermos revelado.

Eles podem inferir
nossa orientação sexual,

os traços de nossa personalidade,

nossas tendências políticas.

Eles têm poder preditivo
com altos níveis de precisão.

Vejam bem, para coisas
que não revelamos: isso é inferência.

Tenho uma amiga que desenvolveu
um sistema de computador

para predizer a probabilidade
de depressão clínica pós-parto

com base em dados de mídia social.

Os resultados são impressionantes.

O sistema dela prevê
a probabilidade de depressão

meses antes do surgimento
de quaisquer sintomas,

meses antes.

Mesmo sem sintomas, ele prevê.

Ela espera que isso seja usado
para intervenção precoce.

Ótimo!

Mas coloque isso
no contexto da contratação.

Então, nesse seminário
de gerentes de recursos humanos,

eu me aproximei de uma gerente
com alto cargo numa grande empresa,

e perguntei a ela: "Olhe,
e se, sem seu conhecimento,

seu sistema estiver cortando pessoas
com probabilidade de depressão futura?

Elas não estão deprimidas agora,
mas, no futuro, bem provavelmente.

E se estiver cortando mulheres
com maior probabilidade de engravidar

dentro de um ou dois anos,
mas que não estejam grávidas agora?

E se contratar pessoas agressivas
por causa da cultura da empresa?

Não se pode saber isso
com análises de gênero.

Isso pode estar equacionado.

E, como isso é aprendizado de máquina,
não é codificação tradicional,

não há uma variável chamada
'alto risco de depressão',

'maior risco de gravidez',

'pessoa altamente agressiva'.

Não só você não sabe o que
seu sistema está selecionando,

como também não sabe onde começar a olhar.

É uma caixa-preta.

Ele tem poder preditivo,
mas você não o entende.

Que salvaguardas", perguntei, "você teria

para se assegurar de que sua caixa-preta
não está fazendo algo suspeito?"

Ela olhou para mim como se eu tivesse
pisado no rabo de dez cachorrinhos.

(Risos)

Ela olhou bem pra mim e falou:

"Eu não quero ouvir
nem mais uma palavra sobre isso".

E virou as costas e foi embora.

Vejam bem, ela não foi rude.

Era claramente:

"O que eu não sei não é problema meu,
vai embora, agourenta".

(Risos)

Vejam, tal sistema pode até
ser menos tendencioso

do que gerentes humanos de alguma forma.

E poderia fazer sentido financeiramente.

Mas também poderia levar

a um constante mas sorrateiro
fechamento do mercado de trabalho

para pessoas com alto risco de depressão.

É esse tipo de sociedade
que queremos construir,

sem nem sequer saber que fizemos isso,

por termos dado às máquinas um poder
de decisão que não entendemos totalmente?

Outro problema é o seguinte:

esses sistemas normalmente são treinados
com dados gerados pelas nossas ações,

vestígios humanos.

Bem, eles poderiam estar apenas
refletindo nossas tendências,

e esses sistemas poderiam
estar pegando nossas tendências,

amplificando-as e devolvendo-as para nós,
enquanto dizemos a nós mesmos:

"Estamos fazendo apenas
computação objetiva e neutra".

Pesquisadores descobriram que, no Google,

são mostrados menos anúncios de empregos
bem pagos às mulheres do que aos homens.

E, numa pesquisa de nomes afro-americanos,

é provável que nos sejam mostrados
anúncios sugerindo história criminal,

mesmo quando não há nenhuma.

Tais tendências escondidas
e algoritmos caixas-pretas,

que os pesquisadores às vezes revelam,
mas às vezes desconhecemos,

podem afetar a vida das pessoas.

Em Wisconsin, um réu foi sentenciado
a seis anos de prisão

por fugir da polícia.

Talvez não saibam disso,

mas os algoritmos estão sendo cada vez
mais usados em decisões judiciais.

E o réu quis saber:
como esse número foi calculado?

É uma caixa-preta comercial.

A empresa se recusou a ter
seu algoritmo exposto no tribunal.

Mas a ProPublica, uma organização
investigativa sem fins lucrativos,

auditou esse algoritmo com os dados
públicos que conseguiu encontrar

e descobriu que os resultados
eram tendenciosos,

e seu poder preditivo era deplorável,
apenas um pouco melhor do que o acaso,

e estava rotulando erroneamente
réus negros como futuros criminosos

duas vezes mais do que os réus brancos.

Vejam por exemplo este caso:

esta mulher se atrasou
para buscar sua parente

numa escola no Condado
de Broward, na Flórida.

Correndo pela rua com uma amiga,

elas viram uma bicicleta sem cadeado
e uma lambreta numa varanda

e, impensadamente, pularam nela.

Quando estavam indo embora,
uma mulher saiu e falou:

"Ei! Esta é a bicicleta do meu filho!"

Elas largaram a bicicleta,
fugiram, mas foram presas.

Ela errou, foi infantil,
mas tinha apenas 18 anos.

Ela tinha algumas contravenções juvenis.

Enquanto isso, aquele homem
tinha sido preso por furtar na Home Depot

bens no valor de US$ 85,
um crime pequeno similar.

Mas ele tinha duas condenações
prévias por roubo à mão armada.

No entanto, o algoritmo a classificou
como sendo de alto risco, e ele não.

Dois anos depois, a ProPublica descobriu
que ela não tinha reincidido em crime.

E foi muito difícil conseguir
um emprego com esse histórico.

Ele, por outro lado, reincidiu no crime

e agora está cumprindo oito anos
de prisão por um crime posterior.

Claramente, precisamos
auditar nossas caixas-pretas

e não deixá-las ter esse tipo
de poder sem controle.

(Aplausos)

Auditorias são ótimas e importantes,
mas não resolvem todos os problemas.

Peguem o poderoso algoritmo do Facebook.

Sabe aquele que escolhe o que nos mostrar

entre todos os amigos
e páginas que seguimos?

Será que deveriam lhe mostrar
uma outra foto de bebê?

(Risos)

Um comentário estranho de um conhecido?

Uma notícia importante, mas difícil?

Não existe resposta certa.

O Facebook o aperfeiçoa pelo uso do site:

curtidas, compartilhamentos, comentários.

Em agosto de 2014,

houve uma onda de protestos
em Ferguson, no Missouri,

depois do assassinato de um adolescente
afro-americano por um policial branco,

sob circunstâncias nebulosas.

Notícias sobre os protestos
estavam por toda parte

no "feed" do meu Twitter
sem algoritmo de filtragem,

mas em nenhum lugar no meu Facebook.

Seriam meus amigos no Facebook?

Eu desabilitei o algoritmo do Facebook,

o que é difícil,
pois o Facebook espera que nós

fiquemos sob o controle do algoritmo,

e vi que meus amigos
estavam falando sobre o assunto.

Mas o algoritmo
simplesmente não mostrava.

Fui pesquisar e descobri
que era um problema geral.

A história de Ferguson não
era compatível com o algoritmo.

Não era "curtível";
quem ia "curtir" aquilo?

Não era fácil nem mesmo
comentar sobre o assunto.

Sem curtidas e comentários,

era provável que o algoritmo mostrasse
isso para cada vez menos pessoas,

assim, não pudemos ver isto.

Em seu lugar, naquela semana,
o algoritmo do Facebook priorizou isto:

o desafio do balde da ELA,
esclerose lateral amiotrófica.

Causa importante: jogar água gelada,
doar para caridade, tudo bem.

Mas era supercompatível com o algoritmo.

A máquina tomou essa decisão por nós.

Uma conversa muito importante,
mas muito difícil,

teria sido atenuada,

caso o Facebook fosse o único canal.

Finalmente, esses sistemas
também podem errar

de maneiras diferentes
dos sistemas humanos.

Lembram-se do Watson, o sistema
de inteligência de máquina da IBM

que sempre ganhava, competindo
com seres humanos num show de TV?

Ele era um ótimo jogador.

Mas então, na final, foi feita
a seguinte pergunta a Watson:

"Seu maior aeroporto possui o nome
de um herói da Segunda Guerra,

a maior grande batalha da Segunda Guerra".

(Cantarola música do show)

"Chicago."

Os dois seres humanos acertaram.

Watson, por sua vez, respondeu "Toronto"

na categoria "cidade dos EUA"!

O incrível sistema também cometeu um erro

que um humano jamais faria,
uma criança não cometeria.

Nossa inteligência artifical pode falhar

de formas que não se encaixam
nos padrões de erros humanos,

de formas que não esperamos
e para as quais não estamos preparados.

Seria péssimo não conseguir um emprego
para o qual se está qualificado,

mas seria triplamente péssimo
se fosse por causa de um "stack overflow"

em alguma sub-rotina.

(Risos)

Em maio de 2010,

uma baixa repentina em Wall Street,
alimentada pelo sistema de autoajuste

do algoritmo de "venda",

varreu US$ 1 trilhão em 36 minutos.

Não quero nem pensar
no que significaria "erro"

no contexto de armas letais autônomas.

Então, sim, os seres humanos
sempre foram tendenciosos.

Tomadores de decisão e controladores,

em tribunais, na mídia, na guerra...

eles cometem erros;
mas esse é exatamente meu ponto.

Não podemos fugir
dessas questões difíceis.

Não podemos terceirizar
nossas responsabilidades para as máquinas.

(Aplausos) (Vivas)

A inteligência artificial não nos dá
um passe para a "zona livre de ética".

O cientista de dados Fred Benenson
chama isso de "mathwashing".

Precisamos fazer o contrário.

Precisamos cultivar o escrutínio,
a suspeita e investigação dos algoritmos.

Precisamos nos assegurar de que temos
responsabilidade algorítmica,

auditoria e transparência relevante.

Precisamos aceitar que trazer
a matemática e a computação

para negócios humanos confusos,
envolvendo julgamento de valor,

não traz objetividade;

mas que, ao contrário, a complexidade
dos negócios humanos invade os algoritmos.

Sim, podemos e devemos usar a computação

para nos ajudar a tomar decisões melhores.

Mas temos de reconhecer
nossa responsabilidade moral para julgar,

e usar os algoritmos
dentro desse espectro,

não como uma forma de abdicar de nossas
responsabilidades ou terceirizá-las,

como se fosse de um ser humano para outro.

A inteligência artificial está aí.

Isso significa que vamos
ter de nos agarrar firmemente

aos valores e à ética humanos.

Obrigada.

(Aplausos) (Vivas)