WEBVTT

00:00:00.739 --> 00:00:04.701
Meu primeiro emprego na vida foi
como programadora de computador

00:00:04.745 --> 00:00:06.841
já no primeiro ano de faculdade,

00:00:06.865 --> 00:00:08.372
praticamente uma adolescente.

NOTE Paragraph

00:00:08.889 --> 00:00:10.621
Logo que comecei a trabalhar,

00:00:10.645 --> 00:00:12.255
escrevendo software numa empresa,

00:00:12.799 --> 00:00:16.434
um gerente que trabalhava lá
se aproximou de mim

00:00:16.458 --> 00:00:17.926
e começou a sussurrar:

00:00:18.229 --> 00:00:21.090
"Ele consegue dizer se estou mentindo?"

00:00:21.806 --> 00:00:23.946
Não havia mais ninguém na sala.

00:00:23.946 --> 00:00:25.032
(Risos)

NOTE Paragraph

00:00:25.032 --> 00:00:29.421
"Quem consegue dizer se você está
mentindo? E por que estamos sussurrando?"

NOTE Paragraph

00:00:30.266 --> 00:00:33.373
O gerente apontou
para o computador na sala.

00:00:33.397 --> 00:00:36.493
"Ele consegue dizer se estou mentindo?"

00:00:37.613 --> 00:00:41.975
Bem, aquele gerente estava tendo 
um caso com a recepcionista.

NOTE Paragraph

00:00:41.999 --> 00:00:43.111
(Risos)

NOTE Paragraph

00:00:43.135 --> 00:00:45.281
E eu ainda era uma adolescente.

00:00:45.447 --> 00:00:47.466
Assim, gritei sussurrando de volta:

00:00:47.490 --> 00:00:51.114
"Sim, o computador sabe
se você está mentindo".

NOTE Paragraph

00:00:51.138 --> 00:00:52.944
(Risos)

NOTE Paragraph

00:00:52.968 --> 00:00:55.891
Eu ri, mas, na verdade,
estava rindo de mim mesma.

00:00:55.915 --> 00:00:59.183
Atualmente, há sistemas computacionais

00:00:59.207 --> 00:01:02.755
que conseguem perceber
estados emocionais e até mentiras

00:01:02.779 --> 00:01:04.823
ao processar rostos humanos.

00:01:05.248 --> 00:01:09.591
Anunciantes e até governos
estão muito interessados nisso.

NOTE Paragraph

00:01:10.319 --> 00:01:12.181
Tornei-me programadora de computador,

00:01:12.205 --> 00:01:15.318
pois era uma dessas crianças
loucas por matemática e ciências.

00:01:15.942 --> 00:01:19.050
Mas, a uma certa altura,
descobri as armas nucleares

00:01:19.074 --> 00:01:22.026
e passei a me preocupar
com a ética da ciência.

00:01:22.050 --> 00:01:23.254
Aquilo me perturbou.

00:01:23.278 --> 00:01:25.919
No entanto, devido
a circunstâncias familiares,

00:01:25.943 --> 00:01:29.241
eu também precisava começar
a trabalhar o mais rápido possível.

00:01:29.265 --> 00:01:32.318
Assim, pensei comigo mesma:
"Ei, vou escolher a área técnica,

00:01:32.318 --> 00:01:34.384
onde posso conseguir
um emprego facilmente

00:01:34.408 --> 00:01:38.426
e não tenho de lidar com quaisquer
questões éticas perturbadoras".

00:01:39.022 --> 00:01:40.551
Então escolhi os computadores.

NOTE Paragraph

00:01:40.575 --> 00:01:41.679
(Risos)

NOTE Paragraph

00:01:41.703 --> 00:01:45.113
Bem, ha, ha, ha! Eu virei a piada.

00:01:45.137 --> 00:01:47.891
Hoje, os cientistas da computação
constroem plataformas

00:01:47.915 --> 00:01:52.454
que controlam o que um bilhão
de pessoas veem todos os dias.

00:01:53.052 --> 00:01:56.827
Eles estão desenvolvendo carros
que poderiam decidir quem atropelar.

00:01:56.827 --> 00:01:57.707
(Risos)

00:01:57.707 --> 00:02:00.920
Estão construindo até mesmo
máquinas e armas

00:02:00.944 --> 00:02:03.229
que podem matar seres humanos na guerra.

00:02:03.253 --> 00:02:06.304
É ética o tempo todo.

NOTE Paragraph

00:02:07.183 --> 00:02:09.241
A inteligência de máquina chegou.

00:02:09.823 --> 00:02:13.297
Hoje em dia usamos a computação
para tomar todo tipo de decisão,

00:02:13.321 --> 00:02:15.207
mas também novos tipos de decisão.

00:02:15.231 --> 00:02:20.403
Perguntamos aos computadores coisas
que não têm apenas uma resposta correta,

00:02:20.427 --> 00:02:23.929
que são subjetivas, abertas
e que envolvem julgamento de valor.

NOTE Paragraph

00:02:24.002 --> 00:02:27.240
Perguntamos coisas do tipo:
"Quem a empresa deve contratar?"

00:02:28.096 --> 00:02:30.855
"Que atualização de qual amigo
deve ser mostrada?"

00:02:30.879 --> 00:02:33.535
"Qual condenado tem mais chance
de reincidir num crime?"

00:02:33.535 --> 00:02:36.568
"Quais notícias ou filmes devem
ser recomendados às pessoas?"

NOTE Paragraph

00:02:36.592 --> 00:02:39.964
Sim, temos usado os computadores
já faz um bom tempo,

00:02:39.988 --> 00:02:41.505
mas isso é diferente.

00:02:41.529 --> 00:02:43.596
Essa é uma virada histórica,

00:02:43.620 --> 00:02:48.957
pois não podemos confiar na computação
para essas decisões subjetivas

00:02:48.981 --> 00:02:53.285
da mesma forma que podemos confiar
na computação para pilotar aviões,

00:02:53.285 --> 00:02:55.684
construir pontes, ir à Lua.

00:02:56.129 --> 00:02:59.708
Os aviões estão mais seguros?
A ponte balançou e caiu?

00:02:59.732 --> 00:03:04.230
Nesses casos, concordamos de forma
bem clara com os parâmetros,

00:03:04.254 --> 00:03:06.493
e temos as leis da natureza como baliza.

00:03:06.517 --> 00:03:09.911
Nós não temos tais âncoras ou marcos

00:03:09.935 --> 00:03:13.898
para a tomada de decisões
em negócios humanos confusos.

NOTE Paragraph

00:03:14.262 --> 00:03:18.159
Para complicar ainda mais as coisas,
nosso software está ficando mais poderoso,

00:03:18.183 --> 00:03:21.956
mas também menos transparente
e mais complexo.

00:03:22.542 --> 00:03:24.582
Recentemente, na década passada,

00:03:24.606 --> 00:03:27.335
algoritmos complexos deram passos enormes.

00:03:27.359 --> 00:03:29.659
Eles conseguem reconhecer rostos humanos.

00:03:29.985 --> 00:03:32.040
Eles conseguem decifrar caligrafia.

00:03:32.436 --> 00:03:35.722
Eles conseguem detectar fraude
de cartão de crédito, bloquear spam,

00:03:35.739 --> 00:03:37.776
conseguem traduzir línguas

00:03:37.800 --> 00:03:40.374
e detectar tumores em exames de imagem.

00:03:40.398 --> 00:03:43.163
Conseguem vencer humanos
em jogos de xadrez e Go.

NOTE Paragraph

00:03:43.264 --> 00:03:47.768
Muito desse progresso vem de um método
chamado "aprendizado de máquina".

00:03:48.175 --> 00:03:51.362
O aprendizado de máquina é diferente
da programação tradicional

00:03:51.386 --> 00:03:54.971
em que instruções detalhadas, exatas
e meticulosas são dadas ao computador.

00:03:55.378 --> 00:03:59.560
É mais como pegar um sistema
e alimentá-lo com montes de dados,

00:03:59.584 --> 00:04:01.240
incluindo dados não estruturados,

00:04:01.264 --> 00:04:03.542
como os que geramos
em nossas vidas digitais.

00:04:03.566 --> 00:04:06.296
E o sistema aprende revirando esses dados.

00:04:06.669 --> 00:04:08.195
Além disso, fundamentalmente,

00:04:08.219 --> 00:04:12.599
esses sistemas não operam
sob a lógica de uma resposta única.

00:04:12.623 --> 00:04:15.582
Eles não produzem uma resposta
simples; é mais probabilidade:

00:04:15.606 --> 00:04:19.379
"É provável que isto aqui seja
o que você está procurando".

NOTE Paragraph

00:04:20.023 --> 00:04:23.093
Bem, a vantagem é que esse método
é realmente poderoso.

00:04:23.117 --> 00:04:25.193
O responsável pela IA do Google o chamou

00:04:25.217 --> 00:04:27.414
de "a eficácia irracional dos dados".

00:04:27.791 --> 00:04:29.254
O lado negativo é

00:04:29.738 --> 00:04:32.703
não sabermos realmente
o que o sistema aprendeu.

00:04:32.703 --> 00:04:35.010
Na realidade, é aí que está seu poder.

00:04:35.010 --> 00:04:38.744
Isso tem pouco a ver com dar
instruções a um computador;

00:04:39.200 --> 00:04:43.264
é mais como adestrar uma máquina-filhote

00:04:43.288 --> 00:04:45.608
que não controlamos
ou conhecemos de verdade.

00:04:45.608 --> 00:04:46.362
(Risos)

00:04:46.362 --> 00:04:48.122
Então, este é o nosso problema.

00:04:48.432 --> 00:04:49.427
É um problema

00:04:49.427 --> 00:04:52.809
quando esse sistema de inteligência
artificial entende as coisas errado.

00:04:52.809 --> 00:04:56.253
Também é um problema
quando ele entende certo,

00:04:56.277 --> 00:04:59.905
pois não sabemos distinguir os dois
quando se trata de um problema subjetivo.

00:04:59.929 --> 00:05:02.268
Não sabemos o que esta coisa
está pensando.

NOTE Paragraph

00:05:03.493 --> 00:05:07.456
Por exemplo, vamos imaginar
um algoritmo de contratação,

00:05:08.123 --> 00:05:10.542
um sistema usado para contratar pessoas,

00:05:10.542 --> 00:05:13.052
usando o aprendizado de máquina.

00:05:13.052 --> 00:05:16.631
Tal sistema teria sido treinado
em dados prévios dos empregados

00:05:16.655 --> 00:05:19.246
e treinado para encontrar e contratar

00:05:19.270 --> 00:05:22.498
pessoas como os atuais empregados
com alto desempenho na empresa.

00:05:22.814 --> 00:05:23.967
Parece uma coisa boa.

00:05:23.991 --> 00:05:25.990
Uma vez, fui a um seminário

00:05:26.014 --> 00:05:29.139
que reuniu gerentes e executivos
da área de recursos humanos,

00:05:29.163 --> 00:05:32.059
pessoas de alto nível,
usando tais sistemas para contratar.

00:05:32.059 --> 00:05:33.622
Eles estavam muito empolgados.

00:05:33.646 --> 00:05:38.299
Achavam que isso tornaria a contratação
mais objetiva, menos parcial,

00:05:38.323 --> 00:05:41.323
e daria a mulheres e minorias
uma melhor oportunidade

00:05:41.347 --> 00:05:43.535
versus gerentes humanos tendenciosos.

NOTE Paragraph

00:05:43.559 --> 00:05:46.402
Pois vejam: a contratação
humana é tendenciosa.

00:05:47.099 --> 00:05:48.284
Sei bem disso.

00:05:48.308 --> 00:05:51.313
Quero dizer, num dos meus primeiros
empregos como programadora,

00:05:51.337 --> 00:05:55.205
minha gerente imediata
às vezes vinha ao meu setor

00:05:55.229 --> 00:05:58.982
bem cedinho pela manhã
ou bem no final da tarde,

00:05:59.006 --> 00:06:02.068
e me chamava: "Zeynep, vamos almoçar!"

00:06:02.724 --> 00:06:04.891
Eu ficava atônita com o horário estranho.

00:06:04.915 --> 00:06:07.044
Eram quatro da tarde. Almoço?

00:06:07.068 --> 00:06:10.162
Eu não tinha grana, então,
almoço grátis, eu sempre ia.

00:06:10.358 --> 00:06:12.685
Só mais tarde percebi
o que estava acontecendo.

00:06:12.709 --> 00:06:17.255
Meus gerentes imediatos não tinham
confessado a seus superiores

00:06:17.279 --> 00:06:21.402
que a programadora que tinham contratado
para um emprego sério era uma adolescente

00:06:21.932 --> 00:06:24.776
que vinha trabalhar de jeans e tênis.

00:06:25.074 --> 00:06:27.376
Eu trabalhava direito, só parecia errada,

00:06:27.400 --> 00:06:29.099
e tinha a idade e o gênero errados.

NOTE Paragraph

00:06:29.123 --> 00:06:32.469
Assim, contratar independente
da raça e do gênero

00:06:32.493 --> 00:06:34.818
certamente me parece uma coisa boa.

00:06:35.031 --> 00:06:38.622
Mas, com esses sistemas,
é mais complicado, e eis a razão:

00:06:38.968 --> 00:06:44.759
hoje, sistemas de computador podem
inferir todo tipo de coisas sobre nós

00:06:44.783 --> 00:06:46.655
por meio de nossas pegadas digitais,

00:06:46.679 --> 00:06:49.012
mesmo coisas que não tivermos revelado.

00:06:49.506 --> 00:06:52.433
Eles podem inferir
nossa orientação sexual,

00:06:52.994 --> 00:06:54.700
os traços de nossa personalidade,

00:06:54.859 --> 00:06:56.362
nossas tendências políticas.

00:06:56.830 --> 00:07:00.515
Eles têm poder preditivo
com altos níveis de precisão.

00:07:01.362 --> 00:07:05.500
Vejam bem, para coisas
que não revelamos: isso é inferência.

NOTE Paragraph

00:07:05.579 --> 00:07:08.840
Tenho uma amiga que desenvolveu
um sistema de computador

00:07:08.864 --> 00:07:12.505
para predizer a probabilidade
de depressão clínica pós-parto

00:07:12.529 --> 00:07:14.205
com base em dados de mídia social.

00:07:14.676 --> 00:07:16.423
Os resultados são impressionantes.

00:07:16.492 --> 00:07:19.849
O sistema dela prevê
a probabilidade de depressão

00:07:19.873 --> 00:07:23.776
meses antes do surgimento
de quaisquer sintomas,

00:07:23.800 --> 00:07:25.173
meses antes.

00:07:25.197 --> 00:07:27.443
Mesmo sem sintomas, ele prevê.

00:07:27.467 --> 00:07:31.491
Ela espera que isso seja usado
para intervenção precoce.

00:07:31.491 --> 00:07:32.481
Ótimo!

00:07:32.911 --> 00:07:35.321
Mas coloque isso
no contexto da contratação.

NOTE Paragraph

00:07:36.027 --> 00:07:39.073
Então, nesse seminário
de gerentes de recursos humanos,

00:07:39.097 --> 00:07:43.470
eu me aproximei de uma gerente
com alto cargo numa grande empresa,

00:07:43.830 --> 00:07:48.408
e perguntei a ela: "Olhe,
e se, sem seu conhecimento,

00:07:48.432 --> 00:07:54.981
seu sistema estiver cortando pessoas
com probabilidade de depressão futura?

00:07:55.761 --> 00:07:59.587
Elas não estão deprimidas agora,
mas, no futuro, bem provavelmente.

00:07:59.923 --> 00:08:03.329
E se estiver cortando mulheres
com maior probabilidade de engravidar

00:08:03.353 --> 00:08:06.329
dentro de um ou dois anos,
mas que não estejam grávidas agora?

00:08:06.844 --> 00:08:12.480
E se contratar pessoas agressivas
por causa da cultura da empresa?

00:08:13.173 --> 00:08:15.848
Não se pode saber isso
com análises de gênero.

00:08:15.848 --> 00:08:17.390
Isso pode estar equacionado.

00:08:17.414 --> 00:08:20.971
E, como isso é aprendizado de máquina, 
não é codificação tradicional,

00:08:20.995 --> 00:08:25.902
não há uma variável chamada
'alto risco de depressão',

00:08:25.926 --> 00:08:27.759
'maior risco de gravidez',

00:08:27.783 --> 00:08:29.517
'pessoa altamente agressiva'.

00:08:29.995 --> 00:08:33.674
Não só você não sabe o que
seu sistema está selecionando,

00:08:33.698 --> 00:08:36.021
como também não sabe onde começar a olhar.

00:08:36.045 --> 00:08:37.291
É uma caixa-preta.

00:08:37.315 --> 00:08:40.122
Ele tem poder preditivo,
mas você não o entende.

NOTE Paragraph

00:08:40.486 --> 00:08:42.855
Que salvaguardas", perguntei, "você teria

00:08:42.879 --> 00:08:46.552
para se assegurar de que sua caixa-preta
não está fazendo algo suspeito?"

00:08:48.863 --> 00:08:52.741
Ela olhou para mim como se eu tivesse
pisado no rabo de dez cachorrinhos.

NOTE Paragraph

00:08:52.765 --> 00:08:54.013
(Risos)

NOTE Paragraph

00:08:54.037 --> 00:08:56.308
Ela olhou bem pra mim e falou:

00:08:56.556 --> 00:09:01.069
"Eu não quero ouvir
nem mais uma palavra sobre isso".

00:09:01.458 --> 00:09:03.752
E virou as costas e foi embora.

00:09:04.064 --> 00:09:05.550
Vejam bem, ela não foi rude.

00:09:05.574 --> 00:09:06.796
Era claramente:

00:09:06.966 --> 00:09:11.906
"O que eu não sei não é problema meu,
vai embora, agourenta".

NOTE Paragraph

00:09:11.906 --> 00:09:13.482
(Risos)

NOTE Paragraph

00:09:13.862 --> 00:09:17.701
Vejam, tal sistema pode até
ser menos tendencioso

00:09:17.725 --> 00:09:19.828
do que gerentes humanos de alguma forma.

00:09:19.852 --> 00:09:22.398
E poderia fazer sentido financeiramente.

00:09:22.573 --> 00:09:24.223
Mas também poderia levar

00:09:24.247 --> 00:09:28.995
a um constante mas sorrateiro
fechamento do mercado de trabalho

00:09:29.019 --> 00:09:31.312
para pessoas com alto risco de depressão.

00:09:31.753 --> 00:09:34.349
É esse tipo de sociedade
que queremos construir,

00:09:34.373 --> 00:09:36.658
sem nem sequer saber que fizemos isso,

00:09:36.682 --> 00:09:40.646
por termos dado às máquinas um poder
de decisão que não entendemos totalmente?

NOTE Paragraph

00:09:41.265 --> 00:09:42.893
Outro problema é o seguinte:

00:09:43.314 --> 00:09:47.536
esses sistemas normalmente são treinados
com dados gerados pelas nossas ações,

00:09:47.790 --> 00:09:49.566
vestígios humanos.

00:09:50.188 --> 00:09:53.796
Bem, eles poderiam estar apenas
refletindo nossas tendências,

00:09:54.020 --> 00:09:57.613
e esses sistemas poderiam
estar pegando nossas tendências,

00:09:57.637 --> 00:10:01.560
amplificando-as e devolvendo-as para nós,
enquanto dizemos a nós mesmos:

00:10:01.560 --> 00:10:04.829
"Estamos fazendo apenas
computação objetiva e neutra".

NOTE Paragraph

00:10:06.314 --> 00:10:09.121
Pesquisadores descobriram que, no Google,

00:10:10.134 --> 00:10:15.447
são mostrados menos anúncios de empregos
bem pagos às mulheres do que aos homens.

00:10:16.463 --> 00:10:18.993
E, numa pesquisa de nomes afro-americanos,

00:10:19.017 --> 00:10:23.723
é provável que nos sejam mostrados
anúncios sugerindo história criminal,

00:10:23.747 --> 00:10:25.624
mesmo quando não há nenhuma.

00:10:26.693 --> 00:10:30.242
Tais tendências escondidas
e algoritmos caixas-pretas,

00:10:30.266 --> 00:10:34.239
que os pesquisadores às vezes revelam,
mas às vezes desconhecemos,

00:10:34.263 --> 00:10:36.924
podem afetar a vida das pessoas.

NOTE Paragraph

00:10:37.958 --> 00:10:42.117
Em Wisconsin, um réu foi sentenciado
a seis anos de prisão

00:10:42.141 --> 00:10:44.026
por fugir da polícia.

00:10:44.734 --> 00:10:46.010
Talvez não saibam disso,

00:10:46.034 --> 00:10:50.032
mas os algoritmos estão sendo cada vez
mais usados em decisões judiciais.

00:10:50.056 --> 00:10:53.011
E o réu quis saber:
como esse número foi calculado?

00:10:53.795 --> 00:10:55.460
É uma caixa-preta comercial.

00:10:55.484 --> 00:11:00.049
A empresa se recusou a ter
seu algoritmo exposto no tribunal.

00:11:00.396 --> 00:11:04.452
Mas a ProPublica, uma organização
investigativa sem fins lucrativos,

00:11:04.452 --> 00:11:07.968
auditou esse algoritmo com os dados
públicos que conseguiu encontrar

00:11:07.992 --> 00:11:10.308
e descobriu que os resultados
eram tendenciosos,

00:11:10.332 --> 00:11:13.961
e seu poder preditivo era deplorável,
apenas um pouco melhor do que o acaso,

00:11:13.985 --> 00:11:18.401
e estava rotulando erroneamente
réus negros como futuros criminosos

00:11:18.425 --> 00:11:22.480
duas vezes mais do que os réus brancos.

NOTE Paragraph

00:11:23.891 --> 00:11:25.585
Vejam por exemplo este caso:

00:11:26.103 --> 00:11:29.955
esta mulher se atrasou
para buscar sua parente

00:11:29.979 --> 00:11:32.324
numa escola no Condado
de Broward, na Flórida.

00:11:32.757 --> 00:11:35.113
Correndo pela rua com uma amiga,

00:11:35.137 --> 00:11:39.236
elas viram uma bicicleta sem cadeado
e uma lambreta numa varanda

00:11:39.260 --> 00:11:40.892
e, impensadamente, pularam nela.

00:11:40.916 --> 00:11:43.389
Quando estavam indo embora,
uma mulher saiu e falou:

00:11:43.389 --> 00:11:45.744
"Ei! Esta é a bicicleta do meu filho!"

00:11:45.768 --> 00:11:49.062
Elas largaram a bicicleta,
fugiram, mas foram presas.

NOTE Paragraph

00:11:49.086 --> 00:11:52.723
Ela errou, foi infantil,
mas tinha apenas 18 anos.

00:11:52.747 --> 00:11:55.501
Ela tinha algumas contravenções juvenis.

00:11:55.808 --> 00:12:00.993
Enquanto isso, aquele homem
tinha sido preso por furtar na Home Depot

00:12:01.017 --> 00:12:04.171
bens no valor de US$ 85,
um crime pequeno similar.

00:12:04.766 --> 00:12:09.325
Mas ele tinha duas condenações
prévias por roubo à mão armada.

00:12:09.715 --> 00:12:13.647
No entanto, o algoritmo a classificou
como sendo de alto risco, e ele não.

00:12:14.586 --> 00:12:18.484
Dois anos depois, a ProPublica descobriu
que ela não tinha reincidido em crime.

00:12:18.484 --> 00:12:21.364
E foi muito difícil conseguir
um emprego com esse histórico.

00:12:21.364 --> 00:12:23.294
Ele, por outro lado, reincidiu no crime

00:12:23.318 --> 00:12:27.454
e agora está cumprindo oito anos
de prisão por um crime posterior.

00:12:28.088 --> 00:12:31.457
Claramente, precisamos
auditar nossas caixas-pretas

00:12:31.481 --> 00:12:34.096
e não deixá-las ter esse tipo
de poder sem controle.

NOTE Paragraph

00:12:34.120 --> 00:12:36.999
(Aplausos)

NOTE Paragraph

00:12:38.087 --> 00:12:42.329
Auditorias são ótimas e importantes,
mas não resolvem todos os problemas.

00:12:42.353 --> 00:12:45.101
Peguem o poderoso algoritmo do Facebook.

00:12:45.125 --> 00:12:49.968
Sabe aquele que escolhe o que nos mostrar

00:12:49.992 --> 00:12:52.276
entre todos os amigos
e páginas que seguimos?

00:12:52.678 --> 00:12:55.173
Será que deveriam lhe mostrar
uma outra foto de bebê?

NOTE Paragraph

00:12:55.197 --> 00:12:56.393
(Risos)

NOTE Paragraph

00:12:56.417 --> 00:12:59.013
Um comentário estranho de um conhecido?

00:12:59.449 --> 00:13:01.305
Uma notícia importante, mas difícil?

00:13:01.329 --> 00:13:02.811
Não existe resposta certa.

00:13:02.835 --> 00:13:05.494
O Facebook o aperfeiçoa pelo uso do site:

00:13:05.518 --> 00:13:07.633
curtidas, compartilhamentos, comentários.

NOTE Paragraph

00:13:08.168 --> 00:13:10.864
Em agosto de 2014,

00:13:10.888 --> 00:13:13.550
houve uma onda de protestos
em Ferguson, no Missouri,

00:13:13.574 --> 00:13:17.991
depois do assassinato de um adolescente
afro-americano por um policial branco,

00:13:18.015 --> 00:13:19.835
sob circunstâncias nebulosas.

00:13:19.835 --> 00:13:22.201
Notícias sobre os protestos
estavam por toda parte

00:13:22.221 --> 00:13:24.690
no "feed" do meu Twitter
sem algoritmo de filtragem,

00:13:24.714 --> 00:13:26.914
mas em nenhum lugar no meu Facebook.

00:13:27.182 --> 00:13:28.916
Seriam meus amigos no Facebook?

00:13:28.940 --> 00:13:30.972
Eu desabilitei o algoritmo do Facebook,

00:13:31.472 --> 00:13:34.320
o que é difícil,
pois o Facebook espera que nós

00:13:34.344 --> 00:13:36.380
fiquemos sob o controle do algoritmo,

00:13:36.404 --> 00:13:38.876
e vi que meus amigos
estavam falando sobre o assunto.

00:13:38.876 --> 00:13:41.025
Mas o algoritmo
simplesmente não mostrava.

00:13:41.025 --> 00:13:44.241
Fui pesquisar e descobri
que era um problema geral.

NOTE Paragraph

00:13:44.265 --> 00:13:48.078
A história de Ferguson não
era compatível com o algoritmo.

00:13:48.102 --> 00:13:50.813
Não era "curtível";
quem ia "curtir" aquilo?

00:13:51.500 --> 00:13:53.806
Não era fácil nem mesmo
comentar sobre o assunto.

00:13:53.806 --> 00:13:55.101
Sem curtidas e comentários,

00:13:55.125 --> 00:13:58.557
era provável que o algoritmo mostrasse
isso para cada vez menos pessoas,

00:13:58.557 --> 00:14:00.643
assim, não pudemos ver isto.

00:14:00.946 --> 00:14:04.190
Em seu lugar, naquela semana,
o algoritmo do Facebook priorizou isto:

00:14:04.190 --> 00:14:06.886
o desafio do balde da ELA,
esclerose lateral amiotrófica.

00:14:06.886 --> 00:14:10.512
Causa importante: jogar água gelada,
doar para caridade, tudo bem.

00:14:10.536 --> 00:14:12.650
Mas era supercompatível com o algoritmo.

00:14:13.119 --> 00:14:15.832
A máquina tomou essa decisão por nós.

00:14:15.856 --> 00:14:19.353
Uma conversa muito importante,
mas muito difícil,

00:14:19.377 --> 00:14:20.932
teria sido atenuada,

00:14:20.956 --> 00:14:23.652
caso o Facebook fosse o único canal.

NOTE Paragraph

00:14:24.117 --> 00:14:27.914
Finalmente, esses sistemas
também podem errar

00:14:27.938 --> 00:14:30.488
de maneiras diferentes
dos sistemas humanos.

00:14:30.488 --> 00:14:33.620
Lembram-se do Watson, o sistema
de inteligência de máquina da IBM

00:14:33.644 --> 00:14:36.772
que sempre ganhava, competindo
com seres humanos num show de TV?

00:14:37.131 --> 00:14:38.559
Ele era um ótimo jogador.

00:14:38.583 --> 00:14:42.152
Mas então, na final, foi feita
a seguinte pergunta a Watson:

00:14:42.389 --> 00:14:45.591
"Seu maior aeroporto possui o nome
de um herói da Segunda Guerra,

00:14:45.615 --> 00:14:47.867
a maior grande batalha da Segunda Guerra".

NOTE Paragraph

00:14:47.891 --> 00:14:49.269
(Cantarola música do show)

NOTE Paragraph

00:14:49.582 --> 00:14:50.764
"Chicago."

00:14:50.788 --> 00:14:52.668
Os dois seres humanos acertaram.

00:14:52.697 --> 00:14:56.735
Watson, por sua vez, respondeu "Toronto"

00:14:56.939 --> 00:14:58.887
na categoria "cidade dos EUA"!

00:14:59.596 --> 00:15:02.497
O incrível sistema também cometeu um erro

00:15:02.521 --> 00:15:06.572
que um humano jamais faria,
uma criança não cometeria.

NOTE Paragraph

00:15:06.693 --> 00:15:09.932
Nossa inteligência artifical pode falhar

00:15:09.956 --> 00:15:12.820
de formas que não se encaixam
nos padrões de erros humanos,


00:15:12.820 --> 00:15:16.030
de formas que não esperamos
e para as quais não estamos preparados.

00:15:16.054 --> 00:15:19.692
Seria péssimo não conseguir um emprego
para o qual se está qualificado,

00:15:19.716 --> 00:15:23.443
mas seria triplamente péssimo
se fosse por causa de um "stack overflow"

00:15:23.467 --> 00:15:24.899
em alguma sub-rotina.

NOTE Paragraph

00:15:24.923 --> 00:15:26.502
(Risos)

NOTE Paragraph

00:15:26.526 --> 00:15:29.312
Em maio de 2010,

00:15:29.336 --> 00:15:33.380
uma baixa repentina em Wall Street,
alimentada pelo sistema de autoajuste

00:15:33.404 --> 00:15:36.432
do algoritmo de "venda",

00:15:36.456 --> 00:15:40.640
varreu US$ 1 trilhão em 36 minutos.

00:15:41.722 --> 00:15:43.909
Não quero nem pensar
no que significaria "erro"

00:15:43.933 --> 00:15:47.522
no contexto de armas letais autônomas.

NOTE Paragraph

00:15:49.894 --> 00:15:53.684
Então, sim, os seres humanos
sempre foram tendenciosos.

00:15:53.708 --> 00:15:55.884
Tomadores de decisão e controladores,

00:15:55.908 --> 00:15:59.401
em tribunais, na mídia, na guerra...

00:15:59.425 --> 00:16:02.463
eles cometem erros;
mas esse é exatamente meu ponto.

00:16:02.487 --> 00:16:06.008
Não podemos fugir
dessas questões difíceis.

00:16:06.596 --> 00:16:10.112
Não podemos terceirizar
nossas responsabilidades para as máquinas.

NOTE Paragraph

00:16:10.676 --> 00:16:13.554
(Aplausos) (Vivas)

NOTE Paragraph

00:16:17.089 --> 00:16:21.536
A inteligência artificial não nos dá
um passe para a "zona livre de ética".

NOTE Paragraph

00:16:22.742 --> 00:16:26.123
O cientista de dados Fred Benenson
chama isso de "mathwashing".

00:16:26.147 --> 00:16:27.536
Precisamos fazer o contrário.

00:16:27.560 --> 00:16:32.948
Precisamos cultivar o escrutínio,
a suspeita e investigação dos algoritmos.

00:16:33.380 --> 00:16:36.578
Precisamos nos assegurar de que temos
responsabilidade algorítmica,

00:16:36.602 --> 00:16:39.047
auditoria e transparência relevante.

00:16:39.380 --> 00:16:42.614
Precisamos aceitar que trazer
a matemática e a computação

00:16:42.638 --> 00:16:45.608
para negócios humanos confusos,
envolvendo julgamento de valor,

00:16:45.632 --> 00:16:48.016
não traz objetividade;

00:16:48.040 --> 00:16:51.903
mas que, ao contrário, a complexidade
dos negócios humanos invade os algoritmos.

00:16:52.148 --> 00:16:55.635
Sim, podemos e devemos usar a computação

00:16:55.659 --> 00:16:57.673
para nos ajudar a tomar decisões melhores.

00:16:57.697 --> 00:17:03.029
Mas temos de reconhecer
nossa responsabilidade moral para julgar,

00:17:03.053 --> 00:17:05.871
e usar os algoritmos
dentro desse espectro,

00:17:05.895 --> 00:17:10.830
não como uma forma de abdicar de nossas
responsabilidades ou terceirizá-las,

00:17:10.854 --> 00:17:13.558
como se fosse de um ser humano para outro.

NOTE Paragraph

00:17:13.807 --> 00:17:16.416
A inteligência artificial está aí.

00:17:16.440 --> 00:17:19.861
Isso significa que vamos
ter de nos agarrar firmemente

00:17:19.885 --> 00:17:22.032
aos valores e à ética humanos.

NOTE Paragraph

00:17:22.056 --> 00:17:23.210
Obrigada.

NOTE Paragraph

00:17:23.234 --> 00:17:26.324
(Aplausos) (Vivas)