0:00:00.739,0:00:04.701
Meu primeiro emprego na vida foi[br]como programadora de computador

0:00:04.745,0:00:06.841
já no primeiro ano de faculdade,

0:00:06.865,0:00:08.372
praticamente uma adolescente.

0:00:08.889,0:00:10.621
Logo que comecei a trabalhar,

0:00:10.645,0:00:12.255
escrevendo software numa empresa,

0:00:12.799,0:00:16.434
um gerente que trabalhava lá[br]se aproximou de mim

0:00:16.458,0:00:17.926
e começou a sussurrar:

0:00:18.229,0:00:21.090
"Ele consegue dizer se estou mentindo?"

0:00:21.806,0:00:23.946
Não havia mais ninguém na sala.

0:00:23.946,0:00:25.032
(Risos)

0:00:25.032,0:00:29.421
"Quem consegue dizer se você está[br]mentindo? E por que estamos sussurrando?"

0:00:30.266,0:00:33.373
O gerente apontou[br]para o computador na sala.

0:00:33.397,0:00:36.493
"Ele consegue dizer se estou mentindo?"

0:00:37.613,0:00:41.975
Bem, aquele gerente estava tendo [br]um caso com a recepcionista.

0:00:41.999,0:00:43.111
(Risos)

0:00:43.135,0:00:45.281
E eu ainda era uma adolescente.

0:00:45.447,0:00:47.466
Assim, gritei sussurrando de volta:

0:00:47.490,0:00:51.114
"Sim, o computador sabe[br]se você está mentindo".

0:00:51.138,0:00:52.944
(Risos)

0:00:52.968,0:00:55.891
Eu ri, mas, na verdade,[br]estava rindo de mim mesma.

0:00:55.915,0:00:59.183
Atualmente, há sistemas computacionais

0:00:59.207,0:01:02.755
que conseguem perceber[br]estados emocionais e até mentiras

0:01:02.779,0:01:04.823
ao processar rostos humanos.

0:01:05.248,0:01:09.591
Anunciantes e até governos[br]estão muito interessados nisso.

0:01:10.319,0:01:12.181
Tornei-me programadora de computador,

0:01:12.205,0:01:15.318
pois era uma dessas crianças[br]loucas por matemática e ciências.

0:01:15.942,0:01:19.050
Mas, a uma certa altura,[br]descobri as armas nucleares

0:01:19.074,0:01:22.026
e passei a me preocupar[br]com a ética da ciência.

0:01:22.050,0:01:23.254
Aquilo me perturbou.

0:01:23.278,0:01:25.919
No entanto, devido[br]a circunstâncias familiares,

0:01:25.943,0:01:29.241
eu também precisava começar[br]a trabalhar o mais rápido possível.

0:01:29.265,0:01:32.318
Assim, pensei comigo mesma:[br]"Ei, vou escolher a área técnica,

0:01:32.318,0:01:34.384
onde posso conseguir[br]um emprego facilmente

0:01:34.408,0:01:38.426
e não tenho de lidar com quaisquer[br]questões éticas perturbadoras".

0:01:39.022,0:01:40.551
Então escolhi os computadores.

0:01:40.575,0:01:41.679
(Risos)

0:01:41.703,0:01:45.113
Bem, ha, ha, ha! Eu virei a piada.

0:01:45.137,0:01:47.891
Hoje, os cientistas da computação[br]constroem plataformas

0:01:47.915,0:01:52.454
que controlam o que um bilhão[br]de pessoas veem todos os dias.

0:01:53.052,0:01:56.827
Eles estão desenvolvendo carros[br]que poderiam decidir quem atropelar.

0:01:56.827,0:01:57.707
(Risos)

0:01:57.707,0:02:00.920
Estão construindo até mesmo[br]máquinas e armas

0:02:00.944,0:02:03.229
que podem matar seres humanos na guerra.

0:02:03.253,0:02:06.304
É ética o tempo todo.

0:02:07.183,0:02:09.241
A inteligência de máquina chegou.

0:02:09.823,0:02:13.297
Hoje em dia usamos a computação[br]para tomar todo tipo de decisão,

0:02:13.321,0:02:15.207
mas também novos tipos de decisão.

0:02:15.231,0:02:20.403
Perguntamos aos computadores coisas[br]que não têm apenas uma resposta correta,

0:02:20.427,0:02:23.929
que são subjetivas, abertas[br]e que envolvem julgamento de valor.

0:02:24.002,0:02:27.240
Perguntamos coisas do tipo:[br]"Quem a empresa deve contratar?"

0:02:28.096,0:02:30.855
"Que atualização de qual amigo[br]deve ser mostrada?"

0:02:30.879,0:02:33.535
"Qual condenado tem mais chance[br]de reincidir num crime?"

0:02:33.535,0:02:36.568
"Quais notícias ou filmes devem[br]ser recomendados às pessoas?"

0:02:36.592,0:02:39.964
Sim, temos usado os computadores[br]já faz um bom tempo,

0:02:39.988,0:02:41.505
mas isso é diferente.

0:02:41.529,0:02:43.596
Essa é uma virada histórica,

0:02:43.620,0:02:48.957
pois não podemos confiar na computação[br]para essas decisões subjetivas

0:02:48.981,0:02:53.285
da mesma forma que podemos confiar[br]na computação para pilotar aviões,

0:02:53.285,0:02:55.684
construir pontes, ir à Lua.

0:02:56.129,0:02:59.708
Os aviões estão mais seguros?[br]A ponte balançou e caiu?

0:02:59.732,0:03:04.230
Nesses casos, concordamos de forma[br]bem clara com os parâmetros,

0:03:04.254,0:03:06.493
e temos as leis da natureza como baliza.

0:03:06.517,0:03:09.911
Nós não temos tais âncoras ou marcos

0:03:09.935,0:03:13.898
para a tomada de decisões[br]em negócios humanos confusos.

0:03:14.262,0:03:18.159
Para complicar ainda mais as coisas,[br]nosso software está ficando mais poderoso,

0:03:18.183,0:03:21.956
mas também menos transparente[br]e mais complexo.

0:03:22.542,0:03:24.582
Recentemente, na década passada,

0:03:24.606,0:03:27.335
algoritmos complexos deram passos enormes.

0:03:27.359,0:03:29.659
Eles conseguem reconhecer rostos humanos.

0:03:29.985,0:03:32.040
Eles conseguem decifrar caligrafia.

0:03:32.436,0:03:35.722
Eles conseguem detectar fraude[br]de cartão de crédito, bloquear spam,

0:03:35.739,0:03:37.776
conseguem traduzir línguas

0:03:37.800,0:03:40.374
e detectar tumores em exames de imagem.

0:03:40.398,0:03:43.163
Conseguem vencer humanos[br]em jogos de xadrez e Go.

0:03:43.264,0:03:47.768
Muito desse progresso vem de um método[br]chamado "aprendizado de máquina".

0:03:48.175,0:03:51.362
O aprendizado de máquina é diferente[br]da programação tradicional

0:03:51.386,0:03:54.971
em que instruções detalhadas, exatas[br]e meticulosas são dadas ao computador.

0:03:55.378,0:03:59.560
É mais como pegar um sistema[br]e alimentá-lo com montes de dados,

0:03:59.584,0:04:01.240
incluindo dados não estruturados,

0:04:01.264,0:04:03.542
como os que geramos[br]em nossas vidas digitais.

0:04:03.566,0:04:06.296
E o sistema aprende revirando esses dados.

0:04:06.669,0:04:08.195
Além disso, fundamentalmente,

0:04:08.219,0:04:12.599
esses sistemas não operam[br]sob a lógica de uma resposta única.

0:04:12.623,0:04:15.582
Eles não produzem uma resposta[br]simples; é mais probabilidade:

0:04:15.606,0:04:19.379
"É provável que isto aqui seja[br]o que você está procurando".

0:04:20.023,0:04:23.093
Bem, a vantagem é que esse método[br]é realmente poderoso.

0:04:23.117,0:04:25.193
O responsável pela IA do Google o chamou

0:04:25.217,0:04:27.414
de "a eficácia irracional dos dados".

0:04:27.791,0:04:29.254
O lado negativo é

0:04:29.738,0:04:32.703
não sabermos realmente[br]o que o sistema aprendeu.

0:04:32.703,0:04:35.010
Na realidade, é aí que está seu poder.

0:04:35.010,0:04:38.744
Isso tem pouco a ver com dar[br]instruções a um computador;

0:04:39.200,0:04:43.264
é mais como adestrar uma máquina-filhote

0:04:43.288,0:04:45.608
que não controlamos[br]ou conhecemos de verdade.

0:04:45.608,0:04:46.362
(Risos)

0:04:46.362,0:04:48.122
Então, este é o nosso problema.

0:04:48.432,0:04:49.427
É um problema

0:04:49.427,0:04:52.809
quando esse sistema de inteligência[br]artificial entende as coisas errado.

0:04:52.809,0:04:56.253
Também é um problema[br]quando ele entende certo,

0:04:56.277,0:04:59.905
pois não sabemos distinguir os dois[br]quando se trata de um problema subjetivo.

0:04:59.929,0:05:02.268
Não sabemos o que esta coisa[br]está pensando.

0:05:03.493,0:05:07.456
Por exemplo, vamos imaginar[br]um algoritmo de contratação,

0:05:08.123,0:05:10.542
um sistema usado para contratar pessoas,

0:05:10.542,0:05:13.052
usando o aprendizado de máquina.

0:05:13.052,0:05:16.631
Tal sistema teria sido treinado[br]em dados prévios dos empregados

0:05:16.655,0:05:19.246
e treinado para encontrar e contratar

0:05:19.270,0:05:22.498
pessoas como os atuais empregados[br]com alto desempenho na empresa.

0:05:22.814,0:05:23.967
Parece uma coisa boa.

0:05:23.991,0:05:25.990
Uma vez, fui a um seminário

0:05:26.014,0:05:29.139
que reuniu gerentes e executivos[br]da área de recursos humanos,

0:05:29.163,0:05:32.059
pessoas de alto nível,[br]usando tais sistemas para contratar.

0:05:32.059,0:05:33.622
Eles estavam muito empolgados.

0:05:33.646,0:05:38.299
Achavam que isso tornaria a contratação[br]mais objetiva, menos parcial,

0:05:38.323,0:05:41.323
e daria a mulheres e minorias[br]uma melhor oportunidade

0:05:41.347,0:05:43.535
versus gerentes humanos tendenciosos.

0:05:43.559,0:05:46.402
Pois vejam: a contratação[br]humana é tendenciosa.

0:05:47.099,0:05:48.284
Sei bem disso.

0:05:48.308,0:05:51.313
Quero dizer, num dos meus primeiros[br]empregos como programadora,

0:05:51.337,0:05:55.205
minha gerente imediata[br]às vezes vinha ao meu setor

0:05:55.229,0:05:58.982
bem cedinho pela manhã[br]ou bem no final da tarde,

0:05:59.006,0:06:02.068
e me chamava: "Zeynep, vamos almoçar!"

0:06:02.724,0:06:04.891
Eu ficava atônita com o horário estranho.

0:06:04.915,0:06:07.044
Eram quatro da tarde. Almoço?

0:06:07.068,0:06:10.162
Eu não tinha grana, então,[br]almoço grátis, eu sempre ia.

0:06:10.358,0:06:12.685
Só mais tarde percebi[br]o que estava acontecendo.

0:06:12.709,0:06:17.255
Meus gerentes imediatos não tinham[br]confessado a seus superiores

0:06:17.279,0:06:21.402
que a programadora que tinham contratado[br]para um emprego sério era uma adolescente

0:06:21.932,0:06:24.776
que vinha trabalhar de jeans e tênis.

0:06:25.074,0:06:27.376
Eu trabalhava direito, só parecia errada,

0:06:27.400,0:06:29.099
e tinha a idade e o gênero errados.

0:06:29.123,0:06:32.469
Assim, contratar independente[br]da raça e do gênero

0:06:32.493,0:06:34.818
certamente me parece uma coisa boa.

0:06:35.031,0:06:38.622
Mas, com esses sistemas,[br]é mais complicado, e eis a razão:

0:06:38.968,0:06:44.759
hoje, sistemas de computador podem[br]inferir todo tipo de coisas sobre nós

0:06:44.783,0:06:46.655
por meio de nossas pegadas digitais,

0:06:46.679,0:06:49.012
mesmo coisas que não tivermos revelado.

0:06:49.506,0:06:52.433
Eles podem inferir[br]nossa orientação sexual,

0:06:52.994,0:06:54.700
os traços de nossa personalidade,

0:06:54.859,0:06:56.362
nossas tendências políticas.

0:06:56.830,0:07:00.515
Eles têm poder preditivo[br]com altos níveis de precisão.

0:07:01.362,0:07:05.500
Vejam bem, para coisas[br]que não revelamos: isso é inferência.

0:07:05.579,0:07:08.840
Tenho uma amiga que desenvolveu[br]um sistema de computador

0:07:08.864,0:07:12.505
para predizer a probabilidade[br]de depressão clínica pós-parto

0:07:12.529,0:07:14.205
com base em dados de mídia social.

0:07:14.676,0:07:16.423
Os resultados são impressionantes.

0:07:16.492,0:07:19.849
O sistema dela prevê[br]a probabilidade de depressão

0:07:19.873,0:07:23.776
meses antes do surgimento[br]de quaisquer sintomas,

0:07:23.800,0:07:25.173
meses antes.

0:07:25.197,0:07:27.443
Mesmo sem sintomas, ele prevê.

0:07:27.467,0:07:31.491
Ela espera que isso seja usado[br]para intervenção precoce.

0:07:31.491,0:07:32.481
Ótimo!

0:07:32.911,0:07:35.321
Mas coloque isso[br]no contexto da contratação.

0:07:36.027,0:07:39.073
Então, nesse seminário[br]de gerentes de recursos humanos,

0:07:39.097,0:07:43.470
eu me aproximei de uma gerente[br]com alto cargo numa grande empresa,

0:07:43.830,0:07:48.408
e perguntei a ela: "Olhe,[br]e se, sem seu conhecimento,

0:07:48.432,0:07:54.981
seu sistema estiver cortando pessoas[br]com probabilidade de depressão futura?

0:07:55.761,0:07:59.587
Elas não estão deprimidas agora,[br]mas, no futuro, bem provavelmente.

0:07:59.923,0:08:03.329
E se estiver cortando mulheres[br]com maior probabilidade de engravidar

0:08:03.353,0:08:06.329
dentro de um ou dois anos,[br]mas que não estejam grávidas agora?

0:08:06.844,0:08:12.480
E se contratar pessoas agressivas[br]por causa da cultura da empresa?

0:08:13.173,0:08:15.848
Não se pode saber isso[br]com análises de gênero.

0:08:15.848,0:08:17.390
Isso pode estar equacionado.

0:08:17.414,0:08:20.971
E, como isso é aprendizado de máquina, [br]não é codificação tradicional,

0:08:20.995,0:08:25.902
não há uma variável chamada[br]'alto risco de depressão',

0:08:25.926,0:08:27.759
'maior risco de gravidez',

0:08:27.783,0:08:29.517
'pessoa altamente agressiva'.

0:08:29.995,0:08:33.674
Não só você não sabe o que[br]seu sistema está selecionando,

0:08:33.698,0:08:36.021
como também não sabe onde começar a olhar.

0:08:36.045,0:08:37.291
É uma caixa-preta.

0:08:37.315,0:08:40.122
Ele tem poder preditivo,[br]mas você não o entende.

0:08:40.486,0:08:42.855
Que salvaguardas", perguntei, "você teria

0:08:42.879,0:08:46.552
para se assegurar de que sua caixa-preta[br]não está fazendo algo suspeito?"

0:08:48.863,0:08:52.741
Ela olhou para mim como se eu tivesse[br]pisado no rabo de dez cachorrinhos.

0:08:52.765,0:08:54.013
(Risos)

0:08:54.037,0:08:56.308
Ela olhou bem pra mim e falou:

0:08:56.556,0:09:01.069
"Eu não quero ouvir[br]nem mais uma palavra sobre isso".

0:09:01.458,0:09:03.752
E virou as costas e foi embora.

0:09:04.064,0:09:05.550
Vejam bem, ela não foi rude.

0:09:05.574,0:09:06.796
Era claramente:

0:09:06.966,0:09:11.906
"O que eu não sei não é problema meu,[br]vai embora, agourenta".

0:09:11.906,0:09:13.482
(Risos)

0:09:13.862,0:09:17.701
Vejam, tal sistema pode até[br]ser menos tendencioso

0:09:17.725,0:09:19.828
do que gerentes humanos de alguma forma.

0:09:19.852,0:09:22.398
E poderia fazer sentido financeiramente.

0:09:22.573,0:09:24.223
Mas também poderia levar

0:09:24.247,0:09:28.995
a um constante mas sorrateiro[br]fechamento do mercado de trabalho

0:09:29.019,0:09:31.312
para pessoas com alto risco de depressão.

0:09:31.753,0:09:34.349
É esse tipo de sociedade[br]que queremos construir,

0:09:34.373,0:09:36.658
sem nem sequer saber que fizemos isso,

0:09:36.682,0:09:40.646
por termos dado às máquinas um poder[br]de decisão que não entendemos totalmente?

0:09:41.265,0:09:42.893
Outro problema é o seguinte:

0:09:43.314,0:09:47.536
esses sistemas normalmente são treinados[br]com dados gerados pelas nossas ações,

0:09:47.790,0:09:49.566
vestígios humanos.

0:09:50.188,0:09:53.796
Bem, eles poderiam estar apenas[br]refletindo nossas tendências,

0:09:54.020,0:09:57.613
e esses sistemas poderiam[br]estar pegando nossas tendências,

0:09:57.637,0:10:01.560
amplificando-as e devolvendo-as para nós,[br]enquanto dizemos a nós mesmos:

0:10:01.560,0:10:04.829
"Estamos fazendo apenas[br]computação objetiva e neutra".

0:10:06.314,0:10:09.121
Pesquisadores descobriram que, no Google,

0:10:10.134,0:10:15.447
são mostrados menos anúncios de empregos[br]bem pagos às mulheres do que aos homens.

0:10:16.463,0:10:18.993
E, numa pesquisa de nomes afro-americanos,

0:10:19.017,0:10:23.723
é provável que nos sejam mostrados[br]anúncios sugerindo história criminal,

0:10:23.747,0:10:25.624
mesmo quando não há nenhuma.

0:10:26.693,0:10:30.242
Tais tendências escondidas[br]e algoritmos caixas-pretas,

0:10:30.266,0:10:34.239
que os pesquisadores às vezes revelam,[br]mas às vezes desconhecemos,

0:10:34.263,0:10:36.924
podem afetar a vida das pessoas.

0:10:37.958,0:10:42.117
Em Wisconsin, um réu foi sentenciado[br]a seis anos de prisão

0:10:42.141,0:10:44.026
por fugir da polícia.

0:10:44.734,0:10:46.010
Talvez não saibam disso,

0:10:46.034,0:10:50.032
mas os algoritmos estão sendo cada vez[br]mais usados em decisões judiciais.

0:10:50.056,0:10:53.011
E o réu quis saber:[br]como esse número foi calculado?

0:10:53.795,0:10:55.460
É uma caixa-preta comercial.

0:10:55.484,0:11:00.049
A empresa se recusou a ter[br]seu algoritmo exposto no tribunal.

0:11:00.396,0:11:04.452
Mas a ProPublica, uma organização[br]investigativa sem fins lucrativos,

0:11:04.452,0:11:07.968
auditou esse algoritmo com os dados[br]públicos que conseguiu encontrar

0:11:07.992,0:11:10.308
e descobriu que os resultados[br]eram tendenciosos,

0:11:10.332,0:11:13.961
e seu poder preditivo era deplorável,[br]apenas um pouco melhor do que o acaso,

0:11:13.985,0:11:18.401
e estava rotulando erroneamente[br]réus negros como futuros criminosos

0:11:18.425,0:11:22.480
duas vezes mais do que os réus brancos.

0:11:23.891,0:11:25.585
Vejam por exemplo este caso:

0:11:26.103,0:11:29.955
esta mulher se atrasou[br]para buscar sua parente

0:11:29.979,0:11:32.324
numa escola no Condado[br]de Broward, na Flórida.

0:11:32.757,0:11:35.113
Correndo pela rua com uma amiga,

0:11:35.137,0:11:39.236
elas viram uma bicicleta sem cadeado[br]e uma lambreta numa varanda

0:11:39.260,0:11:40.892
e, impensadamente, pularam nela.

0:11:40.916,0:11:43.389
Quando estavam indo embora,[br]uma mulher saiu e falou:

0:11:43.389,0:11:45.744
"Ei! Esta é a bicicleta do meu filho!"

0:11:45.768,0:11:49.062
Elas largaram a bicicleta,[br]fugiram, mas foram presas.

0:11:49.086,0:11:52.723
Ela errou, foi infantil,[br]mas tinha apenas 18 anos.

0:11:52.747,0:11:55.501
Ela tinha algumas contravenções juvenis.

0:11:55.808,0:12:00.993
Enquanto isso, aquele homem[br]tinha sido preso por furtar na Home Depot

0:12:01.017,0:12:04.171
bens no valor de US$ 85,[br]um crime pequeno similar.

0:12:04.766,0:12:09.325
Mas ele tinha duas condenações[br]prévias por roubo à mão armada.

0:12:09.715,0:12:13.647
No entanto, o algoritmo a classificou[br]como sendo de alto risco, e ele não.

0:12:14.586,0:12:18.484
Dois anos depois, a ProPublica descobriu[br]que ela não tinha reincidido em crime.

0:12:18.484,0:12:21.364
E foi muito difícil conseguir[br]um emprego com esse histórico.

0:12:21.364,0:12:23.294
Ele, por outro lado, reincidiu no crime

0:12:23.318,0:12:27.454
e agora está cumprindo oito anos[br]de prisão por um crime posterior.

0:12:28.088,0:12:31.457
Claramente, precisamos[br]auditar nossas caixas-pretas

0:12:31.481,0:12:34.096
e não deixá-las ter esse tipo[br]de poder sem controle.

0:12:34.120,0:12:36.999
(Aplausos)

0:12:38.087,0:12:42.329
Auditorias são ótimas e importantes,[br]mas não resolvem todos os problemas.

0:12:42.353,0:12:45.101
Peguem o poderoso algoritmo do Facebook.

0:12:45.125,0:12:49.968
Sabe aquele que escolhe o que nos mostrar

0:12:49.992,0:12:52.276
entre todos os amigos[br]e páginas que seguimos?

0:12:52.678,0:12:55.173
Será que deveriam lhe mostrar[br]uma outra foto de bebê?

0:12:55.197,0:12:56.393
(Risos)

0:12:56.417,0:12:59.013
Um comentário estranho de um conhecido?

0:12:59.449,0:13:01.305
Uma notícia importante, mas difícil?

0:13:01.329,0:13:02.811
Não existe resposta certa.

0:13:02.835,0:13:05.494
O Facebook o aperfeiçoa pelo uso do site:

0:13:05.518,0:13:07.633
curtidas, compartilhamentos, comentários.

0:13:08.168,0:13:10.864
Em agosto de 2014,

0:13:10.888,0:13:13.550
houve uma onda de protestos[br]em Ferguson, no Missouri,

0:13:13.574,0:13:17.991
depois do assassinato de um adolescente[br]afro-americano por um policial branco,

0:13:18.015,0:13:19.835
sob circunstâncias nebulosas.

0:13:19.835,0:13:22.201
Notícias sobre os protestos[br]estavam por toda parte

0:13:22.221,0:13:24.690
no "feed" do meu Twitter[br]sem algoritmo de filtragem,

0:13:24.714,0:13:26.914
mas em nenhum lugar no meu Facebook.

0:13:27.182,0:13:28.916
Seriam meus amigos no Facebook?

0:13:28.940,0:13:30.972
Eu desabilitei o algoritmo do Facebook,

0:13:31.472,0:13:34.320
o que é difícil,[br]pois o Facebook espera que nós

0:13:34.344,0:13:36.380
fiquemos sob o controle do algoritmo,

0:13:36.404,0:13:38.876
e vi que meus amigos[br]estavam falando sobre o assunto.

0:13:38.876,0:13:41.025
Mas o algoritmo[br]simplesmente não mostrava.

0:13:41.025,0:13:44.241
Fui pesquisar e descobri[br]que era um problema geral.

0:13:44.265,0:13:48.078
A história de Ferguson não[br]era compatível com o algoritmo.

0:13:48.102,0:13:50.813
Não era "curtível";[br]quem ia "curtir" aquilo?

0:13:51.500,0:13:53.806
Não era fácil nem mesmo[br]comentar sobre o assunto.

0:13:53.806,0:13:55.101
Sem curtidas e comentários,

0:13:55.125,0:13:58.557
era provável que o algoritmo mostrasse[br]isso para cada vez menos pessoas,

0:13:58.557,0:14:00.643
assim, não pudemos ver isto.

0:14:00.946,0:14:04.190
Em seu lugar, naquela semana,[br]o algoritmo do Facebook priorizou isto:

0:14:04.190,0:14:06.886
o desafio do balde da ELA,[br]esclerose lateral amiotrófica.

0:14:06.886,0:14:10.512
Causa importante: jogar água gelada,[br]doar para caridade, tudo bem.

0:14:10.536,0:14:12.650
Mas era supercompatível com o algoritmo.

0:14:13.119,0:14:15.832
A máquina tomou essa decisão por nós.

0:14:15.856,0:14:19.353
Uma conversa muito importante,[br]mas muito difícil,

0:14:19.377,0:14:20.932
teria sido atenuada,

0:14:20.956,0:14:23.652
caso o Facebook fosse o único canal.

0:14:24.117,0:14:27.914
Finalmente, esses sistemas[br]também podem errar

0:14:27.938,0:14:30.488
de maneiras diferentes[br]dos sistemas humanos.

0:14:30.488,0:14:33.620
Lembram-se do Watson, o sistema[br]de inteligência de máquina da IBM

0:14:33.644,0:14:36.772
que sempre ganhava, competindo[br]com seres humanos num show de TV?

0:14:37.131,0:14:38.559
Ele era um ótimo jogador.

0:14:38.583,0:14:42.152
Mas então, na final, foi feita[br]a seguinte pergunta a Watson:

0:14:42.389,0:14:45.591
"Seu maior aeroporto possui o nome[br]de um herói da Segunda Guerra,

0:14:45.615,0:14:47.867
a maior grande batalha da Segunda Guerra".

0:14:47.891,0:14:49.269
(Cantarola música do show)

0:14:49.582,0:14:50.764
"Chicago."

0:14:50.788,0:14:52.668
Os dois seres humanos acertaram.

0:14:52.697,0:14:56.735
Watson, por sua vez, respondeu "Toronto"

0:14:56.939,0:14:58.887
na categoria "cidade dos EUA"!

0:14:59.596,0:15:02.497
O incrível sistema também cometeu um erro

0:15:02.521,0:15:06.572
que um humano jamais faria,[br]uma criança não cometeria.

0:15:06.693,0:15:09.932
Nossa inteligência artifical pode falhar

0:15:09.956,0:15:12.820
de formas que não se encaixam[br]nos padrões de erros humanos,[br]

0:15:12.820,0:15:16.030
de formas que não esperamos[br]e para as quais não estamos preparados.

0:15:16.054,0:15:19.692
Seria péssimo não conseguir um emprego[br]para o qual se está qualificado,

0:15:19.716,0:15:23.443
mas seria triplamente péssimo[br]se fosse por causa de um "stack overflow"

0:15:23.467,0:15:24.899
em alguma sub-rotina.

0:15:24.923,0:15:26.502
(Risos)

0:15:26.526,0:15:29.312
Em maio de 2010,

0:15:29.336,0:15:33.380
uma baixa repentina em Wall Street,[br]alimentada pelo sistema de autoajuste

0:15:33.404,0:15:36.432
do algoritmo de "venda",

0:15:36.456,0:15:40.640
varreu US$ 1 trilhão em 36 minutos.

0:15:41.722,0:15:43.909
Não quero nem pensar[br]no que significaria "erro"

0:15:43.933,0:15:47.522
no contexto de armas letais autônomas.

0:15:49.894,0:15:53.684
Então, sim, os seres humanos[br]sempre foram tendenciosos.

0:15:53.708,0:15:55.884
Tomadores de decisão e controladores,

0:15:55.908,0:15:59.401
em tribunais, na mídia, na guerra...

0:15:59.425,0:16:02.463
eles cometem erros;[br]mas esse é exatamente meu ponto.

0:16:02.487,0:16:06.008
Não podemos fugir[br]dessas questões difíceis.

0:16:06.596,0:16:10.112
Não podemos terceirizar[br]nossas responsabilidades para as máquinas.

0:16:10.676,0:16:13.554
(Aplausos) (Vivas)

0:16:17.089,0:16:21.536
A inteligência artificial não nos dá[br]um passe para a "zona livre de ética".

0:16:22.742,0:16:26.123
O cientista de dados Fred Benenson[br]chama isso de "mathwashing".

0:16:26.147,0:16:27.536
Precisamos fazer o contrário.

0:16:27.560,0:16:32.948
Precisamos cultivar o escrutínio,[br]a suspeita e investigação dos algoritmos.

0:16:33.380,0:16:36.578
Precisamos nos assegurar de que temos[br]responsabilidade algorítmica,

0:16:36.602,0:16:39.047
auditoria e transparência relevante.

0:16:39.380,0:16:42.614
Precisamos aceitar que trazer[br]a matemática e a computação

0:16:42.638,0:16:45.608
para negócios humanos confusos,[br]envolvendo julgamento de valor,

0:16:45.632,0:16:48.016
não traz objetividade;

0:16:48.040,0:16:51.903
mas que, ao contrário, a complexidade[br]dos negócios humanos invade os algoritmos.

0:16:52.148,0:16:55.635
Sim, podemos e devemos usar a computação

0:16:55.659,0:16:57.673
para nos ajudar a tomar decisões melhores.

0:16:57.697,0:17:03.029
Mas temos de reconhecer[br]nossa responsabilidade moral para julgar,

0:17:03.053,0:17:05.871
e usar os algoritmos[br]dentro desse espectro,

0:17:05.895,0:17:10.830
não como uma forma de abdicar de nossas[br]responsabilidades ou terceirizá-las,

0:17:10.854,0:17:13.558
como se fosse de um ser humano para outro.

0:17:13.807,0:17:16.416
A inteligência artificial está aí.

0:17:16.440,0:17:19.861
Isso significa que vamos[br]ter de nos agarrar firmemente

0:17:19.885,0:17:22.032
aos valores e à ética humanos.

0:17:22.056,0:17:23.210
Obrigada.

0:17:23.234,0:17:26.324
(Aplausos) (Vivas)