0:00:01.567,0:00:04.880
Comecei a trabalhar[br]como programadora informática

0:00:04.913,0:00:07.126
no meu primeiro ano de faculdade

0:00:07.160,0:00:08.829
— basicamente uma adolescente.

0:00:08.889,0:00:10.840
Pouco depois de começar a trabalhar,

0:00:10.892,0:00:12.750
a programar software numa empresa.

0:00:12.799,0:00:16.434
um gestor que trabalhava na empresa

0:00:16.458,0:00:18.154
veio ter comigo e segredou-me:

0:00:18.229,0:00:21.251
"Ele consegue saber se eu estou a mentir?"

0:00:21.806,0:00:24.149
Não havia mais ninguém na sala.

0:00:25.032,0:00:29.706
"Quem poderá saber que você está a mentir?[br]Porque é que está a segredar?"

0:00:30.266,0:00:33.373
O gestor apontou[br]para o computador na sala.

0:00:33.482,0:00:36.978
"Ele consegue saber se eu estou a mentir?"

0:00:38.517,0:00:41.975
Aquele gestor tinha[br]um caso romântico com a rececionista.

0:00:42.103,0:00:43.311
(Risos)

0:00:43.335,0:00:45.119
Eu ainda era uma adolescente.

0:00:45.447,0:00:47.570
Por isso, sussurrei-gritei:

0:00:47.690,0:00:51.114
"Sim, o computador sabe[br]que você está a mentir."

0:00:51.242,0:00:52.877
(Risos)

0:00:52.968,0:00:55.995
Bem, eu ri-me, mas, na verdade,[br]hoje riem-se de mim.

0:00:56.760,0:00:59.344
Hoje em dia, há sistemas informáticos

0:00:59.407,0:01:02.955
que conseguem detetar[br]estados emocionais e mesmo a mentira

0:01:02.998,0:01:05.145
processando apenas os rostos humanos.

0:01:05.248,0:01:09.724
Os publicitários e mesmo os governos[br]estão muito interessados nesta tecnologia.

0:01:10.319,0:01:12.342
Tornei-me programadora informática

0:01:12.385,0:01:15.394
porque era uma criança[br]louca por matemática e ciências.

0:01:15.942,0:01:19.145
Mas, ao longo do caminho[br]descobri as armas nucleares

0:01:19.197,0:01:22.026
e fiquei muito preocupada[br]com a ética da ciência.

0:01:22.056,0:01:23.454
Fiquei perturbada.

0:01:23.487,0:01:26.176
No entanto, [br]devido a circunstâncias familiares,

0:01:26.219,0:01:29.241
também precisava de começar a trabalhar[br]o mais cedo possível.

0:01:29.369,0:01:32.602
Então pensei:[br]"Bem, vou escolher uma área técnica

0:01:32.654,0:01:34.603
"onde facilmente consiga um emprego

0:01:34.646,0:01:38.702
"e onde não tenha que lidar[br]com essas questões incómodas da ética".

0:01:39.022,0:01:40.665
Escolhi a informática.

0:01:40.746,0:01:41.917
(Risos)

0:01:41.960,0:01:45.460
Bem, ha, ha, ha![br]Riam-se todos de mim.

0:01:45.551,0:01:48.614
Hoje, os cientistas de informática[br]estão a construir plataformas

0:01:48.643,0:01:52.390
que controlam o que mil milhões[br]de pessoas veem todos os dias.

0:01:53.052,0:01:57.102
Estão a desenvolver carros[br]que podem decidir quem atropelar.

0:01:57.707,0:02:01.309
Estão inclusive a construir[br]máquinas, armas,

0:02:01.360,0:02:03.448
que poderão matar[br]seres humanos, em guerras.

0:02:03.519,0:02:06.166
Há ética por todo o lado.

0:02:07.183,0:02:09.517
A inteligência artificial já chegou.

0:02:09.823,0:02:13.297
Estamos a usar a informática[br]para tomar todo o tipo de decisões,

0:02:13.321,0:02:15.378
mas também novos tipos de decisões.

0:02:15.440,0:02:20.403
Estamos a fazer perguntas[br]que não têm uma resposta certa,

0:02:20.427,0:02:21.829
que são subjetivas,

0:02:21.876,0:02:24.216
estão em aberto e assentam em valores.

0:02:24.259,0:02:25.950
Fazemos perguntas como:

0:02:26.220,0:02:28.134
"Quem é que a empresa deve contratar?"

0:02:28.219,0:02:30.635
"Que notícias de que amigo[br]devemos mostrar?"

0:02:30.900,0:02:33.487
"Qual o prisioneiro[br]que reincidirá mais facilmente?""

0:02:33.514,0:02:36.568
"Que notícia ou filme[br]deve ser recomendado?"

0:02:36.839,0:02:39.964
Sim, já utilizamos[br]os computadores há algum tempo,

0:02:39.988,0:02:41.638
mas isto é diferente.

0:02:41.671,0:02:43.719
Esta é uma mudança histórica,

0:02:43.762,0:02:46.838
porque não podemos[br]apoiar-nos na informática

0:02:46.876,0:02:49.133
para decisões tão subjetivas,

0:02:49.171,0:02:51.567
do mesmo modo que podemos[br]apoiar-nos na informática

0:02:51.625,0:02:54.691
para pôr aviões no ar,[br]para construir pontes,

0:02:54.710,0:02:56.360
para voar até à lua.

0:02:56.449,0:02:59.708
Os aviões são mais seguros?[br]Será que a ponte vai balançar e cair?

0:02:59.827,0:03:04.325
Nestes casos, chegámos a acordo[br]sobre referências bastante claras,

0:03:04.358,0:03:06.721
tendo as leis da natureza para nos guiar.

0:03:06.774,0:03:10.530
Não temos esses apoios e referências

0:03:10.569,0:03:14.590
para as decisões sobre[br]os complexos assuntos humanos.

0:03:14.531,0:03:18.254
Para complicar ainda mais,[br]o software está cada vez mais poderoso,

0:03:18.306,0:03:21.956
mas também está a ficar[br]menos transparente e mais complexo.

0:03:22.542,0:03:24.743
Recentemente, na última década,

0:03:24.815,0:03:27.335
os algoritmos complexos[br]alcançaram grandes feitos.

0:03:27.492,0:03:29.625
Conseguem reconhecer rostos humanos.

0:03:29.985,0:03:32.259
Podem decifrar a caligrafia.

0:03:32.436,0:03:35.711
Detetam fraudes de cartões de crédito[br]e bloqueiam "spam".

0:03:35.758,0:03:37.776
Conseguem traduzir idiomas.

0:03:37.800,0:03:40.374
Conseguem detetar [br]tumores em imagens médicas.

0:03:40.398,0:03:42.869
Vencem os humanos no xadrez e no "Go".

0:03:43.264,0:03:45.622
Grande parte deste progresso obteve-se

0:03:45.679,0:03:48.175
com o método chamado[br]"aprendizagem de máquina."

0:03:48.289,0:03:51.590
A "aprendizagem de máquina"[br]é diferente da programação tradicional,

0:03:51.638,0:03:55.275
na qual se dá ao computador instruções[br]detalhadas, meticulosas e exatas.

0:03:55.378,0:03:59.607
Com este novo método, disponibilizam-se[br]grandes quantidades de dados ao sistema,

0:03:59.650,0:04:01.459
— incluindo dados não estruturados,

0:04:01.483,0:04:03.761
como os que geramos[br]na nossa vida digital.

0:04:03.794,0:04:06.457
O sistema aprende[br]analisando esses dados.

0:04:06.669,0:04:08.328
Para além disso,

0:04:08.380,0:04:12.599
estes sistemas não funcionam[br]sob uma lógica de resposta única.

0:04:12.746,0:04:15.820
Não produzem uma resposta única;[br]é mais probabilista:

0:04:15.882,0:04:19.327
"Isto, provavelmente,[br]está mais próximo do que procura."

0:04:20.118,0:04:23.640
A vantagem é que[br]este método é muito poderoso.

0:04:23.117,0:04:25.754
O chefe de sistemas da IA[br]do Google, chamou-lhe:

0:04:25.850,0:04:27.709
"A eficácia irracional dos dados".

0:04:27.791,0:04:29.534
A desvantagem é que

0:04:29.738,0:04:32.809
não entendemos concretamente[br]o que o sistema aprendeu.

0:04:32.833,0:04:34.705
Na verdade, é essa a sua força.

0:04:34.946,0:04:38.972
É menos como dar instruções ao computador

0:04:39.238,0:04:43.416
e mais como treinar[br]um filhote de máquina-criatura

0:04:43.506,0:04:45.849
que não entendemos nem controlamos.

0:04:46.362,0:04:48.236
Portanto, este é o problema.

0:04:48.427,0:04:52.517
É problemático quando a IA[br]compreende mal as coisas.

0:04:52.713,0:04:56.491
É também um problema[br]quando as compreende bem,

0:04:56.524,0:05:00.200
porque nem sabemos o que é o quê[br]quando se trata de um problema subjetivo.

0:05:00.262,0:05:02.829
Nós não sabemos [br]o que a máquina está a pensar.

0:05:03.493,0:05:07.356
Assim, considerem[br]um algoritmo de contratação

0:05:08.123,0:05:12.557
— um sistema usado para contratar pessoas,[br]utilizando a aprendizagem de máquina.

0:05:13.052,0:05:16.631
Tal sistema teria sido treinado[br]com dados dos empregados anteriores

0:05:16.655,0:05:19.569
e instruído para encontrar[br]e contratar pessoas

0:05:19.607,0:05:22.546
semelhantes aos melhores profissionais[br]da empresa.

0:05:22.814,0:05:23.866
Parece bem.

0:05:24.190,0:05:26.161
Uma vez, fui a uma conferência

0:05:26.194,0:05:29.073
que juntou gestores[br]de recursos humanos e executivos.

0:05:29.088,0:05:31.959
Pessoas de alto nível, que usam[br]esses sistemas para contratar

0:05:31.995,0:05:33.850
Estavam super entusiasmados,

0:05:33.893,0:05:38.403
Achavam que isto tornaria a contratação[br]mais objetiva, menos tendenciosa,

0:05:38.437,0:05:41.323
e daria mais hipóteses[br]às mulheres e minorias,

0:05:41.347,0:05:43.706
ao contrário dos gestores[br]de RH tendenciosos.

0:05:43.749,0:05:46.630
Notem, a contratação humana[br]é tendenciosa.

0:05:47.099,0:05:48.407
Eu bem sei.

0:05:48.536,0:05:51.551
Num dos meus primeiros empregos[br]como programadora,

0:05:51.632,0:05:55.357
a minha chefe imediata,[br]às vezes vinha ter comigo,

0:05:55.400,0:05:58.982
muito cedo de manhã[br]ou muito ao final da tarde,

0:05:59.006,0:06:02.068
e dizia:[br]"Zeynep, vamos almoçar!"

0:06:02.724,0:06:05.110
Eu ficava intrigada[br]com aquele horário estranho.

0:06:05.162,0:06:07.253
São 16 horas. Almoço?

0:06:07.296,0:06:10.457
Como estava sem dinheiro [br]— almoço grátis — aceitava sempre.

0:06:10.618,0:06:12.799
Mais tarde percebi porquê:

0:06:12.880,0:06:17.255
Os meus chefes diretos[br]não tinham informado os superiores

0:06:17.279,0:06:19.802
que o programador contratado[br]para um trabalho sério

0:06:19.802,0:06:21.619
era uma garota adolescente

0:06:21.619,0:06:24.812
que usava "jeans" e ténis para trabalhar.

0:06:24.888,0:06:27.804
Eu fazia um bom trabalho,[br]mas tinha um aspeto não convencional

0:06:27.861,0:06:29.527
e tinha a idade e sexo errados.

0:06:29.575,0:06:32.659
Logo, contratar sem olhar[br]ao sexo e à etnia

0:06:32.693,0:06:34.796
claro que me soa bem.

0:06:35.031,0:06:38.581
Mas com estes sistemas,[br]é mais complicado. E porquê?

0:06:38.968,0:06:41.602
Atualmente, os sistemas informáticos

0:06:41.640,0:06:44.783
conseguem inferir [br]todo o tipo de coisas sobre a pessoa

0:06:44.783,0:06:46.778
a partir das suas migalhas digitais,

0:06:46.821,0:06:49.421
mesmo que a pessoa não tenha[br]divulgado essas coisas.

0:06:49.506,0:06:52.661
Conseguem inferir [br]a sua orientação sexual,

0:06:52.994,0:06:54.709
os seus traços de personalidade,

0:06:54.859,0:06:56.612
as inclinações políticas.

0:06:56.830,0:07:00.515
Conseguem prever[br]com elevados níveis de precisão.

0:07:01.362,0:07:04.187
Notem... coisas que nem sequer[br]divulgámos conscientemente.

0:07:04.230,0:07:05.745
Isto é dedução.

0:07:05.798,0:07:08.887
Tenho uma amiga que desenvolveu[br]esses sistemas informáticos,

0:07:08.940,0:07:12.571
para prever a probabilidade[br]de depressão clínica ou pós-parto

0:07:12.633,0:07:14.592
a partir de dados de redes sociais.

0:07:14.676,0:07:16.464
Os resultados são impressionantes.

0:07:16.492,0:07:19.849
O sistema consegue prever[br]a probabilidade de depressão

0:07:19.873,0:07:23.776
meses antes do início[br]de quaisquer sintomas

0:07:23.800,0:07:25.173
— meses antes.

0:07:25.368,0:07:27.452
Não há sintomas. Há previsão.

0:07:27.828,0:07:32.602
Ela espera que isso seja usado[br]para intervenção precoce. Ótimo!

0:07:32.911,0:07:35.627
Mas agora coloquem isto[br]no contexto da contratação.

0:07:36.027,0:07:39.196
Na conferência de gestores[br]de recursos humanos,

0:07:39.277,0:07:44.691
aproximei-me de uma gestora de alto nível[br]de uma grande empresa e disse-lhe:

0:07:45.172,0:07:48.550
"O que acha se, sem o seu conhecimento,

0:07:48.603,0:07:55.181
"o seu sistema estiver a excluir pessoas[br]com alto risco de futura depressão?

0:07:55.761,0:07:59.546
"Não estão deprimidas agora,[br]mas talvez no futuro, seja mais provável.

0:07:59.923,0:08:03.443
"E se está a excluir as mulheres[br]com maior probabilidade de engravidar

0:08:03.486,0:08:06.596
"dentro de um ou dois anos[br]mas que não estão grávidas agora?

0:08:06.844,0:08:12.527
"E se está a contratar pessoas agressivas[br]porque essa é a cultura da empresa?

0:08:12.982,0:08:15.937
"Não nos apercebemos disso[br]olhando par a repartição por sexos.

0:08:15.937,0:08:17.728
Aí até pode estar equilibrado.

0:08:17.766,0:08:21.180
Como isto é aprendizagem de máquina,[br]e não codificação tradicional,

0:08:21.204,0:08:25.787
não há lá nenhuma variável[br]intitulada "maior risco de depressão",

0:08:25.859,0:08:27.873
"maior risco de gravidez",

0:08:27.906,0:08:29.831
"escala de agressividade".

0:08:29.995,0:08:33.578
Não só não se sabe[br]o que é que o sistema está a selecionar,

0:08:33.698,0:08:36.020
como não se sabe[br]por onde começar a procurar.

0:08:36.110,0:08:37.595
É uma caixa preta.

0:08:37.648,0:08:40.416
Tem poder preditivo,[br]mas não conseguimos entendê-la.

0:08:40.486,0:08:43.640
"Que garantia você tem", perguntei,

0:08:43.970,0:08:46.780
"de que a sua caixa negra[br]não está a fazer algo sombrio?"

0:08:48.863,0:08:52.683
Ela olhou para mim[br]como se eu a tivesse ofendido.

0:08:52.765,0:08:54.013
(Risos)

0:08:54.037,0:08:56.335
Olhou para mim e disse:

0:08:56.556,0:09:00.936
"Não quero ouvir[br]nem mais uma palavra sobre isso."

0:09:01.308,0:09:03.862
Virou-me as costas e foi-se embora.

0:09:04.064,0:09:06.692
Ela não foi indelicada. [br]Foi claramente:

0:09:06.840,0:09:11.882
"O que eu não sei, não é problema meu.[br]Desapareça." Olhar de morte.

0:09:12.153,0:09:13.399
(Risos)

0:09:13.862,0:09:17.701
Notem que estes sistemas[br]podem ser menos tendenciosos

0:09:17.725,0:09:19.923
do que os gestores humanos,[br]nalguns aspetos.

0:09:19.975,0:09:22.435
E isso pode fazer sentido economicamente.

0:09:22.573,0:09:24.489
Mas também pode levar

0:09:24.537,0:09:28.995
ao fecho constante mas furtivo[br]do mercado de trabalho

0:09:29.019,0:09:31.512
para as pessoas[br]com maior risco de depressão.

0:09:31.753,0:09:34.349
Será este o tipo de sociedade[br]que queremos construir,

0:09:34.373,0:09:36.658
sem sequer saber que o fizemos,

0:09:36.682,0:09:39.331
porque demos às máquinas[br]a tomada de decisões

0:09:39.331,0:09:41.331
que não compreendemos totalmente?

0:09:41.465,0:09:43.113
Outro problema é o seguinte:

0:09:43.314,0:09:47.766
estes sistemas são treinados frequentemente[br]com dados gerados pelas nossas ações,

0:09:47.790,0:09:49.843
impressões humanas.

0:09:50.188,0:09:53.996
Assim, poderão estar[br]a refletir os nossos preconceitos.

0:09:54.020,0:09:57.613
poderão estar [br]a aprender os nossos preconceitos,

0:09:57.637,0:10:00.407
a amplificá-los e a mostrá-los de novo,

0:10:00.416,0:10:02.680
enquanto nós pensamos:

0:10:02.102,0:10:04.942
"Estamos a ser objetivos,[br]a informática é neutra".

0:10:06.314,0:10:09.343
Investigadores verificaram que, no Google,

0:10:10.134,0:10:13.263
os anúncios para empregos[br]com salários elevados[br]

0:10:13.263,0:10:16.272
aparecem mais para homens[br]do que para mulheres.

0:10:16.463,0:10:19.780
E se procurarmos nomes de afro-americano

0:10:19.131,0:10:23.723
encontramos mais resultados de anúncios[br]sugerindo antecedentes criminais,

0:10:23.747,0:10:25.733
mesmo quando não há nenhum.

0:10:26.693,0:10:30.242
Estes preconceitos escondidos[br]e algoritmos de caixa-negra

0:10:30.266,0:10:34.343
que os investigadores por vezes descobrem,[br]mas que por vezes nós não descobrimos,

0:10:34.396,0:10:37.124
podem ter consequências[br]capazes de mudar uma vida.

0:10:37.958,0:10:42.231
No Wisconsin, um réu[br]foi condenado a seis anos de prisão

0:10:42.274,0:10:43.962
por fugir da polícia.

0:10:44.824,0:10:46.124
Podem não saber,

0:10:46.186,0:10:47.798
mas os algoritmos são utilizados

0:10:47.836,0:10:50.389
para a liberdade condicional [br]e as condenações.

0:10:50.484,0:10:53.468
Este réu queria saber[br]como era calculada a pontuação.

0:10:53.795,0:10:55.679
É uma caixa preta comercial.

0:10:55.712,0:11:00.136
A empresa recusou-se a ver o seu algoritmo[br]questionado em tribunal aberto.

0:11:00.396,0:11:04.313
Mas a ProPublica, uma agência[br]de investigação sem fins lucrativos,

0:11:04.361,0:11:07.942
auditou esse algoritmo[br]com os dados públicos que encontrou,

0:11:07.992,0:11:10.774
e descobriu que os resultados[br]eram tendenciosos

0:11:10.822,0:11:13.961
e o poder de previsão[br]era pouco melhor que o acaso.

0:11:14.320,0:11:18.401
E que estava a sinalizar erradamente[br]réus negros como futuros criminosos

0:11:18.425,0:11:22.320
duas vezes mais do que réus brancos.

0:11:23.891,0:11:25.883
Considerem o seguinte caso:

0:11:26.103,0:11:29.955
Esta mulher estava atrasada[br]para ir buscar a afilhada

0:11:30.261,0:11:32.530
a uma escola no condado[br]de Broward, Flórida

0:11:32.757,0:11:35.113
e corria pela rua abaixo com uma amiga.

0:11:35.232,0:11:39.236
Avistaram uma bicicleta e uma scooter,[br]não amarradas, numa varanda

0:11:39.260,0:11:41.187
e, parvoíce... levaram-nas.

0:11:41.211,0:11:43.895
Quando estavam a acelerar,[br]apareceu uma mulher que disse:

0:11:43.972,0:11:46.770
"Ei! Essa bicicleta é do meu filho!"

0:11:46.120,0:11:49.204
Largaram-nas e seguiram caminho,[br]mas acabaram por ser presas.

0:11:49.276,0:11:52.846
Foi errado, foi uma parvoíce,[br]mas ela só tinha 18 anos.

0:11:52.947,0:11:55.452
Tinha alguns delitos juvenis.

0:11:55.808,0:11:57.797
Entretanto, aquele homem

0:11:57.845,0:12:01.112
já tinha sido preso[br]por furto no Home Depot

0:12:01.159,0:12:04.226
— um roubo de 85 dólares,[br]um crime menor.

0:12:04.766,0:12:09.734
Mas, para além disso, já tinha[br]duas sentenças por assalto à mão armada.

0:12:09.955,0:12:13.703
Mas o algoritmo marcou-a[br]como de alto risco, e não a ele.

0:12:14.746,0:12:18.343
Dois anos depois, a ProPublica verificou[br]que ela não tinha reincidido,

0:12:18.358,0:12:21.489
mas tinha dificuldade em conseguir[br]um emprego, devido ao cadastro.

0:12:21.522,0:12:23.474
Ele, por outro lado, reincidiu

0:12:23.508,0:12:27.592
e agora está a cumprir pena de oito anos[br]por um crime cometido mais tarde.

0:12:28.088,0:12:31.457
Necessitamos, claramente, [br]de auditar as nossas caixas-negras

0:12:31.481,0:12:33.991
e não deixá-las ter[br]este poder sem controlo.

0:12:34.215,0:12:36.767
(Aplausos)

0:12:38.087,0:12:42.329
As auditorias são ótimas e importantes,[br]mas não solucionam todos os problemas.

0:12:42.391,0:12:45.205
Considerem o poderoso algoritmo[br]de notícias do Facebook,

0:12:45.258,0:12:49.206
aquele que classifica[br]e decide tudo o que vos mostram

0:12:49.601,0:12:52.276
de todos os amigos e das páginas[br]que vocês seguem.

0:12:52.898,0:12:55.173
Deverão mostrar-vos[br]outra foto de um bebé?

0:12:55.235,0:12:56.469
(Risos)

0:12:56.550,0:12:59.241
Uma nota mal-humorado de um conhecido?

0:12:59.449,0:13:01.409
Uma notícia importante, [br]mas incomodativa?

0:13:01.462,0:13:03.100
Não há uma resposta certa.

0:13:03.440,0:13:05.817
O Facebook otimiza[br]para manter-vos ligado ao site:

0:13:05.860,0:13:07.656
"likes", partilhas, comentários.

0:13:07.758,0:13:10.864
Em agosto de 2014,

0:13:10.888,0:13:13.550
estalaram manifestações[br]em Ferguson, no Missouri,

0:13:13.574,0:13:17.991
após a morte de um jovem afro-americano[br]infligida por um polícia branco,

0:13:18.015,0:13:19.870
em circunstâncias pouco claras.

0:13:19.974,0:13:22.457
As notícias dos protestos[br]apareceram de todos o lados

0:13:22.504,0:13:25.147
na minha conta de Twitter[br]sem filtro de algoritmos,

0:13:25.171,0:13:27.178
mas em parte alguma no meu Facebook.

0:13:27.225,0:13:29.154
Foram os meus amigos no Facebook?

0:13:29.197,0:13:31.343
Desativei o algoritmo do Facebook

0:13:31.376,0:13:34.529
— o que é difícil, pois o Facebook[br]insiste em voltar a incluir-nos

0:13:34.572,0:13:36.456
sob o controlo do algoritmo —

0:13:36.499,0:13:38.775
e vi que os meus amigos falavam disso.

0:13:38.808,0:13:41.175
O algoritmo é que[br]não me mostrava essa informação.

0:13:41.199,0:13:44.880
Fiz pesquisas e verifiquei[br]que era um problema generalizado.

0:13:44.265,0:13:47.973
A história de Ferguson[br]não agradava ao algoritmo.

0:13:48.160,0:13:49.530
Não era "simpática".

0:13:49.563,0:13:51.363
Quem ia clicar em "Gosto"?"

0:13:51.500,0:13:53.706
Nem é fácil de comentar.

0:13:53.730,0:13:55.443
Sem "gosto" e sem comentários,

0:13:55.481,0:13:58.417
o algoritmo, provavelmente,[br]mostrá-la-ia a menos pessoas,

0:13:58.441,0:14:00.459
e assim nós não a conseguimos ver.

0:14:00.946,0:14:02.374
Em vez disso, nessa semana,

0:14:02.416,0:14:04.696
o algoritmo do Facebook destacava isto,

0:14:04.739,0:14:06.936
o Desafio do Balde de Água Gelada.

0:14:06.970,0:14:10.645
Uma causa digna: despejar água gelada;[br]doar para a caridade. Tudo bem.

0:14:10.697,0:14:13.780
Mas, para o algoritmo, era super amigável.

0:14:13.219,0:14:15.670
A máquina tomou essa decisão por nós.

0:14:15.856,0:14:19.353
Uma conversa muito importante[br]mas também difícil

0:14:19.377,0:14:21.132
poderia ter sido abafada,

0:14:21.184,0:14:23.985
se o Facebook fosse o único canal.

0:14:24.117,0:14:27.914
Finalmente, estes sistemas[br]também podem cometer erros

0:14:27.938,0:14:30.674
diferentes dos erros dos sistemas humanos.

0:14:30.698,0:14:33.705
Lembram-se do Watson,[br]a máquina de IA da IBM

0:14:33.739,0:14:36.972
que eliminou os concorrentes[br]humanos no Jeopardy?

0:14:37.131,0:14:38.711
Foi um grande jogador.

0:14:38.754,0:14:42.152
Mas depois, na final do Jeopardy,[br]quando perguntaram ao Watson:

0:14:42.535,0:14:45.591
"O maior aeroporto com o nome[br]de um herói da II Guerra Mundial,

0:14:45.615,0:14:48.819
"o segundo maior com o nome[br]de uma batalha da II Guerra Mundial."

0:14:49.705,0:14:50.897
Chicago.

0:14:50.968,0:14:52.596
Os dois seres humanos acertaram.

0:14:52.697,0:14:56.873
Watson, por outro lado,[br]respondeu "Toronto"

0:14:57.069,0:14:59.467
— para uma pergunta sobre cidades dos EUA!

0:14:59.596,0:15:02.649
O impressionante sistema[br]também cometeu um erro

0:15:02.711,0:15:06.591
que um ser humano nunca iria fazer,[br]que uma criança do 1.º ciclo não faria.

0:15:06.823,0:15:09.951
A inteligência artificial pode falhar

0:15:09.975,0:15:13.246
de formas que não se encaixam[br]nos padrões de erro dos seres humanos.

0:15:13.289,0:15:16.030
de formas inesperadas e imprevistas.

0:15:16.158,0:15:19.692
Seria péssimo não conseguir um emprego[br]para o qual estamos qualificados,

0:15:19.716,0:15:23.443
mas seria três vezes pior[br]se fosse por causa de um erro

0:15:23.467,0:15:25.422
de processamento de alguma sub-rotina.

0:15:25.475,0:15:26.692
(Risos)

0:15:26.754,0:15:29.312
Em maio de 2010,

0:15:29.336,0:15:33.560
um acidente relâmpago em Wall Street[br]provocado por uma auto alimentação

0:15:33.623,0:15:36.593
no algoritmo de "vender", em Wall Street,

0:15:36.627,0:15:40.840
fez perder um bilião de dólares[br]em 36 minutos.

0:15:41.722,0:15:44.800
Eu nem quero pensar[br]o que significa "erro"

0:15:44.123,0:15:47.645
no contexto de armas mortais autónomas.

0:15:49.894,0:15:53.684
Sim. Os seres humanos[br]sempre alimentaram preconceitos.

0:15:53.708,0:15:55.960
Quem toma decisões e controla

0:15:56.300,0:16:00.277
nos tribunais, nas notícias, na guerra ...[br]comete erros.

0:16:00.358,0:16:02.624
É esse exatamente o meu ponto.

0:16:02.687,0:16:06.188
Nós não podemos fugir[br]destas perguntas difíceis.

0:16:06.596,0:16:10.188
Não podemos atribuir [br]as nossas responsabilidades às máquinas.

0:16:11.247,0:16:14.398
(Aplausos)

0:16:17.089,0:16:21.536
A inteligência artificial não nos dá[br]um cartão "Liberte-se da ética".

0:16:22.742,0:16:26.123
O cientista de dados Fred Benenson[br]chama-lhe "lavagem de matemática".

0:16:26.147,0:16:27.840
Precisamos é do oposto.

0:16:27.912,0:16:32.995
Temos de cultivar algoritmos de suspeita,[br]de análise e de investigação.

0:16:33.265,0:16:36.787
Precisamos de garantir que assumimos[br]a responsabilidade dos algoritmos,

0:16:36.830,0:16:39.199
da auditoria e da transparência relevante.

0:16:39.380,0:16:42.775
Precisamos de aceitar[br]que trazer a matemática e a informática

0:16:42.780,0:16:45.750
para os assuntos humanos,[br]complicados e carregados de valores,

0:16:45.793,0:16:48.016
não nos dá objetividade.

0:16:48.201,0:16:51.891
Em vez disso, a complexidade[br]dos assuntos humanos invade os algoritmos.

0:16:52.148,0:16:55.635
Sim, podemos e devemos usar a informática

0:16:55.659,0:16:57.758
para nos ajudar a tomar melhores decisões.

0:16:57.830,0:17:03.029
Mas temos que assumir [br]a responsabilidade moral do julgamento.

0:17:03.053,0:17:05.871
e usar os algoritmos nesse âmbito,

0:17:05.895,0:17:10.829
não como um meio para abdicar[br]e subcontratar a nossa responsabilidade

0:17:10.854,0:17:13.479
de ser humano para ser humano.

0:17:13.807,0:17:16.415
A inteligência artificial já chegou.

0:17:16.440,0:17:19.861
O que significa que mais que nunca[br]temos de nos agarrar afincadamente

0:17:19.885,0:17:22.031
aos valores e à ética humana.

0:17:22.151,0:17:23.286
Obrigada.

0:17:23.356,0:17:26.453
(Aplausos)