0:00:00.975,0:00:03.071
Os algoritmos estão em todo o lado.

0:00:04.111,0:00:07.236
Eles classificam e separam[br]os vencedores dos perdedores.

0:00:08.019,0:00:10.283
Os vencedores ficam com o emprego

0:00:10.283,0:00:12.306
ou uma boa oferta[br]para o cartão de crédito.

0:00:12.306,0:00:14.701
Os que perdem nem sequer vão à entrevista

0:00:15.590,0:00:17.367
mas pagam mais pelo seguro.

0:00:18.197,0:00:21.746
Estamos a ser marcados[br]com fórmulas secretas que não entendemos

0:00:22.675,0:00:25.892
e que, muitas vezes,[br]não têm sistemas de recurso.

0:00:27.240,0:00:28.536
Isto traz-nos a pergunta:

0:00:28.560,0:00:31.473
E se os algoritmos estão errados?

0:00:33.100,0:00:35.140
Para criar um algoritmo é preciso:

0:00:35.164,0:00:37.145
dados — o que aconteceu no passado;

0:00:37.169,0:00:38.730
e uma definição de sucesso,

0:00:38.754,0:00:41.371
aquilo de que estamos à procura[br]e que queremos atingir.

0:00:41.411,0:00:46.272
Um algoritmo treina-se[br]com a procura, com a descoberta.

0:00:46.296,0:00:49.715
O algoritmo descobre[br]o que está associado ao sucesso.

0:00:49.739,0:00:52.202
Qual a situação que leva ao sucesso?

0:00:52.881,0:00:54.643
Na verdade, todos usam algoritmos.

0:00:54.667,0:00:57.385
Só que as pessoas não os formalizam[br]em código escrito.

0:00:57.409,0:00:58.757
Deixem-me dar um exemplo.

0:00:58.781,0:01:02.097
Eu uso um algoritmo todos os dias[br]para cozinhar para a minha família.

0:01:02.121,0:01:03.597
Os dados que eu uso

0:01:04.394,0:01:06.053
são os ingredientes que tenho,

0:01:06.077,0:01:07.604
o tempo disponível,

0:01:07.628,0:01:08.861
a minha ambição,

0:01:08.885,0:01:10.594
e junto esses dados todos.

0:01:10.618,0:01:14.869
Não contabilizo aqueles pacotes pequenos[br]de "noodles" como comida.

0:01:14.893,0:01:16.762
(Risos)

0:01:16.786,0:01:18.631
A minha definição de sucesso é:

0:01:18.655,0:01:21.314
a refeição é conseguida[br]se os filhos comerem vegetais.

0:01:22.181,0:01:25.035
Seria diferente se o meu filho[br]mais novo fosse o responsável.

0:01:25.059,0:01:27.847
Ele diria que o sucesso[br]seria ele comer muita Nutella.

0:01:29.179,0:01:31.405
Mas eu posso escolher o sucesso.

0:01:31.429,0:01:34.136
Sou eu a responsável.[br]A minha opinião conta.

0:01:34.160,0:01:36.835
Essa é a primeira regra[br]dos algoritmos.

0:01:36.859,0:01:40.039
Os algoritmos são opiniões[br]embutidas em código.

0:01:41.562,0:01:45.225
É muito diferente daquilo que muitos[br]pensam sobre este assunto.

0:01:45.249,0:01:49.753
As pessoas pensam que os algoritmos[br]são objetivos, verdadeiros e científicos.

0:01:50.387,0:01:52.086
Isso é um truque de "marketing".

0:01:53.269,0:01:55.394
O que também é um truque

0:01:55.418,0:01:58.572
é o facto de os algoritmos[br]nos intimidarem,

0:01:58.596,0:02:02.257
para nos fazer ter confiança[br]e medo deles,

0:02:02.281,0:02:04.299
porque confiamos[br]e receamos a matemática.

0:02:05.567,0:02:10.397
Muita coisa pode correr mal[br]se confiarmos cegamente nos "big data".

0:02:11.684,0:02:15.057
Esta é Kiri Soares e é diretora[br]de uma escola secundária em Brooklyn.

0:02:15.081,0:02:17.667
Em 2011, ela disse-me que[br]os professores eram avaliados

0:02:17.691,0:02:20.418
com um algoritmo secreto e complexo

0:02:20.442,0:02:22.331
chamado "modelo de valor acrescentado".

0:02:22.505,0:02:25.597
Eu disse-lhe:[br]"Bem, se descobrir a fórmula, mostre-ma".

0:02:25.621,0:02:27.162
"Eu explico-lha".

0:02:27.186,0:02:29.327
Ela respondeu: "Bom, eu tentei obtê-la"

0:02:29.351,0:02:32.123
"mas o Departamento de Educação[br]disse que era matemática"

0:02:32.147,0:02:33.693
"e que eu não iria entendê-la".

0:02:35.266,0:02:36.604
E ainda é pior.

0:02:36.628,0:02:40.158
O jornal "The New York Post" invocou[br]a lei da Liberdade de Informação,

0:02:40.182,0:02:43.141
reuniu os nomes de todos os professores[br]e os seus resultados

0:02:43.165,0:02:46.857
e publicou todas essas informações[br]como forma de envergonhar os professores.

0:02:47.084,0:02:50.944
Quando tentei aceder às fórmulas,[br]ao código-fonte, através dos mesmos meios,

0:02:50.968,0:02:53.117
disseram-me que não podia fazê-lo.

0:02:53.141,0:02:54.377
Foi-me negado.

0:02:54.401,0:02:55.575
Mais tarde, descobri

0:02:55.599,0:02:58.465
que ninguém em Nova Iorque[br]teve acesso a essa fórmula.

0:02:58.489,0:02:59.794
Ninguém a percebia.

0:03:01.929,0:03:05.153
Então, envolveu-se um tipo[br]muito inteligente: Gary Rubenstein.

0:03:05.177,0:03:08.798
Ele descobriu 665 professores,[br]através dos dados publicados no jornal,

0:03:08.822,0:03:10.688
que tiveram dois resultados diferentes.

0:03:10.712,0:03:12.593
Podia acontecer[br]se estivessem a lecionar

0:03:12.617,0:03:15.056
matemática de sétimo[br]e matemática de oitavo ano.

0:03:15.080,0:03:16.998
Decidiu representá-los graficamente

0:03:17.012,0:03:18.995
em que cada ponto representa[br]um professor.

0:03:19.104,0:03:21.163
(Risos)

0:03:21.507,0:03:22.988
O que é isto?

0:03:23.052,0:03:24.329
(Risos)

0:03:24.353,0:03:27.799
Isto nunca poderia ter sido usado[br]para uma avaliação individual.

0:03:27.823,0:03:29.749
É como um gerador[br]de números aleatórios.

0:03:29.773,0:03:32.719
(Aplausos)

0:03:32.743,0:03:33.905
Mas foi utilizado.

0:03:33.929,0:03:35.105
Esta é Sarah Wysocki.

0:03:35.129,0:03:37.304
Foi despedida,[br]juntamente com 205 professores

0:03:37.328,0:03:39.990
de escolas do distrito de Washington, DC,

0:03:40.014,0:03:42.923
embora tivesse excelentes[br]recomendações do seu diretor

0:03:42.947,0:03:44.375
e dos pais dos seus alunos.

0:03:44.930,0:03:46.482
Sei o que muitos estão a pensar,

0:03:46.482,0:03:50.009
sobretudo os cientistas de dados[br]especialistas em Inteligência Artificial.

0:03:50.009,0:03:54.183
Estão a pensar: "Eu nunca faria[br]um algoritmo tão inconsistente".

0:03:54.853,0:03:56.536
Mas os algoritmos podem correr mal,

0:03:56.560,0:04:01.158
chegando a ter efeitos profundamente[br]destrutivos, cheios de boas intenções.

0:04:02.531,0:04:04.910
Enquanto que um avião[br]que é mal arquitetado

0:04:04.934,0:04:06.935
se despenha e todos veem,

0:04:06.959,0:04:08.809
um algoritmo mal projetado

0:04:10.245,0:04:14.110
pode ser utilizado durante muito tempo,[br]causando estragos silenciosamente.

0:04:15.748,0:04:17.318
Este é Roger Ailes.

0:04:17.342,0:04:19.342
(Risos)

0:04:20.524,0:04:22.912
Fundou a Fox News em 1996.

0:04:23.436,0:04:26.017
Mais de 20 mulheres[br]queixaram-se de assédio sexual.

0:04:26.041,0:04:29.276
Diziam que, na Fox News,[br]não lhes era permitido terem sucesso.

0:04:29.300,0:04:31.820
Ailes foi despedido no ano passado,[br]mas, recentemente,

0:04:31.844,0:04:34.514
temos visto que os problemas persistem.

0:04:35.654,0:04:37.054
Isto leva-nos a perguntar:

0:04:37.078,0:04:39.962
O que é que a Fox News deveria fazer[br]para virar a página?

0:04:41.245,0:04:44.286
E se tivessem substituído[br]o seu processo de recrutamento

0:04:44.286,0:04:46.350
por um algoritmo[br]de aprendizagem automática?

0:04:46.380,0:04:47.583
Parece-vos bem, não é?

0:04:47.607,0:04:48.907
Pensem nisso.

0:04:48.931,0:04:51.036
Que dados poderiam ser?

0:04:51.060,0:04:56.007
Uma escolha razoável seriam os currículos[br]recebidos nos últimos 21 anos.

0:04:56.031,0:04:57.533
Razoável.

0:04:57.557,0:04:59.495
E qual seria a definição de sucesso?

0:04:59.921,0:05:01.245
A escolha razoável seria...

0:05:01.269,0:05:03.047
Bem, quem tem sucesso na Fox News?

0:05:03.071,0:05:06.651
Eu diria alguém que lá trabalhou[br]durante quatro anos

0:05:06.675,0:05:08.809
e que foi promovido, pelo menos, uma vez.

0:05:08.816,0:05:10.377
Parece razoável.

0:05:10.401,0:05:12.755
E aí, o algoritmo seria treinado.

0:05:12.779,0:05:16.656
Seria treinado para procurar pessoas[br]e perceber o que levava ao sucesso,

0:05:17.219,0:05:21.537
que tipo de currículos[br]eram propícios a isso,

0:05:21.561,0:05:22.855
seguindo essa definição.

0:05:24.200,0:05:25.975
Pensem no que poderia acontecer

0:05:25.999,0:05:28.554
se o aplicássemos[br]ao conjunto atual de candidaturas.

0:05:29.119,0:05:30.748
Filtraria as mulheres,

0:05:31.663,0:05:35.593
porque não foram as pessoas[br]que tiveram sucesso no passado.

0:05:39.752,0:05:42.289
Os algoritmos não são justos,

0:05:42.313,0:05:45.007
se os aplicarmos[br]de ânimo leve e às cegas.

0:05:45.031,0:05:46.513
Eles não agem com justiça.

0:05:46.537,0:05:48.665
Eles repetem o que fizemos no passado,

0:05:48.689,0:05:49.872
os nossos padrões.

0:05:49.896,0:05:51.835
Eles automatizam o "status quo".

0:05:52.718,0:05:55.107
Isso seria incrível[br]se o mundo fosse perfeito.

0:05:55.905,0:05:57.217
Mas não é.

0:05:57.241,0:06:01.343
E digo-vos mais: a maioria das empresas[br]não têm processos legais em curso,

0:06:02.446,0:06:05.034
mas essas empresas dizem[br]aos seus cientistas de dados

0:06:05.058,0:06:07.247
para seguirem os dados,

0:06:07.271,0:06:09.414
para se focarem na precisão.

0:06:10.273,0:06:11.654
Pensem no que isso significa.

0:06:11.678,0:06:15.705
Como todos temos preconceitos,[br]eles podiam codificar o sexismo

0:06:15.729,0:06:17.565
ou qualquer outro tipo de sectarismo.

0:06:19.488,0:06:20.909
Um exercício intelectual,

0:06:20.933,0:06:22.442
porque gosto de fazer isso:

0:06:23.574,0:06:26.549
uma sociedade inteiramente segregada

0:06:28.247,0:06:31.575
— todas as cidades, os bairros,[br]tudo segregado racialmente —

0:06:31.599,0:06:34.636
e onde só enviamos a polícia[br]a bairros minoritários

0:06:34.660,0:06:35.853
para combater o crime.

0:06:36.451,0:06:38.670
Os dados sobre os detidos[br]seriam tendenciosos.

0:06:39.851,0:06:42.426
E se tivéssemos cientistas de dados[br]para esta situação

0:06:42.450,0:06:46.611
e lhes pagássemos para preverem[br]onde iria ocorrer o crime seguinte?

0:06:47.275,0:06:48.762
Num bairro minoritário.

0:06:49.285,0:06:52.410
Ou para preverem quem seria[br]o criminoso seguinte?

0:06:52.888,0:06:54.283
Alguém da minoria.

0:06:55.949,0:07:00.490
Os cientistas de dados iriam vangloriar-se[br]da eficiência e precisão do seu modelo

0:07:00.835,0:07:02.134
e teriam razão.

0:07:03.951,0:07:08.566
A realidade não é tão drástica,[br]mas temos segregações graves

0:07:08.590,0:07:09.877
em várias cidades e vilas,

0:07:09.901,0:07:11.794
e existem inúmeras provas

0:07:11.818,0:07:14.506
de que os dados do sistema de justiça[br]são tendenciosos.

0:07:15.632,0:07:18.447
E nós prevemos lugares críticos,

0:07:18.471,0:07:20.001
locais onde irão ocorrer crimes.

0:07:20.401,0:07:24.267
E prevemos a criminalidade individual,

0:07:24.291,0:07:26.061
a criminalidade de indivíduos.

0:07:26.972,0:07:30.935
A agência de notícias ProPublica[br]analisou recentemente

0:07:30.959,0:07:32.983
um algoritmo de "risco de reincidência",

0:07:33.007,0:07:34.170
como lhe chamam,

0:07:34.194,0:07:37.388
que os júris usam na Flórida,[br]durante os julgamentos.

0:07:38.411,0:07:41.996
À esquerda, temos Bernard, de cor negra,[br]que teve uma pontuação de 10 em 10.

0:07:43.119,0:07:45.486
Dylan, à direita,[br]teve uma pontuação de 3 em 10.

0:07:45.526,0:07:48.021
10 em 10 é risco elevado. [br]3 em 10 é risco reduzido.

0:07:48.598,0:07:50.983
Foram ambos a julgamento[br]por posse de droga.

0:07:51.007,0:07:52.161
Ambos tinham cadastro,

0:07:52.185,0:07:54.991
mas Dylan já tinha cometido[br]um assalto à mão armada

0:07:55.015,0:07:56.191
e o Bernard não.

0:07:57.818,0:08:00.884
Isto é importante, porque,[br]quanto mais alta é a pontuação,

0:08:00.908,0:08:04.381
maior a probabilidade[br]de a sentença ser mais longa.

0:08:06.294,0:08:07.588
O que está a acontecer?

0:08:08.526,0:08:09.858
Lavagem de dados.

0:08:10.930,0:08:15.357
É um processo em que os tecnólogos[br]escondem verdades muito graves

0:08:15.381,0:08:17.202
dentro de algoritmos de caixa negra

0:08:17.226,0:08:18.516
e chamam-lhes objetivos;

0:08:19.320,0:08:20.888
chamam-lhes meritocráticos.

0:08:23.118,0:08:25.503
Quando são secretos,[br]importantes e destrutivos

0:08:25.527,0:08:28.014
eu chamo-lhes da seguinte maneira:

0:08:28.038,0:08:30.037
"armas de destruição maciça".

0:08:30.061,0:08:31.625
(Risos)

0:08:31.649,0:08:34.703
(Aplausos)

0:08:34.727,0:08:37.081
Estão por todo o lado[br]e não são um erro.

0:08:37.695,0:08:41.418
São empresas privadas que estão[br]a criar algoritmos privados

0:08:41.442,0:08:42.834
para objetivos privados.

0:08:43.214,0:08:46.428
Mesmo os que mencionei aqui[br]para os professores e a polícia,

0:08:46.452,0:08:48.321
foram criados por empresas privadas

0:08:48.345,0:08:50.576
e vendidos a instituições governamentais.

0:08:50.600,0:08:52.473
Chamam-lhes o seu "molho secreto"

0:08:52.497,0:08:54.625
— é por isso que não nos podem contar.

0:08:54.649,0:08:56.869
Trata-se, também, de poder privado.

0:08:57.924,0:09:02.619
Estão a lucrar para dominarem[br]a autoridade do inescrutável.

0:09:05.114,0:09:06.648
Agora, vocês podem pensar:

0:09:06.682,0:09:09.230
se tudo isto é privado[br]e existe concorrência,

0:09:09.254,0:09:11.560
talvez o mercado livre[br]corrija este problema.

0:09:11.584,0:09:12.833
Não, não o fará.

0:09:12.857,0:09:15.977
Pode fazer-se muito dinheiro[br]com a injustiça.

0:09:17.127,0:09:20.496
Além disso, nós não somos[br]agentes económicos racionais.

0:09:21.031,0:09:22.323
Somos todos tendenciosos.

0:09:22.960,0:09:26.337
Somos racistas e intolerantes[br]em proporções horríveis,

0:09:26.361,0:09:28.380
em proporções que nem nós sabemos.

0:09:29.352,0:09:32.433
Mas sabemos que isto acontece[br]em níveis agregados,

0:09:32.457,0:09:35.501
porque os sociólogos[br]têm vindo a demonstrá-lo,

0:09:35.501,0:09:37.160
através de experiências,

0:09:37.160,0:09:39.892
em que se enviam vários currículos[br]em resposta a anúncios,

0:09:39.892,0:09:42.583
igualmente qualificados,[br]mas alguns com nomes caucasianos

0:09:42.583,0:09:44.213
e outros com nomes de raça negra,

0:09:44.237,0:09:46.931
e os resultados são sempre[br]desconcertantes... Sempre!

0:09:47.510,0:09:49.281
Somos nós que somos tendenciosos

0:09:49.305,0:09:52.734
e estamos a colocar[br]esses preconceitos nos algoritmos,

0:09:52.758,0:09:54.570
ao escolhermos os dados,

0:09:54.594,0:09:57.337
tal como eu decidi[br]em relação aos "noodles"

0:09:57.361,0:09:58.986
— decidi que eram irrelevantes.

0:09:59.010,0:10:04.694
Mas, ao confiarmos em dados[br]que têm, por base, acontecimentos passados

0:10:04.718,0:10:06.732
e ao escolhermos a definição de sucesso,

0:10:06.756,0:10:10.739
como é que podemos esperar[br]que os algoritmos saiam ilesos?

0:10:10.763,0:10:13.119
Não podemos. Temos de os verificar.

0:10:14.165,0:10:15.874
Temos de ver o nível de justiça.

0:10:15.898,0:10:18.609
A boa notícia é que podemos fazer isso.

0:10:18.633,0:10:21.985
Os algoritmos podem ser questionados

0:10:22.009,0:10:24.043
e as respostas são sempre verdadeiras.

0:10:24.067,0:10:26.560
Podemos corrigi-los.[br]Podemos torná-los melhores.

0:10:26.584,0:10:28.959
Posso chamar-lhe "auditoria algorítmica"

0:10:28.983,0:10:30.662
e explico-vos em que consiste.

0:10:30.686,0:10:32.882
Primeiro, verificar[br]a integridade dos dados.

0:10:34.132,0:10:36.789
Em relação ao risco de reincidência[br]de que já vos falei,

0:10:37.582,0:10:41.155
verificar a integridade dos dados[br]significa que concordamos com o facto

0:10:41.179,0:10:44.705
de que, nos EUA, tanto os brancos[br]como os negros fumam erva,

0:10:44.709,0:10:47.214
mas os negros têm[br]maior probabilidade de ser detidos

0:10:47.238,0:10:50.422
— quatro ou cinco vezes mais[br]probabilidades, dependendo da zona.

0:10:51.317,0:10:54.143
Como é que se comporta[br]esta tendência, noutros crimes

0:10:54.167,0:10:55.618
e como é que lidamos com isso?

0:10:56.162,0:10:59.201
Segundo, devemos pensar[br]na definição de sucesso,

0:10:59.225,0:11:00.606
rever esse conceito.

0:11:00.630,0:11:03.382
Lembrem-se do algoritmo[br]de contratação de que já falámos.

0:11:03.386,0:11:06.651
Alguém que fica na empresa[br]durante quatro anos e é promovido uma vez?

0:11:06.651,0:11:08.364
É um trabalhador bem-sucedido,

0:11:08.388,0:11:11.467
mas também é alguém[br]que apoia a cultura da empresa.

0:11:11.929,0:11:13.979
Assim, vemos que também[br]é muito tendencioso.

0:11:13.979,0:11:16.104
É necessário separar estas duas coisas.

0:11:16.128,0:11:17.944
Tomemos como exemplo

0:11:17.968,0:11:19.774
uma audição às cegas[br]de uma orquestra

0:11:19.798,0:11:22.794
As pessoas que fazem a audição[br]escondem-se atrás duma cortina.

0:11:22.946,0:11:24.877
O que é importante reter

0:11:24.901,0:11:28.318
é que as pessoas que estão a ouvir[br]decidiram o que é importante

0:11:28.342,0:11:30.371
e o que não é importante,

0:11:30.395,0:11:32.454
e não se deixam distrair.

0:11:32.961,0:11:35.710
Quando as audições às cegas começaram,[br]

0:11:35.734,0:11:39.178
o número de mulheres em orquestras[br]aumentou cinco vezes.

0:11:40.253,0:11:42.268
Em seguida, temos de considerar[br]a precisão.

0:11:43.233,0:11:46.967
É aqui que falharia o "modelo de valor[br]acrescentado" dos professores.

0:11:47.578,0:11:49.740
Claro que nenhum algoritmo é perfeito,

0:11:50.620,0:11:54.225
é por isso que temos de considerar[br]os erros de cada um.

0:11:54.836,0:11:59.195
Com que frequência existem erros[br]e com quem é que este modelo falha?

0:11:59.850,0:12:01.568
Qual é o custo desta falha?

0:12:02.434,0:12:04.641
Por último, temos de considerar

0:12:05.973,0:12:08.159
os efeitos a longo prazo dos algoritmos,

0:12:08.866,0:12:11.073
o "feedback" que está programado.

0:12:11.586,0:12:12.822
Isto parece abstrato,

0:12:12.846,0:12:15.510
mas imaginem se os engenheiros[br]do Facebook consideravam

0:12:16.270,0:12:21.125
mostrar-nos apenas[br]o que os nossos amigos publicam.

0:12:21.761,0:12:24.995
Tenho mais duas mensagens,[br]uma delas para os cientistas de dados.

0:12:25.450,0:12:28.859
Cientistas de dados: nós não[br]devemos ser os árbitros da verdade.

0:12:29.520,0:12:32.453
Devemos ser tradutores[br]de discussões éticas

0:12:32.477,0:12:34.881
que acontecem em sociedades mais amplas.

0:12:35.579,0:12:37.712
(Aplausos)

0:12:37.736,0:12:39.292
E aos restantes,

0:12:39.841,0:12:41.617
aos que não são cientistas de dados:

0:12:41.651,0:12:43.369
isto não é um teste matemático.

0:12:43.632,0:12:45.170
É uma luta política.

0:12:46.587,0:12:50.494
Precisamos de exigir a responsabilização[br]dos soberanos dos nossos algoritmos.

0:12:52.118,0:12:53.617
(Aplausos)

0:12:53.641,0:12:57.866
A era da fé cega nos "big data"[br]tem de acabar.

0:12:57.890,0:12:59.057
Muito obrigada.

0:12:59.081,0:13:04.384
(Aplausos)