WEBVTT 00:00:00.975 --> 00:00:03.071 Os algoritmos estão em todo o lado. 00:00:04.111 --> 00:00:07.236 Eles classificam e separam os vencedores dos perdedores. 00:00:08.019 --> 00:00:10.283 Os vencedores ficam com o emprego 00:00:10.283 --> 00:00:12.306 ou uma boa oferta para o cartão de crédito. 00:00:12.306 --> 00:00:14.701 Os que perdem nem sequer vão à entrevista 00:00:15.590 --> 00:00:17.367 mas pagam mais pelo seguro. 00:00:18.197 --> 00:00:21.746 Estamos a ser marcados com fórmulas secretas que não entendemos 00:00:22.675 --> 00:00:25.892 e que, muitas vezes, não têm sistemas de recurso. 00:00:27.240 --> 00:00:28.536 Isto traz-nos a pergunta: 00:00:28.560 --> 00:00:31.473 E se os algoritmos estão errados? NOTE Paragraph 00:00:33.100 --> 00:00:35.140 Para criar um algoritmo é preciso: 00:00:35.164 --> 00:00:37.145 dados — o que aconteceu no passado; 00:00:37.169 --> 00:00:38.730 e uma definição de sucesso, 00:00:38.754 --> 00:00:41.371 aquilo de que estamos à procura e que queremos atingir. 00:00:41.411 --> 00:00:46.272 Um algoritmo treina-se com a procura, com a descoberta. 00:00:46.296 --> 00:00:49.715 O algoritmo descobre o que está associado ao sucesso. 00:00:49.739 --> 00:00:52.202 Qual a situação que leva ao sucesso? NOTE Paragraph 00:00:52.881 --> 00:00:54.643 Na verdade, todos usam algoritmos. 00:00:54.667 --> 00:00:57.385 Só que as pessoas não os formalizam em código escrito. 00:00:57.409 --> 00:00:58.757 Deixem-me dar um exemplo. 00:00:58.781 --> 00:01:02.097 Eu uso um algoritmo todos os dias para cozinhar para a minha família. 00:01:02.121 --> 00:01:03.597 Os dados que eu uso 00:01:04.394 --> 00:01:06.053 são os ingredientes que tenho, 00:01:06.077 --> 00:01:07.604 o tempo disponível, 00:01:07.628 --> 00:01:08.861 a minha ambição, 00:01:08.885 --> 00:01:10.594 e junto esses dados todos. 00:01:10.618 --> 00:01:14.869 Não contabilizo aqueles pacotes pequenos de "noodles" como comida. NOTE Paragraph 00:01:14.893 --> 00:01:16.762 (Risos) NOTE Paragraph 00:01:16.786 --> 00:01:18.631 A minha definição de sucesso é: 00:01:18.655 --> 00:01:21.314 a refeição é conseguida se os filhos comerem vegetais. 00:01:22.181 --> 00:01:25.035 Seria diferente se o meu filho mais novo fosse o responsável. 00:01:25.059 --> 00:01:27.847 Ele diria que o sucesso seria ele comer muita Nutella. 00:01:29.179 --> 00:01:31.405 Mas eu posso escolher o sucesso. 00:01:31.429 --> 00:01:34.136 Sou eu a responsável. A minha opinião conta. 00:01:34.160 --> 00:01:36.835 Essa é a primeira regra dos algoritmos. NOTE Paragraph 00:01:36.859 --> 00:01:40.039 Os algoritmos são opiniões embutidas em código. 00:01:41.562 --> 00:01:45.225 É muito diferente daquilo que muitos pensam sobre este assunto. 00:01:45.249 --> 00:01:49.753 As pessoas pensam que os algoritmos são objetivos, verdadeiros e científicos. 00:01:50.387 --> 00:01:52.086 Isso é um truque de "marketing". 00:01:53.269 --> 00:01:55.394 O que também é um truque 00:01:55.418 --> 00:01:58.572 é o facto de os algoritmos nos intimidarem, 00:01:58.596 --> 00:02:02.257 para nos fazer ter confiança e medo deles, 00:02:02.281 --> 00:02:04.299 porque confiamos e receamos a matemática. 00:02:05.567 --> 00:02:10.397 Muita coisa pode correr mal se confiarmos cegamente nos "big data". NOTE Paragraph 00:02:11.684 --> 00:02:15.057 Esta é Kiri Soares e é diretora de uma escola secundária em Brooklyn. 00:02:15.081 --> 00:02:17.667 Em 2011, ela disse-me que os professores eram avaliados 00:02:17.691 --> 00:02:20.418 com um algoritmo secreto e complexo 00:02:20.442 --> 00:02:22.331 chamado "modelo de valor acrescentado". 00:02:22.505 --> 00:02:25.597 Eu disse-lhe: "Bem, se descobrir a fórmula, mostre-ma". 00:02:25.621 --> 00:02:27.162 "Eu explico-lha". 00:02:27.186 --> 00:02:29.327 Ela respondeu: "Bom, eu tentei obtê-la" 00:02:29.351 --> 00:02:32.123 "mas o Departamento de Educação disse que era matemática" 00:02:32.147 --> 00:02:33.693 "e que eu não iria entendê-la". NOTE Paragraph 00:02:35.266 --> 00:02:36.604 E ainda é pior. 00:02:36.628 --> 00:02:40.158 O jornal "The New York Post" invocou a lei da Liberdade de Informação, 00:02:40.182 --> 00:02:43.141 reuniu os nomes de todos os professores e os seus resultados 00:02:43.165 --> 00:02:46.857 e publicou todas essas informações como forma de envergonhar os professores. 00:02:47.084 --> 00:02:50.944 Quando tentei aceder às fórmulas, ao código-fonte, através dos mesmos meios, 00:02:50.968 --> 00:02:53.117 disseram-me que não podia fazê-lo. 00:02:53.141 --> 00:02:54.377 Foi-me negado. 00:02:54.401 --> 00:02:55.575 Mais tarde, descobri 00:02:55.599 --> 00:02:58.465 que ninguém em Nova Iorque teve acesso a essa fórmula. 00:02:58.489 --> 00:02:59.794 Ninguém a percebia. 00:03:01.929 --> 00:03:05.153 Então, envolveu-se um tipo muito inteligente: Gary Rubenstein. 00:03:05.177 --> 00:03:08.798 Ele descobriu 665 professores, através dos dados publicados no jornal, 00:03:08.822 --> 00:03:10.688 que tiveram dois resultados diferentes. 00:03:10.712 --> 00:03:12.593 Podia acontecer se estivessem a lecionar 00:03:12.617 --> 00:03:15.056 matemática de sétimo e matemática de oitavo ano. 00:03:15.080 --> 00:03:16.998 Decidiu representá-los graficamente 00:03:17.012 --> 00:03:18.995 em que cada ponto representa um professor. NOTE Paragraph 00:03:19.104 --> 00:03:21.163 (Risos) NOTE Paragraph 00:03:21.507 --> 00:03:22.988 O que é isto? NOTE Paragraph 00:03:23.052 --> 00:03:24.329 (Risos) NOTE Paragraph 00:03:24.353 --> 00:03:27.799 Isto nunca poderia ter sido usado para uma avaliação individual. 00:03:27.823 --> 00:03:29.749 É como um gerador de números aleatórios. NOTE Paragraph 00:03:29.773 --> 00:03:32.719 (Aplausos) NOTE Paragraph 00:03:32.743 --> 00:03:33.905 Mas foi utilizado. 00:03:33.929 --> 00:03:35.105 Esta é Sarah Wysocki. 00:03:35.129 --> 00:03:37.304 Foi despedida, juntamente com 205 professores 00:03:37.328 --> 00:03:39.990 de escolas do distrito de Washington, DC, 00:03:40.014 --> 00:03:42.923 embora tivesse excelentes recomendações do seu diretor 00:03:42.947 --> 00:03:44.375 e dos pais dos seus alunos. NOTE Paragraph 00:03:44.930 --> 00:03:46.482 Sei o que muitos estão a pensar, 00:03:46.482 --> 00:03:50.009 sobretudo os cientistas de dados especialistas em Inteligência Artificial. 00:03:50.009 --> 00:03:54.183 Estão a pensar: "Eu nunca faria um algoritmo tão inconsistente". 00:03:54.853 --> 00:03:56.536 Mas os algoritmos podem correr mal, 00:03:56.560 --> 00:04:01.158 chegando a ter efeitos profundamente destrutivos, cheios de boas intenções. 00:04:02.531 --> 00:04:04.910 Enquanto que um avião que é mal arquitetado 00:04:04.934 --> 00:04:06.935 se despenha e todos veem, 00:04:06.959 --> 00:04:08.809 um algoritmo mal projetado 00:04:10.245 --> 00:04:14.110 pode ser utilizado durante muito tempo, causando estragos silenciosamente. NOTE Paragraph 00:04:15.748 --> 00:04:17.318 Este é Roger Ailes. NOTE Paragraph 00:04:17.342 --> 00:04:19.342 (Risos) NOTE Paragraph 00:04:20.524 --> 00:04:22.912 Fundou a Fox News em 1996. 00:04:23.436 --> 00:04:26.017 Mais de 20 mulheres queixaram-se de assédio sexual. 00:04:26.041 --> 00:04:29.276 Diziam que, na Fox News, não lhes era permitido terem sucesso. 00:04:29.300 --> 00:04:31.820 Ailes foi despedido no ano passado, mas, recentemente, 00:04:31.844 --> 00:04:34.514 temos visto que os problemas persistem. 00:04:35.654 --> 00:04:37.054 Isto leva-nos a perguntar: 00:04:37.078 --> 00:04:39.962 O que é que a Fox News deveria fazer para virar a página? NOTE Paragraph 00:04:41.245 --> 00:04:44.286 E se tivessem substituído o seu processo de recrutamento 00:04:44.286 --> 00:04:46.350 por um algoritmo de aprendizagem automática? 00:04:46.380 --> 00:04:47.583 Parece-vos bem, não é? 00:04:47.607 --> 00:04:48.907 Pensem nisso. 00:04:48.931 --> 00:04:51.036 Que dados poderiam ser? 00:04:51.060 --> 00:04:56.007 Uma escolha razoável seriam os currículos recebidos nos últimos 21 anos. 00:04:56.031 --> 00:04:57.533 Razoável. 00:04:57.557 --> 00:04:59.495 E qual seria a definição de sucesso? 00:04:59.921 --> 00:05:01.245 A escolha razoável seria... 00:05:01.269 --> 00:05:03.047 Bem, quem tem sucesso na Fox News? 00:05:03.071 --> 00:05:06.651 Eu diria alguém que lá trabalhou durante quatro anos 00:05:06.675 --> 00:05:08.809 e que foi promovido, pelo menos, uma vez. 00:05:08.816 --> 00:05:10.377 Parece razoável. 00:05:10.401 --> 00:05:12.755 E aí, o algoritmo seria treinado. 00:05:12.779 --> 00:05:16.656 Seria treinado para procurar pessoas e perceber o que levava ao sucesso, 00:05:17.219 --> 00:05:21.537 que tipo de currículos eram propícios a isso, 00:05:21.561 --> 00:05:22.855 seguindo essa definição. 00:05:24.200 --> 00:05:25.975 Pensem no que poderia acontecer 00:05:25.999 --> 00:05:28.554 se o aplicássemos ao conjunto atual de candidaturas. 00:05:29.119 --> 00:05:30.748 Filtraria as mulheres, 00:05:31.663 --> 00:05:35.593 porque não foram as pessoas que tiveram sucesso no passado. NOTE Paragraph 00:05:39.752 --> 00:05:42.289 Os algoritmos não são justos, 00:05:42.313 --> 00:05:45.007 se os aplicarmos de ânimo leve e às cegas. 00:05:45.031 --> 00:05:46.513 Eles não agem com justiça. 00:05:46.537 --> 00:05:48.665 Eles repetem o que fizemos no passado, 00:05:48.689 --> 00:05:49.872 os nossos padrões. 00:05:49.896 --> 00:05:51.835 Eles automatizam o "status quo". 00:05:52.718 --> 00:05:55.107 Isso seria incrível se o mundo fosse perfeito. 00:05:55.905 --> 00:05:57.217 Mas não é. 00:05:57.241 --> 00:06:01.343 E digo-vos mais: a maioria das empresas não têm processos legais em curso, 00:06:02.446 --> 00:06:05.034 mas essas empresas dizem aos seus cientistas de dados 00:06:05.058 --> 00:06:07.247 para seguirem os dados, 00:06:07.271 --> 00:06:09.414 para se focarem na precisão. 00:06:10.273 --> 00:06:11.654 Pensem no que isso significa. 00:06:11.678 --> 00:06:15.705 Como todos temos preconceitos, eles podiam codificar o sexismo 00:06:15.729 --> 00:06:17.565 ou qualquer outro tipo de sectarismo. NOTE Paragraph 00:06:19.488 --> 00:06:20.909 Um exercício intelectual, 00:06:20.933 --> 00:06:22.442 porque gosto de fazer isso: 00:06:23.574 --> 00:06:26.549 uma sociedade inteiramente segregada 00:06:28.247 --> 00:06:31.575 — todas as cidades, os bairros, tudo segregado racialmente — 00:06:31.599 --> 00:06:34.636 e onde só enviamos a polícia a bairros minoritários 00:06:34.660 --> 00:06:35.853 para combater o crime. 00:06:36.451 --> 00:06:38.670 Os dados sobre os detidos seriam tendenciosos. 00:06:39.851 --> 00:06:42.426 E se tivéssemos cientistas de dados para esta situação 00:06:42.450 --> 00:06:46.611 e lhes pagássemos para preverem onde iria ocorrer o crime seguinte? 00:06:47.275 --> 00:06:48.762 Num bairro minoritário. 00:06:49.285 --> 00:06:52.410 Ou para preverem quem seria o criminoso seguinte? 00:06:52.888 --> 00:06:54.283 Alguém da minoria. 00:06:55.949 --> 00:07:00.490 Os cientistas de dados iriam vangloriar-se da eficiência e precisão do seu modelo 00:07:00.835 --> 00:07:02.134 e teriam razão. NOTE Paragraph 00:07:03.951 --> 00:07:08.566 A realidade não é tão drástica, mas temos segregações graves 00:07:08.590 --> 00:07:09.877 em várias cidades e vilas, 00:07:09.901 --> 00:07:11.794 e existem inúmeras provas 00:07:11.818 --> 00:07:14.506 de que os dados do sistema de justiça são tendenciosos. 00:07:15.632 --> 00:07:18.447 E nós prevemos lugares críticos, 00:07:18.471 --> 00:07:20.001 locais onde irão ocorrer crimes. 00:07:20.401 --> 00:07:24.267 E prevemos a criminalidade individual, 00:07:24.291 --> 00:07:26.061 a criminalidade de indivíduos. 00:07:26.972 --> 00:07:30.935 A agência de notícias ProPublica analisou recentemente 00:07:30.959 --> 00:07:32.983 um algoritmo de "risco de reincidência", 00:07:33.007 --> 00:07:34.170 como lhe chamam, 00:07:34.194 --> 00:07:37.388 que os júris usam na Flórida, durante os julgamentos. 00:07:38.411 --> 00:07:41.996 À esquerda, temos Bernard, de cor negra, que teve uma pontuação de 10 em 10. 00:07:43.119 --> 00:07:45.486 Dylan, à direita, teve uma pontuação de 3 em 10. 00:07:45.526 --> 00:07:48.021 10 em 10 é risco elevado. 3 em 10 é risco reduzido. 00:07:48.598 --> 00:07:50.983 Foram ambos a julgamento por posse de droga. 00:07:51.007 --> 00:07:52.161 Ambos tinham cadastro, 00:07:52.185 --> 00:07:54.991 mas Dylan já tinha cometido um assalto à mão armada 00:07:55.015 --> 00:07:56.191 e o Bernard não. 00:07:57.818 --> 00:08:00.884 Isto é importante, porque, quanto mais alta é a pontuação, 00:08:00.908 --> 00:08:04.381 maior a probabilidade de a sentença ser mais longa. NOTE Paragraph 00:08:06.294 --> 00:08:07.588 O que está a acontecer? 00:08:08.526 --> 00:08:09.858 Lavagem de dados. 00:08:10.930 --> 00:08:15.357 É um processo em que os tecnólogos escondem verdades muito graves 00:08:15.381 --> 00:08:17.202 dentro de algoritmos de caixa negra 00:08:17.226 --> 00:08:18.516 e chamam-lhes objetivos; 00:08:19.320 --> 00:08:20.888 chamam-lhes meritocráticos. 00:08:23.118 --> 00:08:25.503 Quando são secretos, importantes e destrutivos 00:08:25.527 --> 00:08:28.014 eu chamo-lhes da seguinte maneira: NOTE Paragraph 00:08:28.038 --> 00:08:30.037 "armas de destruição maciça". NOTE Paragraph 00:08:30.061 --> 00:08:31.625 (Risos) NOTE Paragraph 00:08:31.649 --> 00:08:34.703 (Aplausos) NOTE Paragraph 00:08:34.727 --> 00:08:37.081 Estão por todo o lado e não são um erro. 00:08:37.695 --> 00:08:41.418 São empresas privadas que estão a criar algoritmos privados 00:08:41.442 --> 00:08:42.834 para objetivos privados. 00:08:43.214 --> 00:08:46.428 Mesmo os que mencionei aqui para os professores e a polícia, 00:08:46.452 --> 00:08:48.321 foram criados por empresas privadas 00:08:48.345 --> 00:08:50.576 e vendidos a instituições governamentais. 00:08:50.600 --> 00:08:52.473 Chamam-lhes o seu "molho secreto" 00:08:52.497 --> 00:08:54.625 — é por isso que não nos podem contar. 00:08:54.649 --> 00:08:56.869 Trata-se, também, de poder privado. 00:08:57.924 --> 00:09:02.619 Estão a lucrar para dominarem a autoridade do inescrutável. 00:09:05.114 --> 00:09:06.648 Agora, vocês podem pensar: 00:09:06.682 --> 00:09:09.230 se tudo isto é privado e existe concorrência, 00:09:09.254 --> 00:09:11.560 talvez o mercado livre corrija este problema. 00:09:11.584 --> 00:09:12.833 Não, não o fará. 00:09:12.857 --> 00:09:15.977 Pode fazer-se muito dinheiro com a injustiça. NOTE Paragraph 00:09:17.127 --> 00:09:20.496 Além disso, nós não somos agentes económicos racionais. 00:09:21.031 --> 00:09:22.323 Somos todos tendenciosos. 00:09:22.960 --> 00:09:26.337 Somos racistas e intolerantes em proporções horríveis, 00:09:26.361 --> 00:09:28.380 em proporções que nem nós sabemos. 00:09:29.352 --> 00:09:32.433 Mas sabemos que isto acontece em níveis agregados, 00:09:32.457 --> 00:09:35.501 porque os sociólogos têm vindo a demonstrá-lo, 00:09:35.501 --> 00:09:37.160 através de experiências, 00:09:37.160 --> 00:09:39.892 em que se enviam vários currículos em resposta a anúncios, 00:09:39.892 --> 00:09:42.583 igualmente qualificados, mas alguns com nomes caucasianos 00:09:42.583 --> 00:09:44.213 e outros com nomes de raça negra, 00:09:44.237 --> 00:09:46.931 e os resultados são sempre desconcertantes... Sempre! NOTE Paragraph 00:09:47.510 --> 00:09:49.281 Somos nós que somos tendenciosos 00:09:49.305 --> 00:09:52.734 e estamos a colocar esses preconceitos nos algoritmos, 00:09:52.758 --> 00:09:54.570 ao escolhermos os dados, 00:09:54.594 --> 00:09:57.337 tal como eu decidi em relação aos "noodles" 00:09:57.361 --> 00:09:58.986 — decidi que eram irrelevantes. 00:09:59.010 --> 00:10:04.694 Mas, ao confiarmos em dados que têm, por base, acontecimentos passados 00:10:04.718 --> 00:10:06.732 e ao escolhermos a definição de sucesso, 00:10:06.756 --> 00:10:10.739 como é que podemos esperar que os algoritmos saiam ilesos? 00:10:10.763 --> 00:10:13.119 Não podemos. Temos de os verificar. 00:10:14.165 --> 00:10:15.874 Temos de ver o nível de justiça. NOTE Paragraph 00:10:15.898 --> 00:10:18.609 A boa notícia é que podemos fazer isso. 00:10:18.633 --> 00:10:21.985 Os algoritmos podem ser questionados 00:10:22.009 --> 00:10:24.043 e as respostas são sempre verdadeiras. 00:10:24.067 --> 00:10:26.560 Podemos corrigi-los. Podemos torná-los melhores. 00:10:26.584 --> 00:10:28.959 Posso chamar-lhe "auditoria algorítmica" 00:10:28.983 --> 00:10:30.662 e explico-vos em que consiste. NOTE Paragraph 00:10:30.686 --> 00:10:32.882 Primeiro, verificar a integridade dos dados. 00:10:34.132 --> 00:10:36.789 Em relação ao risco de reincidência de que já vos falei, 00:10:37.582 --> 00:10:41.155 verificar a integridade dos dados significa que concordamos com o facto 00:10:41.179 --> 00:10:44.705 de que, nos EUA, tanto os brancos como os negros fumam erva, 00:10:44.709 --> 00:10:47.214 mas os negros têm maior probabilidade de ser detidos 00:10:47.238 --> 00:10:50.422 — quatro ou cinco vezes mais probabilidades, dependendo da zona. 00:10:51.317 --> 00:10:54.143 Como é que se comporta esta tendência, noutros crimes 00:10:54.167 --> 00:10:55.618 e como é que lidamos com isso? NOTE Paragraph 00:10:56.162 --> 00:10:59.201 Segundo, devemos pensar na definição de sucesso, 00:10:59.225 --> 00:11:00.606 rever esse conceito. 00:11:00.630 --> 00:11:03.382 Lembrem-se do algoritmo de contratação de que já falámos. 00:11:03.386 --> 00:11:06.651 Alguém que fica na empresa durante quatro anos e é promovido uma vez? 00:11:06.651 --> 00:11:08.364 É um trabalhador bem-sucedido, 00:11:08.388 --> 00:11:11.467 mas também é alguém que apoia a cultura da empresa. 00:11:11.929 --> 00:11:13.979 Assim, vemos que também é muito tendencioso. 00:11:13.979 --> 00:11:16.104 É necessário separar estas duas coisas. 00:11:16.128 --> 00:11:17.944 Tomemos como exemplo 00:11:17.968 --> 00:11:19.774 uma audição às cegas de uma orquestra 00:11:19.798 --> 00:11:22.794 As pessoas que fazem a audição escondem-se atrás duma cortina. 00:11:22.946 --> 00:11:24.877 O que é importante reter 00:11:24.901 --> 00:11:28.318 é que as pessoas que estão a ouvir decidiram o que é importante 00:11:28.342 --> 00:11:30.371 e o que não é importante, 00:11:30.395 --> 00:11:32.454 e não se deixam distrair. 00:11:32.961 --> 00:11:35.710 Quando as audições às cegas começaram, 00:11:35.734 --> 00:11:39.178 o número de mulheres em orquestras aumentou cinco vezes. NOTE Paragraph 00:11:40.253 --> 00:11:42.268 Em seguida, temos de considerar a precisão. 00:11:43.233 --> 00:11:46.967 É aqui que falharia o "modelo de valor acrescentado" dos professores. 00:11:47.578 --> 00:11:49.740 Claro que nenhum algoritmo é perfeito, 00:11:50.620 --> 00:11:54.225 é por isso que temos de considerar os erros de cada um. 00:11:54.836 --> 00:11:59.195 Com que frequência existem erros e com quem é que este modelo falha? 00:11:59.850 --> 00:12:01.568 Qual é o custo desta falha? NOTE Paragraph 00:12:02.434 --> 00:12:04.641 Por último, temos de considerar 00:12:05.973 --> 00:12:08.159 os efeitos a longo prazo dos algoritmos, 00:12:08.866 --> 00:12:11.073 o "feedback" que está programado. 00:12:11.586 --> 00:12:12.822 Isto parece abstrato, 00:12:12.846 --> 00:12:15.510 mas imaginem se os engenheiros do Facebook consideravam 00:12:16.270 --> 00:12:21.125 mostrar-nos apenas o que os nossos amigos publicam. NOTE Paragraph 00:12:21.761 --> 00:12:24.995 Tenho mais duas mensagens, uma delas para os cientistas de dados. 00:12:25.450 --> 00:12:28.859 Cientistas de dados: nós não devemos ser os árbitros da verdade. 00:12:29.520 --> 00:12:32.453 Devemos ser tradutores de discussões éticas 00:12:32.477 --> 00:12:34.881 que acontecem em sociedades mais amplas. NOTE Paragraph 00:12:35.579 --> 00:12:37.712 (Aplausos) NOTE Paragraph 00:12:37.736 --> 00:12:39.292 E aos restantes, 00:12:39.841 --> 00:12:41.617 aos que não são cientistas de dados: 00:12:41.651 --> 00:12:43.369 isto não é um teste matemático. 00:12:43.632 --> 00:12:45.170 É uma luta política. 00:12:46.587 --> 00:12:50.494 Precisamos de exigir a responsabilização dos soberanos dos nossos algoritmos. NOTE Paragraph 00:12:52.118 --> 00:12:53.617 (Aplausos) NOTE Paragraph 00:12:53.641 --> 00:12:57.866 A era da fé cega nos "big data" tem de acabar. NOTE Paragraph 00:12:57.890 --> 00:12:59.057 Muito obrigada. NOTE Paragraph 00:12:59.081 --> 00:13:04.384 (Aplausos)