0:00:00.875,0:00:02.991
Os algoritmos estão por toda parte.

0:00:03.951,0:00:07.236
Eles selecionam e separam[br]os vencedores dos perdedores.

0:00:08.019,0:00:12.077
Os vencedores conseguem o emprego[br]ou a oferta de um bom cartão de crédito.

0:00:12.077,0:00:14.945
Os perdedores não conseguem[br]nem mesmo uma entrevista.

0:00:15.590,0:00:17.927
Ou pagam mais caro pelo seu seguro.

0:00:18.197,0:00:21.746
Estamos sendo avaliados[br]com fórmulas secretas que não entendemos,

0:00:22.675,0:00:26.632
que geralmente não têm[br]como serem contestadas.

0:00:27.240,0:00:28.536
Isso coloca uma questão:

0:00:28.560,0:00:31.473
e se os algoritmos estiverem errados?

0:00:32.550,0:00:34.964
Precisamos de duas coisas[br]para criar um algoritmo:

0:00:34.964,0:00:38.624
de dados, o que aconteceu no passado,[br]e uma definição de sucesso,

0:00:38.624,0:00:41.211
aquilo que estamos procurando[br]e geralmente esperando.

0:00:41.235,0:00:46.272
Treinamos um algoritmo[br]procurando, calculando.

0:00:46.296,0:00:49.615
O algoritmo descobre[br]o que está associado com o sucesso,

0:00:49.659,0:00:52.502
que situação leva ao sucesso.

0:00:52.881,0:00:54.643
Na verdade, todos usamos algoritmos,

0:00:54.667,0:00:57.155
apenas não os formalizamos[br]num código escrito.

0:00:57.169,0:00:58.411
Querem um exemplo?

0:00:58.411,0:01:01.687
Todo dia uso um algoritmo pra preparar[br]as refeições da minha família.

0:01:02.121,0:01:03.597
Os dados que uso

0:01:04.394,0:01:07.483
são os ingredientes da minha cozinha,[br]o tempo disponível,

0:01:07.633,0:01:08.861
minha ambição,

0:01:08.885,0:01:10.594
e quem seleciona os dados sou eu.

0:01:10.618,0:01:14.869
Não conto um pacote de Miojo como comida.

0:01:14.893,0:01:16.762
(Risos)

0:01:16.786,0:01:18.631
Minha definição de sucesso é:

0:01:18.655,0:01:21.794
uma refeição é um sucesso[br]quando meus filhos comem verduras.

0:01:22.181,0:01:25.035
Muito diferente se meu filho[br]mais novo estiver no comando.

0:01:25.059,0:01:28.337
Para ele, sucesso[br]é comer montes de Nutella.

0:01:29.179,0:01:31.405
Mas eu é que escolho o que é sucesso.

0:01:31.429,0:01:34.136
Eu estou no comando; minha opinião conta.

0:01:34.160,0:01:36.835
Essa é a primeira regra dos algoritmos.

0:01:36.859,0:01:40.319
Algoritmos são opiniões[br]embutidas num código.

0:01:41.562,0:01:45.225
Bem diferente do que a maioria[br]de nós pensa sobre os algoritmos.

0:01:45.249,0:01:49.753
Achamos que os algoritmos são[br]objetivos, verdadeiros e científicos.

0:01:50.387,0:01:52.506
Esse é um truque de marketing.

0:01:53.269,0:01:55.394
É também um truque de marketing

0:01:55.418,0:01:58.572
intimidar vocês com algoritmos,

0:01:58.596,0:02:02.257
fazê-los acreditar nos algoritmos[br]ou ter medo deles

0:02:02.281,0:02:05.109
porque acreditamos[br]na matemática, e temos medo dela.

0:02:05.477,0:02:10.867
Muita coisa pode dar errado[br]quando confiamos cegamente no Big Data.

0:02:11.514,0:02:15.057
Esta é Kiri Soares,[br]diretora de um colégio no Brooklyn.

0:02:15.081,0:02:17.121
Em 2011, ela me disse que seus professores

0:02:17.121,0:02:20.302
estavam sendo avaliados[br]por um algoritmo complexo e secreto,

0:02:20.322,0:02:22.271
chamado "modelo de valor agregado".

0:02:22.375,0:02:24.911
Disse a ela: "Descubra[br]a fórmula dele e me mostre.

0:02:24.911,0:02:26.842
Aí, posso explicá-lo a você".

0:02:27.002,0:02:30.887
Ela disse: "Tentei conseguir a fórmula,[br]mas meu contato na Secretaria de Educação

0:02:30.887,0:02:34.123
me falou que era matemática[br]e que eu não iria entender".

0:02:35.266,0:02:36.604
E a história só fica pior.

0:02:36.628,0:02:40.158
O "New York Post" protocolou[br]um pedido de transparência,

0:02:40.182,0:02:43.141
pegou o nome de todos os professores,[br]e todas suas avaliações

0:02:43.165,0:02:46.497
e publicou como um ato[br]para expor os professores.

0:02:47.084,0:02:50.814
Quando tentei conseguir as fórmulas,[br]o código-fonte, através dos mesmos meios,

0:02:50.868,0:02:54.037
me disseram que não podia, me foi negado.

0:02:54.069,0:02:58.465
Descobri mais tarde que ninguém em[br]Nova Iorque tinha acesso àquela fórmula.

0:02:58.489,0:03:00.414
Ninguém a entendia.

0:03:01.929,0:03:05.153
Então, Gary Rubenstein,[br]um cara muito inteligente, se envolveu.

0:03:05.177,0:03:08.752
Ele descobriu 665 professores[br]naqueles dados do "New York Post"

0:03:08.752,0:03:10.728
que na verdade tinham duas avaliações.

0:03:10.728,0:03:15.063
Aquilo podia acontecer se eles ensinavam[br]matemática na sétima e na oitava série.

0:03:15.080,0:03:16.618
Ele decidiu marcá-los.

0:03:16.642,0:03:18.835
Cada ponto representa um professor.

0:03:19.104,0:03:21.483
(Risos)

0:03:21.507,0:03:23.028
O que é isto?

0:03:23.052,0:03:24.329
(Risos)

0:03:24.353,0:03:27.753
Isso nunca deveria ter sido usado[br]numa avaliação individual.

0:03:27.753,0:03:29.633
É quase um gerador aleatório de número.

0:03:29.633,0:03:32.193
(Aplausos) (Vivas)

0:03:32.193,0:03:33.309
Mas foi usado.

0:03:33.309,0:03:34.749
Esta é Sarah Wysocki.

0:03:34.749,0:03:37.394
Ela foi demitida, juntamente[br]com 205 outros professores,

0:03:37.394,0:03:39.914
da superintendência de ensino [br]de Washington, D.C.,

0:03:39.914,0:03:44.553
mesmo tendo excelente recomendação[br]de sua diretora e dos pais das crianças.

0:03:45.020,0:03:48.226
Muitos aqui devem estar pensando,[br]especialmente cientistas de dados,

0:03:48.226,0:03:49.823
os especialistas em IA:

0:03:49.823,0:03:54.183
"Eu nunca faria um algoritmo[br]inconsistente assim".

0:03:54.703,0:03:56.450
Mas os algoritmos podem dar errado,

0:03:56.450,0:04:01.158
mesmo os bem-intencionados podem ter[br]efeitos profundamente destrutivos.

0:04:02.531,0:04:06.900
E enquanto um avião mal projetado[br]cai, e todo mundo vê,

0:04:06.910,0:04:09.005
um algoritmo mal projetado

0:04:10.245,0:04:14.410
pode continuar a causar destruição[br]de forma silenciosa, por um longo tempo.

0:04:15.748,0:04:17.318
Este é Roger Ailes.

0:04:17.342,0:04:19.342
(Risos)

0:04:20.524,0:04:23.142
Ele fundou a Fox News em 1996.

0:04:23.436,0:04:26.001
Mais de 20 mulheres[br]reclamaram de assédio sexual.

0:04:26.001,0:04:29.276
Elas disseram que não lhes foi[br]permitido subir na Fox News.

0:04:29.300,0:04:31.820
Ele foi afastado ano passado,[br]mas vimos recentemente

0:04:31.844,0:04:34.804
que os problemas continuaram.

0:04:35.654,0:04:37.054
Uma pergunta se impõe aqui:

0:04:37.078,0:04:40.262
o que a Fox News deveria fazer[br]para virar essa página?

0:04:41.245,0:04:44.286
Que tal se eles substituírem[br]seu processo de contratação

0:04:44.310,0:04:47.604
por um algoritmo de aprendizado[br]de máquina? Parece boa ideia, né?

0:04:47.607,0:04:48.907
Pensem bem.

0:04:48.931,0:04:51.036
Os dados, quais seriam os dados?

0:04:51.060,0:04:56.007
Uma escolha razoável seria os últimos[br]21 anos de contratação da Fox News.

0:04:56.031,0:04:57.533
Bem razoável.

0:04:57.557,0:04:59.675
E a definição de sucesso?

0:04:59.921,0:05:03.055
Seria uma escolha racional:[br]quem é bem-sucedido para a Fox News?

0:05:03.071,0:05:06.651
Digamos que seja alguém[br]que tenha ficado lá por quatro anos

0:05:06.675,0:05:08.509
e promovido pelo menos uma vez.

0:05:08.816,0:05:10.377
Parece razoável.

0:05:10.401,0:05:12.755
E então o algoritmo poderia ser treinado.

0:05:12.779,0:05:17.026
Seria treinado para procurar pessoas[br]para aprender o que leva ao sucesso,

0:05:17.069,0:05:21.441
que tipo de contratações[br]historicamente levaram ao sucesso

0:05:21.441,0:05:23.225
segundo aquela definição.

0:05:24.200,0:05:25.975
Agora pensem sobre o que aconteceria

0:05:25.999,0:05:29.014
se aplicado a um conjunto[br]atual de pedidos de emprego.

0:05:29.119,0:05:31.098
Ele filtraria as mulheres,

0:05:31.663,0:05:35.593
pois aparentemente elas não[br]tiveram sucesso no passado.

0:05:39.752,0:05:42.289
Os algoritmos não tornam as coisas justas

0:05:42.313,0:05:45.007
se forem aplicados[br]de forma cega e displicente.

0:05:45.031,0:05:46.513
Não tornam as coisas justas.

0:05:46.537,0:05:49.656
Eles repetem nossas práticas[br]passadas, nossos padrões.

0:05:49.656,0:05:52.185
Eles automatizam o status quo.

0:05:52.568,0:05:55.107
Isso seria ótimo se tivéssemos[br]um mundo perfeito,

0:05:55.905,0:05:57.217
mas não temos.

0:05:57.241,0:06:01.343
E mais: a maioria das empresas[br]não inclui os litígios constrangedores,

0:06:02.446,0:06:05.034
mas os cientistas de dados dessas empresas

0:06:05.058,0:06:07.247
são orientados a seguirem os dados,

0:06:07.271,0:06:09.414
a terem rigor.

0:06:10.273,0:06:11.654
Pensem no que isso significa.

0:06:11.678,0:06:15.705
Como todos somos tendenciosos, significa[br]que poderiam estar codificando sexismo

0:06:15.729,0:06:18.395
ou qualquer outro tipo de intolerância.

0:06:19.488,0:06:22.099
Vamos fazer um exercício[br]intelectual, pois gosto deles:

0:06:23.574,0:06:26.929
uma sociedade inteiramente segregada,

0:06:28.067,0:06:31.575
racialmente segregada,[br]todas as cidades, todos os bairros,

0:06:31.599,0:06:35.806
e onde enviamos a polícia apenas[br]a bairros de minorias atrás de crimes.

0:06:36.451,0:06:39.300
Os dados sobre os presos[br]seriam muito tendenciosos.

0:06:39.851,0:06:42.426
E se, além disso, pegássemos[br]cientistas de dados

0:06:42.450,0:06:46.861
e pagássemos a eles para predizerem[br]onde vai ocorrer o próximo crime?

0:06:47.275,0:06:48.762
Bairros de minorias.

0:06:49.285,0:06:52.750
Ou predizer quem será o próximo criminoso?

0:06:52.888,0:06:54.283
Alguém das minorias.

0:06:55.949,0:07:00.460
Os cientistas de dados se gabariam[br]da excelência e da precisão de seu modelo,

0:07:00.835,0:07:02.134
e estariam certos.

0:07:03.951,0:07:08.566
Bem, a realidade não é drástica assim,[br]mas temos graves segregações

0:07:08.590,0:07:11.327
em muitas cidades e vilas,[br]e muitas evidências

0:07:11.818,0:07:14.776
de dados policiais[br]e judiciários tendenciosos.

0:07:15.632,0:07:18.447
Na verdade, predizemos focos de crise,

0:07:18.471,0:07:20.281
lugares onde crimes podem ocorrer.

0:07:20.401,0:07:24.267
E predizemos, de fato,[br]a criminalidade individual,

0:07:24.291,0:07:26.651
a criminalidade dos indivíduos.

0:07:26.972,0:07:30.509
A organização de notícias ProPublica[br]recentemente estudou

0:07:30.529,0:07:34.093
um desses algoritmos,[br]chamados de "risco de recidiva",

0:07:34.124,0:07:37.898
que têm sido usados por juízes[br]na Flórida para proferirem sentenças.

0:07:38.251,0:07:42.426
Bernard, à esquerda,[br]o homem negro, atingiu dez em dez.

0:07:43.179,0:07:45.186
Dylan, à direita, três em dez.

0:07:45.210,0:07:48.071
Então, dez em dez, alto risco;[br]três em dez, baixo risco.

0:07:48.598,0:07:50.983
Ambos foram pegos por posse de droga.

0:07:51.007,0:07:54.971
Ambos tinham antecedentes,[br]e Dylan tinha um delito grave,

0:07:55.015,0:07:56.761
mas Bernard não.

0:07:57.818,0:08:00.884
Isso é importante,[br]pois, quanto maior a pontuação,

0:08:00.908,0:08:04.381
maior a chance de se receber[br]uma sentença mais severa.

0:08:06.294,0:08:08.058
O que que está havendo?

0:08:08.416,0:08:10.268
Branqueamento dos dados.

0:08:10.930,0:08:15.357
É um processo por meio do qual tecnólogos[br]escondem verdades sujas

0:08:15.381,0:08:18.832
dentro da caixa-preta dos algoritmos,[br]e os chamam de objetivos,

0:08:19.320,0:08:21.738
de meritocráticos.

0:08:22.908,0:08:27.943
Cunhei um termo para esses algoritmos[br]secretos, importantes e destrutivos:

0:08:28.038,0:08:30.037
"armas de destruição em matemática".

0:08:30.061,0:08:32.995
(Aplausos) (Vivas)

0:08:34.577,0:08:37.081
Eles estão por toda parte,[br]e isso não é um erro.

0:08:37.695,0:08:41.368
Trata-se de empresas privadas[br]criando algoritmos privados

0:08:41.392,0:08:42.894
para fins privados.

0:08:43.214,0:08:46.428
Mesmos aqueles que mencionei,[br]para os professores e a polícia,

0:08:46.452,0:08:50.351
foram criados por empresas privadas[br]e vendidos a instituições governamentais.

0:08:50.470,0:08:54.633
Eles os chamam de seu "molho secreto",[br]e por isso não nos contam sobre eles.

0:08:54.649,0:08:57.589
Isso é poder privado também.

0:08:57.924,0:09:02.879
Eles estão lucrando para exercerem[br]a autoridade do inescrutável.

0:09:04.994,0:09:08.818
Vocês podem achar, já que isso é privado[br]e não há competição,

0:09:08.828,0:09:11.470
que talvez o livre comércio[br]resolva o problema.

0:09:11.584,0:09:12.833
Não vai resolver.

0:09:12.857,0:09:16.397
Há muito dinheiro[br]a ser ganho com a injustiça.

0:09:17.127,0:09:20.726
Além disso, não somos[br]agentes econômicos racionais.

0:09:21.031,0:09:22.703
Somos todos tendenciosos.

0:09:22.960,0:09:26.337
Somos todos racistas e intolerantes[br]de maneiras que desejávamos não ser,

0:09:26.361,0:09:29.090
de maneiras das nem temos consciência.

0:09:29.352,0:09:32.433
No entanto, sabemos disso

0:09:32.457,0:09:35.677
porque os sociólogos têm[br]demonstrado isso consistentemente

0:09:35.701,0:09:39.696
com experimentos nos quais[br]enviam um monte de currículos,

0:09:39.696,0:09:41.142
todos igualmente qualificados,

0:09:41.142,0:09:44.563
mas alguns com nomes que parecem[br]ser de brancos, e outros, de negros,

0:09:44.563,0:09:47.151
e os resultados são sempre frustrantes.

0:09:47.360,0:09:49.281
Então, nós somos tendenciosos,

0:09:49.305,0:09:52.734
e estamos instilando[br]esses preconceitos nos algoritmos

0:09:52.758,0:09:54.570
quando escolhemos quais dados coletar,

0:09:54.594,0:09:58.907
como quando escolhi descartar o Miojo,[br]porque decidi que ele era irrelevante.

0:09:59.010,0:10:04.694
Mas, ao confiar em dados[br]que se baseiam em práticas do passado

0:10:04.718,0:10:06.732
e ao escolher a definição de sucesso,

0:10:06.756,0:10:10.739
como podemos esperar[br]que os algoritmos saiam incólumes?

0:10:10.763,0:10:13.579
Não dá, temos de fiscalizá-los.

0:10:14.165,0:10:15.874
Temos de checar se são justos.

0:10:15.898,0:10:18.609
A boa notícia é que isso é possível.

0:10:18.633,0:10:21.985
Os algoritmos podem ser questionados,

0:10:22.009,0:10:24.043
e eles sempre vão nos dizer a verdade.

0:10:24.067,0:10:26.560
E podemos repará-los, aperfeiçoá-los.

0:10:26.584,0:10:28.959
Podemos chamar de auditoria de algoritmos,

0:10:28.983,0:10:30.662
e vou mostrar como seria.

0:10:30.686,0:10:33.612
Primeiro, temos de checar[br]a integridade dos dados.

0:10:34.132,0:10:36.789
Para o algoritmo de risco[br]de recidiva que mencionei,

0:10:37.582,0:10:41.155
checar a integridade dos dados[br]significa aceitarmos o fato

0:10:41.179,0:10:44.705
de que, nos EUA, brancos e negros[br]fumam maconha na mesma proporção,

0:10:44.729,0:10:47.214
mas os negros têm[br]muito mais chance de serem presos,

0:10:47.238,0:10:50.762
quatro ou cinco vezes mais,[br]dependendo da região.

0:10:51.317,0:10:54.143
E como esse viés surge[br]em outras categorias de crime

0:10:54.167,0:10:55.978
e como justificamos isso?

0:10:56.162,0:10:59.201
Segundo, devemos pensar[br]na definição de sucesso,

0:10:59.225,0:11:00.606
auditar esse conceito.

0:11:00.630,0:11:03.382
Lembram-se do algoritmo[br]de contratação de que falei?

0:11:03.406,0:11:06.571
Alguém que trabalhou por quatro anos[br]e foi promovido uma vez?

0:11:06.595,0:11:08.434
Bem, esse é um empregado de sucesso,

0:11:08.434,0:11:11.467
mas é também um empregado[br]que tem apoio da cultura da empresa.

0:11:11.789,0:11:13.905
Isso pode ser bem tendencioso.

0:11:13.905,0:11:16.104
Precisamos separar essas duas coisas.

0:11:16.128,0:11:19.694
Deveríamos nos mirar[br]na audição às cegas de orquestras.

0:11:19.698,0:11:22.554
É quando os examinadores[br]ficam atrás de uma planilha.

0:11:22.946,0:11:24.877
O importante aí

0:11:24.901,0:11:28.318
é que os examinadores[br]decidem o que é importante

0:11:28.342,0:11:30.371
e o que não é,

0:11:30.395,0:11:32.744
e não se distraem com outras coisas.

0:11:32.961,0:11:35.710
Quando as audições às cegas[br]de orquestras começaram,

0:11:35.734,0:11:39.428
o número de mulheres em orquestras[br]cresceu cinco vezes mais.

0:11:40.253,0:11:42.808
Depois, temos de considerar o rigor.

0:11:43.043,0:11:47.327
É aí que o modelo valor agregado para[br]professores fracassaria imediatamente.

0:11:47.578,0:11:49.740
Nenhum algoritmo é perfeito, claro,

0:11:50.620,0:11:54.575
assim, temos de partir[br]do pressuposto de que todos erram.

0:11:54.676,0:11:59.195
Qual a frequência desses erros,[br]e com quem esse modelo falha?

0:11:59.850,0:12:01.568
Qual o preço desse fracasso?

0:12:02.434,0:12:04.641
E, finalmente, temos de considerar

0:12:05.973,0:12:08.699
os efeitos de longo prazo dos algoritmos,

0:12:08.796,0:12:11.413
os círculos viciosos que são gerados.

0:12:11.446,0:12:14.472
Isso parece abstrato, mas imaginem[br]se os engenheiros do Facebook

0:12:14.472,0:12:16.300
tivessem considerado isso

0:12:16.300,0:12:21.485
antes de decidirem nos mostrar[br]apenas coisas que nossos amigos postam.

0:12:21.761,0:12:25.305
Tenho mais duas mensagens,[br]uma para os cientistas de dados.

0:12:25.450,0:12:28.859
Cientistas de dados: não devemos[br]ser os árbitros da verdade.

0:12:29.520,0:12:33.303
Devemos ser tradutores[br]dos debates éticos que ocorrem

0:12:33.327,0:12:34.981
na sociedade como um todo.

0:12:35.579,0:12:37.712
(Aplausos) (Vivas)

0:12:37.736,0:12:39.702
E os demais,

0:12:40.011,0:12:43.547
os que não são cientistas de dados:[br]isso não é um teste de matemática.

0:12:43.632,0:12:45.990
Essa é uma luta política.

0:12:46.587,0:12:50.844
Precisamos exigir prestação de contas[br]dos "senhores dos algoritmos".

0:12:51.468,0:12:53.617
(Aplausos) (Vivas)

0:12:53.641,0:12:57.730
A era da fé cega[br]no Big Data tem de acabar.

0:12:57.730,0:12:59.057
Muito obrigada.

0:12:59.081,0:13:01.994
(Aplausos) (Vivas)