Como conseguimos encontrar o pior lugar para estacionar em Nova York usando uma enorme base de dados

Os órgãos municipais têm acesso a uma riqueza de dados e estatísticas que retratam cada um dos aspectos da vida urbana. No entanto, como o analista de dados Ben Wellington sugere nessa espirituosa palestra, algumas vezes eles simplesmente não sabem o que fazer com tantos dados. Assim, ele mostra como a combinação de perguntas surpreendentes com uma consulta inteligente aos dados consegue produzir percepções curiosamente úteis, e compartilha dicas sobre como divulgar grandes volumes de dados, de modo que qualquer pessoa consiga usá-los.

Dez mil quilômetros de estradas,

mil quilômetros de trilhos de metrô,

650 quilômetros de ciclovias,

e 800 metros de bonde elétrico

se já esteve em Roosevelt Island.

Esses são os números relativos
à infraestrutura de Nova York.

São estatísticas da nossa infraestrutura.

Números divulgados em relatórios
de órgãos municipais,

como a Secretaria de Transporte,
que orgulhosamente informa

quantos quilômetros de estradas mantém.

O "MTA" vai se gabar da extensão
das linhas do metrô.

A maioria desses órgãos
fornece estatísticas.

Estas são de um relatório deste ano

da Comissão de Táxis e Limusines,

em que descobrimos que há cerca
de 13.500 táxis aqui em Nova York.

Bem interessante, né?

Mas já se perguntaram
de onde esses números vêm?

Pois, para esses números
existirem, alguém na prefeitura

precisa parar e dizer: eis aqui um número
que alguém pode querer saber.

Eis um número que os cidadãos
querem saber.

Daí, voltam para seus dados brutos,

eles contam, adicionam, calculam

e aí publicam relatórios,

e esses relatórios têm números assim.

O problema é: como eles
conhecem todas nossas dúvidas?

Temos muitas perguntas.

De fato, há literalmente
um número infinito de perguntas

que podemos fazer sobre a cidade.

Os órgãos do governo não dão conta.

Assim, o paradigma não funciona, e acho
que nossos urbanistas percebem isso,

pois, em 2012, o prefeito Bloomberg
sancionou uma lei que chamou

de a mais ambiciosa e abrangente
legislação de dados abertos do país.

Ele está mesmo certo.

Nos últimos dois anos, a cidade divulgou
mil arquivos de dados nesse portal,

e é bem impressionante.

Então, vamos lá e vemos dados como estes

e, em vez de só contar o número de táxis,

podemos fazer diversas perguntas.

Eu tinha uma pergunta:

qual é o horário de pico em Nova York?

Que é uma coisa bem chata.
Qual é o horário de pico?

E pensei comigo mesmo,
esses táxis não são só números,

são registros de GPS
rodando por nossas ruas,

registrando cada corrida que fazem.

Há dados aí, e olhei para esses dados

e calculei a velocidade média
dos táxis em Nova York durante o dia.

Dá para ver que, da meia-noite
até cerca das 5h18 da manhã,

a velocidade aumenta e, a partir daí,
as coisas se invertem,

e eles ficam cada vez mais lentos
até cerca das 8h35 da manhã,

quando acabam rodando
em torno dos 17 km/h.

O táxi comum roda a 17 km/h
nas ruas da cidade,

e acontece de ficar assim

o dia inteiro.

(Risos)

Daí pensei, acho que não
existe horário de pico em Nova York,

existe apenas dia de pico.

Faz sentido, e isso é importante
por diversas razões.

Para um gestor de transportes,
deve ser bem interessante saber isso.

Mas, se quiser chegar
a um lugar rápido,

agora sabe que basta ajustar o alarme
para 4h45 da manhã, e pronto.

É Nova York, certo?

Mas há uma história aí.

Esses dados não estavam
disponíveis dessa forma.

Na verdade, vieram da chamada
legislação sobre liberdade de informação,

ou solicitação de informação.

Este é um formulário no site
da Comissão de Táxis e Limusines.

Para acessar os dados, é preciso
pegar este formulário,

preenchê-lo, e depois eles te notificam.

Daí, um cara chamado Chris Whong
fez exatamente isso.

Chris foi lá, e disseram para ele:

"Traga um HD novinho em folha
ao nosso escritório,

deixe-o aqui por cinco horas, copiamos
os dados e você busca-o de volta".

E foi daí que vieram esses dados.

Chris é o tipo de cara que quer
tornar públicos esses dados,

para estarem on-line para todos,
e esse gráfico veio daí.

E o fato disso existir é incrível.
Esses registros de GP: muito legais.

Mas os cidadãos precisarem
andar por aí com HDs,

coletando esses dados
para torná-los públicos,

quando já eram meio
que públicos, acessíveis,

mas não eram públicos, eram "públicos".

O governo pode fazer melhor que isso.

Não faz sentido nossos cidadãos
andando por aí com HDs.

Mas nem todos os dados dependem
de uma solicitação de informação.

Eis um mapa que fiz dos cruzamentos
mais perigosos de Nova York,

baseado em acidentes com ciclistas.

As áreas vermelhas são as mais perigosas.

E a primeira a aparecer
é o East Side de Manhattan,

especialmente a área mais baixa,
com maior número de acidentes.

Isso faz sentido, pois ali há
mais ciclistas vindo das pontes.

Mas há outros lugares dignos de atenção,

como Williamsburg
e a Avenida Roosevelt, no Queens.

E é exatamente o tipo de dado
que precisamos para o "Vision Zero".

É exatamente o que estamos procurando.

Há uma história atrás desses dados também.

Eles não surgiram do nada.

Quantos aqui conhecem essa logomarca?

É, algumas mãos levantadas.

Já tentaram copiar e colar
dados de um arquivo PDF

e depois decifrá-los?

Mais mãos agora.

Mais pessoas tentam copiar e colar
do que conhecem a logomarca. Gostei!

Na verdade, os dados que acabaram
de ver estavam em PDF.

De fato, centenas e centenas
de páginas em PDF

disponibilizadas pela nossa polícia

e, para acessar, ou copiam e colam

durante centenas de horas,

ou fazem como John Krauss.

John Krauss pensou:

"Não vou copiar e colar esses dados.
Vou escrever um programa."

Ele se chama "NYPD Crash Data Band-Aid",

e vai no site da polícia e baixa os PDFs.

Todos os dias o programa procura;
se encontrar um PDF, ele baixa,

roda um programa que extrai
os dados do PDF,

produz um texto

e coloca na Internet, para que
as pessoas possam fazer mapas assim.

E o fato de os dados estarem aqui,
o fato de termos acesso a eles...

Aliás, cada linha dessa
tabela é um acidente.

Imaginem quantos PDFs há aqui.

O fato de termos acesso a isso é ótimo,

mas vamos parar de liberar em PDF,

pois daí nossos cidadãos vão
ter de extrair dados do PDF.

E isso é desperdício
do tempo dos cidadãos,

e a prefeitura pode fazer melhor que isso.

Bem, a boa notícia
é que a administração Blasio

liberou esses dados poucos meses atrás,

e agora então podemos de fato acessá-los,

mas ainda há uma porção
de dados escondidos em PDF.

Por exemplo, nossos dados criminais
estão disponíveis apenas em PDF.

E não apenas os dados criminais,
o próprio orçamento do município.

Nosso orçamento é legível
apenas no formato PDF.

Não somos os únicos
a não conseguir analisá-los.

Nossos legisladores,
que votam o orçamento,

também apenas o acessam em PDF.

Daí, nossos legisladores não conseguem
analisar o orçamento que estão votando.

E acho que a cidade pode fazer
um pouco melhor que isso.

Mas há uma porção de dados
não escondidos em PDFs.

Eis um exemplo de um mapa que fiz
com as hidrovias mais sujas de Nova York.

Bem, como medi essa sujeira?

Foi de um jeito um pouco estranho,

mas olhei o nível dos coliformes fecais,

que é uma medida da matéria fecal
em cada uma das nossas hidrovias.

Quanto maior o círculo, mais suja a água,

Assim, os círculos grandes são água suja,
e os menores, mais limpa.

O que veem são hidrovias internas.

Todos esses dados foram coletados
pela prefeitura nos últimos cinco anos.

E as hidrovias internas são,
em geral, mais sujas.

Faz sentido, não é mesmo?

Os círculos maiores são sujos.
E concluí algumas coisas daí.

Primeira, nunca nadem em algo
que termine com "creek" ou "canal".

Segundo, também descobri a hidrovia
mais suja de Nova York

com essa medida, uma medida.

Em Coney Island Creek,

que não é a Coney Island onde nadam,
felizmente, é do outro lado,

mas 94% das amostras coletadas lá

nos últimos cinco anos
tinham níveis fecais tão altos

que deveria ser contra a lei
nadar naquela água.

E esse não é o tipo de fato que se vê
divulgado num relatório municipal, né?

Não vai estar na primeira
página do nyc.gov.

Não vão ver isso lá,

mas o fato de podermos
acessar esses dados é incrível.

Mas, repito, não foi superfácil,

pois não estavam no portal aberto.

No portal dos dados abertos,

havia apenas parte deles,
um ano ou poucos meses.

Eles estavam no site
da Secretaria do Meio Ambiente.

E cada um desses links é uma planilha
Excel, e cada planilha é diferente.

Cada cabeçalho é diferente:
você copia, cola, reorganiza.

E aí pode fazer mapas, o que é ótimo,

mas a cidade pode fazer melhor,
padronizando os dados.

E estamos chegando lá, pois
há este site feito pela Socrata,

chamado "Open Data Portal NYC".

Aqui é onde ficam 1.100 arquivos
sem esses problemas que mencionei,

e esse número está crescendo,
o que é ótimo.

Vocês podem baixar dados em qualquer
formato, CSV, PDF ou Excel.

O que quiserem, podem baixar
do jeito que for melhor.

O problema é, uma vez feito isso,

vão descobrir que cada órgão codifica
os endereços de forma diferente.

Assim, podemos ter
nome da rua, cruzamento,

rua, bairro, endereço, edifício,
endereço do prédio.

Então, gasta-se muito tempo,
mesmo tendo o portal,

gasta-se tempo padronizando
nossos campos de endereço.

E esta não é a melhor forma
de usarmos nosso tempo.

Podemos fazer melhor como cidade.

Podemos padronizar
nossos endereços

e, assim, vamos ter mais mapas como este.

Este é um mapa de hidrantes de Nova York,

mas não de quaisquer hidrantes.

Estes são os 250 hidrantes
campeões de multas de trânsito.

(Risos)

Assim, aprendi algumas coisas
com este mapa, e realmente gosto dele.

Primeiro, não estacione
no Upper East Side.

De jeito nenhum. Não importa onde
parar, vai levar uma multa de hidrante.

Segundo, descobri os hidrantes
campeões de multa em Nova York.

Eles estão no Lower East Side

e arrecadam mais de US$ 55 mil por ano
em multas de estacionamento proibido.

E achei estranho quando vi isso.

Então pesquisei um pouco mais,
e acontece que há um hidrante

e algo chamado extensão da calçada,

um lugar de uns dois metros para andar,
e depois um lugar para estacionar.

Então os carros chegam e veem o hidrante:
"A vaga vai até lá, estou bem",

na verdade, a vaga está
lá demarcada bonitinha.

Daí, estacionam ali, mas a polícia
discorda dessa marcação e multa.

E não fui o único a levar uma multa.

Vejam só o carro do Street View do Google
ali com a mesma multa de trânsito.

Daí, escrevi sobre isso no meu blog,
"I Quant NY", e o "DOT" respondeu:

"Apesar de o 'DOT' não ter recebido
qualquer reclamação sobre esse lugar,

vamos rever a marcação na pista
e fazer as alterações necessárias."

E pensei cá comigo:
resposta típica do governo,

tudo bem, vou cuidar da minha vida.

Mas, aí, poucas semanas depois,
algo incrível aconteceu.

Repintaram o lugar,

e por um segundo vislumbrei
o futuro dos dados abertos,

pois vejam só o que aconteceu aqui.

Durante cinco anos, nesse lugar
levamos multas, e era confuso,

daí, um cidadão descobriu isso,
avisou à prefeitura e, em poucas semanas,

o problema foi resolvido. Incrível!

E há quem veja isso como um vigia.
Não é, tem a ver com parceria.

Empoderar os cidadãos para serem
melhores parceiros do governo.

E não é tão difícil assim,
só precisamos de algumas mudanças.

Se camuflarem os dados, e os cidadãos
tiverem de requisitá-los todas as vezes,

melhor liberá-los, é sinal de que é
preciso torná-los públicos.

E, se você é um órgão do governo
liberando um PDF,

vamos aprovar legislação que exija
publicar isso com os dados originais,

pois esses dados vêm de algum lugar,
não sei de onde,

mas vêm, e depois podem
publicá-los em PDF.

E adotar e compartilhar
padrões de dados abertos.

Vamos começar com nossos
endereços aqui em Nova York.

Vamos padronizar nossos endereços,
pois somos referência nos dados abertos.

Apesar desses problemas,
somos líderes absolutos nisso.

Se estabelecermos um padrão
para os dados, outros vão nos seguir.

O resto do estado e talvez
o governo federal.

Sei que parece loucura,
mas outros países poderiam seguir,

e não estamos tão longe assim
de escrever um programa

para mapear informação de 100 países.

Não é ficção científica.
Estamos bem perto disso, na verdade.

E, a propósito, quem estamos
empoderando com isso?

Não é apenas John Krauss ou Chris Whong.

Há centenas de reuniões acontecendo
em Nova York agora mesmo.

Reuniões ativas, com milhares
de pessoas participando

depois do trabalho e nos finais de semana,
analisando dados abertos,

para tornar nossa cidade melhor.

Grupos como "BetaNYC", que semana
passada lançou o citygram.nyc,

que dá acesso às reclamações feitas
no site da prefeitura, por região.

É só colocar o endereço
e acessar as reclamações.

E não é apenas a comunidade tecnológica
que está atrás dessas coisas.

São os gestores urbanos,
como meus alunos em Pratt,

agentes de políticas públicas, todo mundo,
cidadãos de diversos segmentos.

E, com algumas mudanças
pequenas, graduais,

podemos estimular a paixão
e a habilidade de nossos cidadãos

para usar os dados disponíveis
e tornar nossa cidade ainda melhor,

seja com um arquivo de dados,
ou com um lugar para estacionar.

Obrigado.

(Aplausos)