Come abbiamo trovato il peggior posto per parcheggiare a New York -- con i big data

Gli uffici delle città hanno accesso ad enormi quantità di dati e statistiche che riflettono ogni aspetto della vita urbana. Ma, come suggerisce l'analista Ben Wellington in questo intervento, a volte non sanno proprio che farne. Wellington dimostra come la combinazione di domande inaspettate e di una consultazione intelligente dei dati possa generare prospettive d'osservazione insolite e utili, e condivide alcuni consigli su come rilasciare grandi quantità di dati in modo da renderli fruibili per tutti.

10.000 km di strade,

1.000 km di tratte metropolitane,

650 km di piste ciclabili

e poco meno di 1 km di tramvia,

se siete mai stati a Roosevelt Island.

Questi sono i numeri delle infrastrutture
di New York City,

le statistiche
delle nostre infrastrutture.

Sono numeri che si trovano
nei report degli uffici comunali.

Il Dipartimento dei Trasporti
sarà orgoglioso nel dire

di quanti km di strade si occupa.

L'MTA si sarà vantata dei km
di tratta metropolitana.

La maggior parte degli uffici
ci dà delle statistiche.

Da un resoconto di quest'anno

della Commissione Taxi e Limousine

apprendiamo che ci sono circa
13.500 taxi qui a New York City.

Interessante, no?

Ma avete mai pensato
"Da dove vengono questi numeri"?

Perché se questi numeri esistono,
qualcuno lì in ufficio

si è fermato e ha detto: "Ok, questo
è un numero che qualcuno vorrebbe sapere".

Un numero che i cittadini
vorrebbero conoscere.

Sono tornati ai loro dati grezzi,

hanno contato, aggiunto, calcolato,

e poi hanno emesso dei rapporti

e quei rapporti hanno numeri come questi.

Il punto è: come conoscono
le nostre domande?

Abbiamo un sacco di domande.

In qualche modo esiste un numero
infinito di domande

da porci sulla nostra città.

Gli uffici non potranno
mai stare al passo.

Quindi il paradigma non sta funzionando

e credo che i nostri legislatori
se ne siano accorti,

perché nel 2012 il sindaco Bloomberg
ha firmato una legge che ha definito

"La legge più ambiziosa e globale
di tutto il Paese sui dati aperti".

Sotto molti aspetti ha ragione.

Negli ultimi 2 anni
la città ha rilasciato 1.000 dataset

sul portale degli open data.

È fantastico,

perché guardiamo questi dati

e invece di contare
solo il numero dei taxi

possiamo iniziare a farci
domande diverse.

Ho una domanda.

Qual è l'ora di punta a New York?

Può essere seccante,
qual è esattamente l'ora di punta?

E ho pensato che questi taxi
non sono solo numeri:

sono dei GPS che girano
per le strade della nostra città,

registrando ogni singola corsa.

Ho guardato questi dati

e ho fatto uno schema della velocità media
dei taxi a New York durante il giorno.

Potete vedere come,
da mezzanotte alle 5.18 circa,

la velocità aumenti e da quel punto
le cose cambiano.

I taxi vanno sempre più lenti
fino a circa le 8.35,

quando arrivano a circa 18 km/h.

In media i taxi procedono a 18 km/h
sulle nostre strade.

E così sarà per il resto della giornata.
(Risate)

Quindi mi sono detto che non c'è
nessuna ora di punta a New York.

È tutto un "giorno di punta".

Ha senso, ed è importante
per un paio di motivi.

Se sei un pianificatore di itinerari
ti interessa molto saperlo.

Se vuoi andare velocemente
da qualche parte

sai che devi mettere la sveglia
alle 4.45 e sei a posto.

New York, no?

Ma c'è una storia dietro.

Questo dato non era accessibile,

si è ottenuto con una richiesta

in seguito alla legge per la libertà
di informazione, o FOIL.

È un modulo che si trova sul sito
della Commissione Taxi e Limousine.

Per accedere a questi dati
devi prendere questo modulo,

compilarlo e poi riceverai una notifica.

Un ragazzo, Chris Whong, ha fatto così.

Chris è andato e gli hanno detto:

"Portaci un hard disk vergine,

lasciacelo per cinque ore,
copieremo i dati e te lo riprenderai".

Ed ecco da dove vengono questi dati.

Chris è il tipo
che vuole rendere pubblici i dati,

così li mise online per tutti
ed ecco da dove viene questo grafico.

E il fatto che esista è fantastico.
Questi GPS -- bellissimo.

Ma il fatto che dei cittadini
gìrino con degli hard disk,

prendendo dati dai comuni
per renderli pubblici

-- erano già pubblici più o meno.
Potevi accedervi,

ma erano "disponibili",
non pubblici.

Possiamo fare di meglio.

Non serve che i nostri cittadini
vadano in giro con degli hard disk.

Non tutti i dataset sono vincolati
da una richiesta per visionarli.

Questa è una mappa che ho fatto
degli incroci più pericolosi di New York,

basata sugli incidenti dei ciclisti.

Le aree in rosso sono più pericolose.

Mostra come l'East side di Manhattan,

specialmente nell'area a sud,
è quella in cui ci sono più incidenti.

E questo ha senso, perché lì ci sono
più ciclisti che scendono dai ponti.

Ma ci sono anche altre
zone interessanti.

Williamsburg,
Roosevelt Avenue nel Queens.

Questi sono esattamente i dati
che ci servono per Vision Zero.

È quello che stavamo cercando.

Ma anche dietro questi dati
c'è una storia.

Questi dati non sono
semplicemente apparsi.

Quanti di voi conoscono questo logo?

Bene, vedo che annuite.

Avete mai provato
a fare copia-incolla da un PDF

e dargli un senso?

Vedo che annuite di più.

Fate copia-incolla più di quanto
conosciate il logo. Mi piace.

Dunque, i dati che avete appena visto
si trovavano su un PDF.

Ci sono centinaia e centinaia
di pagine in PDF

emesse dal nostro NYPD.

Per accedervi dovreste fare
copia-incolla

per centinaia e centinaia di ore.

Oppure potreste essere John Krauss.

Lui pensò:

"Non farò copia-incolla,
scriverò un programma".

Si chiama NYPD Crash Data Band-Aid

Va sul sito del NYPD,
e scarica i PDF.

Cerca ogni giorno,
e se trova un PDF lo scarica.

Poi, con qualche programma
che raschia via il PDF,

viene fuori il testo,

che poi finisce su internet così che
la gente possa fare mappe come questa.

E il fatto che questi dati,
il fatto che abbiamo l'accesso...

-- A proposito, ogni incidente
è una stringa su questa tabella:

immaginate quanti PDF sono --

È fantastico poter
accedere a questi dati,

ma non rilasciateli in formato PDF,

perché poi i nostri cittadini
dovranno decriptarli.

Non è l'uso migliore
del tempo dei cittadini,

e come città possiamo fare di meglio.

La buona notizia è che
l'amministrazione De Blasio

ha pubblicato questi dati
qualche mese fa

e quindi possiamo accedervi,

ma ci sono ancora
tanti dati sepolti in PDF.

Ad esempio i dati sul crimine
sono disponibili solo in PDF.

E non solo quelli,
anche quelli sul bilancio.

Il bilancio della nostra città
al momento è leggibile solo in PDF.

E non solo noi
non possiamo analizzarlo,

ma anche i legislatori
che approvano il bilancio

lo ricevono in PDF.

Quindi i nostri legislatori non possono
analizzare il bilancio che stanno votando.

E credo, anche qui, che come città
potremmo fare un po' meglio.

Ci sono molti dati non nascosti in PDF.

Questa è una mappa che ho fatto

sui corsi d'acqua
più sporchi di New York.

Come misuro lo sporco?

È un po' strano,

ma ho guardato il livello
dei coliformi fecali,

una misurazione delle sostanze fecali
in ognuno dei nostri corsi d'acqua.

Più grande è il cerchio,
più sporca è l'acqua.

Quindi nei cerchi ampi acqua sporca,
in quelli piccoli quella più pulita.

Sono corsi d'acqua interni.

Sono i dati che sono stati raccolti
in città negli ultimi 5 anni.

E i corsi interni
di solito sono più sporchi.

Ha senso, no?

I cerchi grandi sono sporchi.
Ho imparato un po' di cose.

Numero uno: mai nuotare in niente
che inizi con "torrente" o "canale".

Numero due: ho trovato i corsi d'acqua
più sporchi di New York,

con questa unica misurazione.

A Coney Island,

non la Coney Island in cui nuotate,

dall'altra parte,

nel torrente di Coney Island il 94%
dei campioni degli ultimi cinque anni

il livello di sostanze fecali
era così alto

che avrebbe dovuto essere
illegale nuotarci.

E questo non è il genere di cose
che trovate nei resoconti ufficiali, no?

Non finirà sulla homepage di nyc.gov .

Non lo troverete lì,

ma il fatto che possiamo arrivare
a questo dato è fantastico.

Ma di nuovo, non è stato facilissimo:

i dati non erano sul portale open data.

Se ci andate,

troverete solo un frammento
di un anno o pochi mesi.

Stava sul sito del Dipartimento
per la Protezione Ambientale.

Ognuno di questi link è un foglio Excel
e ogni foglio Excel è diverso.

Ogni intestazione è diversa:
copi, incolli, riorganizzi.

Puoi creare delle mappe
ed è fantastico, ma

possiamo fare di meglio,
possiamo normalizzare le cose.

E ci stiamo arrivando.
Questo è il sito di Socrata,

l' Open Data Portal NYC.

Qui ci sono 1.100 dataset
che non hanno

i difetti di cui vi parlavo,

stanno aumentando
ed è fantastico.

Potete scaricare i dati in ogni formato,
CSV, PDF o documento Excel.

Potete scaricare i dati
in qualunque modo vogliate.

Il problema è che una volta fatto

scoprirete che ogni ufficio codifica
gli indirizzi diversamente.

Uno è il nome della strada,
l'incrocio,

via, distretto, indirizzo,
edificio, ecc.

Quindi si spreca ancora del tempo
nonostante il portale.

Si spreca tempo normalizzando
i campi per gli indirizzi.

E non è l'uso migliore
del tempo di noi cittadini.

Possiamo fare di meglio come città.

Possiamo standardizzare gli indirizzi

e, se lo facciamo,
avremo più mappe del genere.

Questa è una mappa
degli idranti a New York.

Ma non idranti qualsiasi.

Sono i 250 idranti più redditizi
in termini di multe per divieto di sosta.

(Risate)

Ho imparato un po' di cose da questa mappa
e mi piace molto.

Numero uno: non parcheggiare
nell'Upper East Side.

Non farlo: non importa dove parcheggi,
ti beccherai comunque una multa.

Numero due: ho trovato i due
idranti più redditizi di tutta New York,

che si trovano nel Lower East Side.

Hanno fruttato più di 55.000 dollari
l'anno in multe.

Mi è sembrato un po' strano
quando l'ho visto,

quindi ho indagato un po'
e ho scoperto che attorno a un idrante

c'è una cosa chiamata
estensione del marciapiede,

che è tipo uno spazio
calpestabile di 2 metri

e poi c'è il posto auto.

Quindi le macchine arrivano...

"C'è spazio, sono a posto"

C'è un posto auto
disegnato per loro.

Parcheggiano lì,
la polizia non è d'accordo

e li multa.

E non sono l'unico
che ha trovato la multa.

L'ha vista anche la Google Street View car
mentre passava da lì.

Quindi ho scritto sul mio blog,
su I Quant NY

e il Dipartimento dei Trasporti rispose.

Mi hanno detto:

"Sebbene il DOT non abbia ricevuto
lamentele su questa posizione,

rivedremo la segnaletica
e apporteremo le modifiche opportune".

Pensai che fosse
la classica risposta del Governo,

e andai avanti con la mia vita.

Ma qualche settimana dopo
accadde qualcosa di incredibile.

Avevano ridipinto il parcheggio,

e per un secondo ho visto
il futuro degli open data.

Pensate a cosa è successo.

Per cinque anni chi parcheggiava lì
veniva multato, c'era confusione,

e poi un cittadino
lo dice all'amministrazione

e nel giro di poche settimane
il problema è risolto.

Bene! Molti vedono gli open data
come un cane da guardia.

No, può anche essere un compagno.

Possiamo rendere i cittadini
dei collaboratori migliori per il governo.

Non è difficile,
occorrono solo piccoli cambiamenti.

Se ricevi richieste per dei dati,

se i tuoi dati sono richiesti
sempre più spesso,

allora rendili pubblici, perché
è un segnale che dovrebbero esserlo.

Se sei un ufficio governativo
che rilascia file in PDF,

attieniti alla legge che ti impone
di allegare anche i dati relativi,

perché quei dati vengono
da qualche parte.

Non so da dove,
ma da qualche parte arrivano,

e puoi allegarli al PDF.

Adottiamo e condividiamo
degli standard sui dati aperti.

Iniziamo con gli indirizzi di New York.

Iniziamo a normalizzare gli indirizzi.

Perché New York è leader
negli open data.

Nonostante tutto,
siamo assolutamente dei leader,

e se iniziamo a normalizzarci
fissiando standard per gli open data,

il resto verrà, lo stato e forse
il governo ci seguiranno.

E anche altri paesi ci seguiranno,

e non saremo lontani dal momento
in cui potremo scrivere un programma

e una mappa unica
per più di 100 paesi.

Non è fantascienza, ci siamo vicini.

E a proposito,
a chi daremmo più forza così?

Perché non sarebbe solo
John Krauss o Chris Whong.

Ci sono centinaia di incontri in corso
a New York in questo momento.

Incontri attivi.

Ci sono migliaia di persone
a questi incontri.

Persone che vanno
dopo il lavoro, o nel weekend,

e partecipano per osservare gli open data

e rendere la nostra città
un posto migliore.

Gruppi come BetaNYC,
che proprio la scorsa settimana

ha rilasciato citygram.nyc

che permette di sottoscrivere
le lamentele al 311

su casa vostra, o sull'ufficio.

Inserisci l'indirizzo e trovi
le lamentele locali.

E non sono solo gli esperti di tecnologia
a fare queste cose.

Sono gli urban planner come
i miei studenti del Pratt.

Sostenitori politici... chiunque.

Sono cittadini coi più diversi background.

Con piccoli cambiamenti incrementali,

possiamo sbloccare la passione
e la capacità dei nostri cittadini

di elaborare gli open data
e rendere migliori le nostre città,

un dataset - o un posto auto - per volta.

Grazie.

(Applausi)