Kako smo našli najslabši prostor za parkiranje v New Yorku — z uporabo masivnih podatkov

Mestne agencije imajo dostop do bogastva podatkov in statistik, ki odsevajo vsakodnevno mestno življenje. A kot analitik podatkov Ben Wellington predlaga v tem govoru, včasih ne vedo, kaj z njimi početi. Pokaže, kako kombinacija nepričakovanih vprašanj in pametna obdelava podatkov lahko prineseta nenavadno uporabne rezultate, in deli nasvete, kako izdajati velike sete podatkov, da bi jih lahko uporabil vsak.

9656 kilometrov cest,

965 kilometrov podzemne železnice,

643 kilometrov kolesarskih poti,

in 804 metri tramvajske proge

če ste kdaj bili na Roosevelt Island-u.

To so številke, ki sestavljajo
infrastrukturo mesta New York.

To je statistika naše infrastrukture.

To so številke, ki jih lahko najdete
v poročilih mestnih agencij.

Na primer, Oddelek za transport
vam bo najbrž povedal

koliko kilometrov ceste nadzorujejo.

MTA se hvali, koliko km
podzemne železnice je tu.

Večina mestnih agencij nam da statistiko.

To je poročilo iz tega leta

iz Komisije za taksije in limuzine,

kjer izvemo da je v mestu New York
13,500 taksijev.

Precej zanimivo, kajne?

Ste kdaj pomislili,
odkod vse te številke?

Da te številke obstajajo,
se je moral nekdo v mestni agenciji

ustaviti in reči, hmm, tu je številka,
ki bi jo nekdo morda hotel vedeti.

Tu je številka,
ki jo želijo vedeti meščani.

Vzamejo gole podatke,

štejejo, dodajajo, računajo

in izdajo poročila,

in ta poročila bodo imela številke,
kot so te.

Težava je, kako vedo
vsa naša vprašanja?

Imamo veliko vprašanj.

Pravzaprav je tu na nek način
dobesedno neskončno število vprašanj,

ki jih lahko vprašamo o mestu.

Agencije nas ne dohajajo.

Paradigma torej ne deluje in mislim,
da naši odločevalci to vedo,

ker je leta 2012 župan Bloomberg
podpisal zakon, ki ga je označil za

najbolj ambiciozen in izčrpen
zakon o dostopnih podatkih v državi.

V veliko stvareh, je imel prav.

V zadnjih dveh letih je mesto izdalo
1000 setov podatkov

na našem portalu dostopnih podatkov

in to je precej neverjetno.

Greste in takole pogledate podatke

in namesto da bi samo
šteli število taksijev,

lahko vprašate različna vprašanja.

Imel sem vprašanje.

Kdaj je prometna konica
v New Yorku?

Lahko je neprijetna.
Kdaj točno je prometna konica?

In pomislil sem,
ti taksiji niso samo številke,

so GPS snemalniki, ki se vozijo
po naših mestnih cestah

in posnamejo vsako vožnjo.

Tu so podatki, in pogledal sem jih,

in grafično sem prikazal povprečno hitrost
taksijev v mestu New York čez dan.

Lahko vidite, da se od polnoči
do okrog 5:18 zjutraj

hitrost poveča in ta tej točki
se stvari obrnejo

in postajajo počasnejše in počasnejše
in počasnejše do 8:35 zjutraj,

ko končajo pri 18 kilometrih
in pol na uro.

Povprečen taksi gre 18 kilometrov
in pol na uro po naših cestah

in izkaže se, da tako ostane

ves dan.

(Smeh)

Pa sem si rekel, v mestu New York
prometna konica ne traja eno uro.

Traja kar cel dan.

To ima smisel.
In je pomembno zaradi nekaj razlogov.

Če si načrtovalec prevoza,
je to zanimiv podatek.

A če bi rad nekam prišel hitro,

veš, da moraš nastaviti alarm
za 4:45 zjutraj in si pripravljen.

New York, kajne?

A za temi podatki je zgodba.

Ti podatki, se izkaže,
niso bili kar na voljo.

Prišli so iz obrazca po zakonu
o javnih informacijah,

oziroma FOIL.

Na strani Komisije za taksije in limuzine
lahko najdete obrazec.

Da bi lahko dostopali do teh informacij,

morate izpolniti obrazec
in obvestili vas bodo

in možakar Chris Whong
je naredil točno to.

Chris je šel tja in povedali so mu:

"Prinesi
nov trdi disk v našo pisarno,

pusti ga tu 5 ur, prekopirali bomo
podatke in ti ga vzameš nazaj."

Od tu so prišli ti podatki.

Chris je take vrste tip,
ki bi rad te podatke naredil javne,

zato so končali na spletu.
Odtod tale graf.

Dejstvo, da to obstaja, je neverjetno.
Ti GPS snemalniki--res so kul.

A dejstvo, da meščani
s trdimi diski hodijo okrog agencij

in dobivajo podatke,
da bi jih objavili--

bili so že delno javni, dostopni,

a bili so "javni", ne pa javni.

Veliko bolje lahko to naredimo kot mesto.

Ni treba, da naši meščani
hodijo naokrog z diski.

Ni vsak set podatkov
posledica obrazca FOIL.

Tu je zemljevid, ki sem ga naredil,
z najbolj nevarnimi križišči v New Yorku,

glede na kolesarske nesreče.

Rdeča področja so bolj nevarna.

Prvo pokaže vzhodni del Manhattna,

še posebej nižji predel Manhattna,
ima več kolesarskih nesreč.

To ima morda smisel,

ker tu pride več kolesarjev z mostov.

A tudi druge vroče točke
velja preučiti.

Tu je Williamsburg.
Pa Rooseveltova Avenija v Queensu.

Točno take podatke
potrebujemo za Vizijo nič.

Točno to iščemo.

A tudi za temi podatki stoji zgodba.

Ti podatki se niso kar pojavili.

Koliko vas pozna tale logo?

Ja, vidim nekaj kimanja.

Ste kdaj poskušali kopirati
podatke iz PDF formata

in jih nato urediti?

Še več kimanja.

Več vas je kopiralo, kot pa
vas je poznalo logo. To mi je všeč.

Zgodilo se je, da so bili ti podatki
pravzaprav v PDF formatu.

Pravzaprav na stotine
in stotine strani PDF,

ki jih je izdala naša NYPD,

in da bi prišli do njih,
bi morali kopirati in lepiti

na stotine in stotine ur,

ali pa bi bili John Krauss.

John Krauss je menil,

ne bom kopiral in lepil teh podatkov.
Program bom napisal.

Imenuje se NYPD obliž za zlomljene podatke

in gre na stran NYPD in naloži PDF-je.

Vsak dan išče; če bi našel PDF,
bi ga naložil

in potem bi zagnal nek PDF pretvornik

in ven bi prišlo besedilo

in potem bi ga dal na internet,
da bi lahko ljudje delali take zemljevide.

Dejstvo, da so ti podatki tu,
dejstvo, da imamo do njih dostop--

Vsaka nesreča, mimogrede,
je ena vrstica.

Predstavljajte si količino PDF-jev.

Dejstvo, da imamo
do tega dostop, je super,

a ne izdajmo jih v PDF obliki,

ker morajo potem naši meščani
napisati PDF pretvornike.

To ni najboljša raba časa naših meščanov,

in mi kot mesto lahko to storimo bolje.

Dobra novica je,
da je administracija župana De Blasia

pravzaprav izdala podatke
pred nekaj meseci,

tako da imamo sedaj
dostop do njih,

a še vedno je veliko podatkov
v formatu PDF.

Na primer, podatki o kriminalu
so še vedno dostopni samo v PDF.

Ne samo podatki o kriminalu,
proračun našega mesta.

Proračun našega mesta
lahko preberete samo v PDF obliki.

Nismo edini,
ki ga ne moremo analizirati--

naši zakonodajalci,
ki glasujejo o proračunu,

ga dobijo samo v PDF obliki.

Tako zakonodajalec ne more
analizirati proračuna, o katerem glasuje.

Mislim, da bi kot mesto
lahko izvedli tudi to malo bolje.

Veliko je podatkov,
ki niso skriti v PDF-jih.

To je primer zemljevida

in na njem so najbolj umazane
vodne poti v New Yorku.

Kako merimo umazanost?

No, malo je čudno,

a pogledal sem raven fekalne bakterije,

s čimer merimo fekalije
v vsaki vodni poti.

Večji ko je krog, bolj umazana je voda,

tako so veliki krogi umazana voda,
manjši krogi so čistejši.

To so kopenske vodne poti.

To so vsi podatki, ki bili pridobljeni
v mestu v zadnjih petih letih.

Kopenske vodne poti so
v večini bolj umazane.

To je logično, kajne?

Večji krogi so bolj umazani.
Iz tega sem se naučil nekaj stvari.

Prvič: Nikoli ne plavaj v nečem
kar se konča s "potok" ali "kanal".

Drugič: prav tako sem našel
najbolj umazano vodno pot v New Yorku

s to meritvijo, eno meritvijo.

V potoku Coney Island, na srečo ne tistem,
v katerem plavate.

Je na drugi strani.

V potoku Coney Island ima 94 % vzorcev,
vzetih v zadnjih petih letih,

tako visoko raven fekalij,

da bi bilo protizakonito
plavati v tej vodi.

In to ni ravno dejstvo,
s katerim bi se hvalili

v mestnem poročilu, kajne?

Ne bo na prvi strani nyc.gov.

Tam ga ne boste videli,

a dejstvo, da lahko dobimo te podatke,
je neverjetno.

A še enkrat, ni bilo zelo lahko,

ker ti podatki niso bili
na prostem portalu.

Če bi odprli prost portal podatkov,

bi videli samo delček,
leto ali pa nekaj mesecev.

Bilo je na strani
Oddelka za okolje.

Vsaka izmed teh povezav je Excelova tabela
in vsaka je drugačna.

Vsak vrh strani je drugačen:
kopiraš, lepiš, preurejaš.

Nato lahko ustvariš zemljevid,
kar je super, a spet

bi lahko kot mesto bolje storili,
lahko bi standardizirali stvari.

Kmalu bomo tam, ker je tu stran,
ki jo izdeluje Socrata,

imenovana Portal prostih podatkov NYC.

Tu je 1100 setov podatkov, ki ne trpijo

za omenjenimi slabostmi,

in ta številka raste, kar je enkratno.

Lahko si naložite podatke v kateremkoli
formatu, naj bo CSV ali PDF ali Excel.

Karkoli želite, lahko si
jih naložite na tak način.

Težava je, da ko to storite,

boste videli, da vsaka agencija
kodira svoj naslov drugače.

Eno je ime ulice, ime križišča,

cesta, mestni okraj,
naslov, stavba, naslov stavbe.

Tako da spet zapravljaš čas kljub portalu,

zapravljaš čas z urejanjem
polj z naslovi.

To ni najboljša raba časa
naših državljanov.

Kot mesto lahko to naredimo bolje.

Lahko standardiziramo
naše naslove

in če jih bomo,
dobimo več takih zemljevidov.

To je zemljevid gasilskih hidrantov
v New Yorku,

a ne katerihkoli.

To je top 250 gasilskih hidrantov,
kar se tiče kazni za parkiranje.

(Smeh)

Nekaj stvari sem se naučil
iz tega zemljevida in zelo mi je všeč.

Prvič, ne parkirajte
na zgornjem vzhodnem delu.

Enostavno ne. Ni važno, kje parkirate,
dobili boste kazen zaradi hidranta.

Drugič, našel sem dva največja
zaslužkarja med hidranti v New Yorku,

sta na nižjem delu vzhodne strani

in prinašata več kot 55 000 dolarjev letno
v kaznih za parkiranje.

Zdelo se mi je malo čudno,
ko sem to opazil,

zato sem malo pobrskal in izkaže se,
da je tam hidrant

nato nekaj, imenovano
podaljšek robnika,

kar je dvometrski prostor za hojo,

in potem parkirno mesto.

Potem pridejo ti avti, in hidrant--

"Saj je tam daleč, v redu je."

Tam je bilo parkirno mesto zanje
lepo narisano.

Parkirali so tam in NYPD
se ni strinjal z njimi

in dobili so kazen.

Nisem samo jaz dobil kazni.

To je Googlov avto Street view,

ki je dobil isto kazen.

O tem sem pisal na blogu
I Quant NY. Urad za transport se je odzval.

Dejali so:

Čeprav nismo dobili nobene pritožbe
o tej lokaciji,

bomo preverili označbe na cestah
in naredili potrebne popravke.

Mislil sem si, tipičen vladni odziv,

v redu, in nadaljeval z življenjem.

A čez nekaj tednov
se je zgodilo nekaj neverjetnega.

To mesto so prebarvali

in za sekundo sem videl prihodnost
prostih podatkov,

ker pomislite, kaj se je zgodilo tu.

Pet let so delili kazni na tem mestu
in bilo je nejasno,

potem je meščan našel nekaj, to povedal
in čez nekaj tednov

so problem rešili.

Neverjetno je. Veliko ljudi vidi
odprte podatke kot psa čuvaja.

Niso, tu gre za partnerstvo.

Lahko damo moč državljanom,
da bodo boljši partnerji vladi,

in to ni tako težko.

Potrebnih je le malo sprememb.

Ko "FOILate" podatke

če vidite da so podatki
"FOILani" spet in spet,

jih naredite javne, to je znak,
da jih naredite javne.

Če ste vladna agencija, ki izda PDF,

sprejmimo zakon, da ga morate izdati
skupaj z osnovnimi podatki,

ker so ti podatki morali od nekje priti,

ne vem, od kje, a prišli so od nekod,

in to lahko izdate poleg PDF.

Osvojimo in delimo nekaj standardov.

Začnimo z naslovi v New Yorku.

Začnimo normalizirati naše naslove.

New York je prvi v prostih podatkih.

Kljub vsemu smo absolutni prvaki
v prostih podatkih.

Če začnemo normalizirati stvari
in postavimo standarde,

bodo drugi sledili.
Država, morda federalna vlada.

Druge države bodo sledile,

in nismo daleč od časa,
ko bomo lahko napisali program

in načrtali informacije 100 držav.

Ni znanstvena fantastika.
Zelo blizu smo.

Komu smo s tem dali moč?

Ker ni samo John Krauss
in ni samo Chris Whong.

Na stotine srečanj se dogaja
v New Yorku,

aktivnih srečanj.

Na tisoče ljudi se udeležuje teh srečanj.

Ti ljudje pridejo po službi in ob vikendih

in se udeležujejo srečanj,
in gledajo proste podatke

in izboljšali naše mesto.

Skupine kot je BetaNYC. Ta je ravno
prejšnji teden izdala citygram.nyc.

ki vam dovoli, da se naročite
na pritožbe 311

okrog svojega doma
ali okoli svoje pisarne.

Vpišeš svoj naslov
in dobiš lokalne pritožbe.

In ni samo tehnološka skupnost
navdušena nad tem.

Krajinski arhitekti, kot tisti,
ki jih učim na Prattu.

Podporniki zakonov, vsi.

Meščani iz različnih okolij.

In z nekaj majhnimi,
postopnimi spremembami

lahko odklenemo strast
in sposobnost naših državljanov,

da izkoristimo proste podatke,
da izboljšamo naše mesto,

naj gre za en set podatkov
ali eno parkirno mesto naenkrat.

Hvala.

(Aplavz)