Kako smo pronašli najgore mesto za parkiranje u Njujorku - koristeći velike podatke

Gradske agencije imaju pristup mnoštvu podataka i statistikama koje se tiču svakog dela urbanog života. Ali kako u ovom zanimljivom govoru navodi analitičar podataka Ben Velington, oni ponekad jednostavno ne znaju šta da rade sa ovim podacima. On pokazuje kako kombinacija neočekivanih pitanja i pregledanja pametnih podataka može da dovede do neverovatno korisnih informacija, i sa nama deli savete o tome kako da se objavi veliki broj skupova podataka tako da svako može da ih koristi.

9600 kilometara puteva,

960 kilometara podzemne železnice,

640 kilometara staza za bicikl

i 800 metara tramvajskih šina,

ako ste ikada bili na ostrvu Ruzvelt.

Ovo su brojke koje čine
infrastrukturu Njujorka.

Ovo je statistika naše infrastrukture.

Ovakve brojke možete naći objavljene
u izveštajima gradskih agencija.

Na primer, Odsek za transport
će vam verovatno reći

koliko kilometara puteva održavaju.

Uprava transporta Metropolitena
pohvaliće se koliko pruge postoji.

Većina gradskih agencija daje statistiku.

Ovo je izveštaj za ovu godinu

od Komisije za taksije i limuzine

iz kog vidimo da postoji
13 500 taksija u Njujorku.

Interesantno, zar ne?

Da li ste razmišljali odakle ove brojke?

Kako bi ove brojke postojale,
neko iz gradske agencije

mora da zastane i kaže
da je ovo broj koji neko želi da zna.

Ovo je broj koji naši građani žele.

Hajde da se vratimo sirovim podacima

koje oni broje, dodaju, proračunavaju

i onda objave izveštaje,

a u tim izveštajima se nalaze
ovakve brojke.

Problem je u tome,
kako oni znaju sva naša pitanja?

Imamo ih mnogo.

U stvari, na neki način postoji
neograničen broj pitanja

koja postavljamo o našem gradu.

Agencije nas ne mogu ispratiti.

Tako da paradigma ne radi kako treba
i zakonodavci shvataju to

zato što je u 2012. gradonačelnik Blumberg
potpisao zakon koji on zove

najambicioznijim i najobuhvatnijim
zakonodavnim aktom o podacima u zemlji.

On je u pravu na mnogo načina.

U poslednje dve godine,
grad je objavio 1000 skupova datoteka

na našem otvorenom portalu za podatke,

što je zaista odlično.

Tako da možete otići na sajt
i pogledati ovakav podatak

i umesto brojanja taksija,

možemo postavljati različita pitanja.

Tako da ja imam pitanje.

Kada je najveća gužva u Njujorku?

Krajnje napadno pitanje.
Kada je tačno najveća gužva?

I kažem sebi onda da
ovi taksiji nisu samo brojke,

to su GPS odašiljači
koji voze našim ulicama

snimajući svaku svoju vožnju.

Postoje podaci
i ja sam pregledao te spise,

napravivši proračun prosečne brzine
taksista tokom dana u Njujorku.

Možete videti da od ponoći
do oko 5:18 ujutru

brzina raste i da se nakon toga
stvari menjaju

i sve postaje sporije i sporije
do oko 8:35 ujutru

kada voze oko 17 kilometara na čas.

Prosečan taksi vozi tom brzinom
po gradskim ulicama.

Ispadne da ostane pri toj brzini

tokom celog dana.

(Smeh)

Kako sam kazao, izgleda da nema
saobraćajnog špica u Njujorku.

Postoji samo dnevni špic.

To ima smisla i to je važno
iz više razloga.

Ukoliko ste organizator transporta,
važno je da ovo znate.

Ali ako treba negde brzo da stignete,

sada znate da treba da namestite
alarm na 4:45 ujutru i na konju ste.

Njujork, zar ne?

Ali postoji priča iza toga.

Ispostavlja se da podaci
nisu bili prosto dostupni.

To je pošlo od nečega što se zove
Zahtev za zakon o slobodi informacija,

ili FOIL zahtev.

Ovaj formular možete naći na stranici
Komisije za taksije i limuzine.

Kako biste dobili pristup podacima,
potrebno vam je ovo.

Popunite i obavestiće vas.

Tip po imenu Kris Vong je to uradio.

Kris je tamo otišao i rekli su mu:

"Donesite nov hard disk u kancelariju,

ostavite ga na pet sati
i prebacićemo vam te podatke."

Eto odakle ovi podaci.

Sad, Kris je osoba
koja je htela da ih objavi

i tako su oni osvanuli na internetu
i eto odakle je ovaj grafikon.

Činjenica da postoji je neverovatna.
Ovi GPS prijemnici - stvarno sjajno.

Ali sama činjenica da građani nose diskove

i grabe podatke od agencija da
bi ih objavili -

već su nekako ti podaci javni,
možete do njih doći,

ali te nisu javni, te jesu.

Ali možemo više učiniti kao grad.

Ne moraju naši građani
da šetaju okolo sa hard diskovima.

Sad, nije sve obuhvaćeno
FOIL inicijativom.

Evo mape najopasnijih
njujorških raskrsnica

na osnovu nesreća biciklista.

Crvene zone su najopasnije.

Mapa pokazuje istočnu stranu Menhetna,

posebno donje delove u kojima su
biciklističke nesreće češće.

To ima smisla

zato što ima više biciklista
koji prelaze mostove tamo.

Ali vredi proučiti ključne tačke.

To je Vilijamzburg,
to je Ruzveltova avenija u Kvinsu.

To je vrsta podataka
potrebna za Nultu viziju.

To je ono što upravo tražimo.

Ali postoji priča iza tih podataka.

Ti se podaci nisu sami pojavili.

Koliko vas poznaje ovaj logo?

Da, vidim neke podignute ruke.

Da li ste ikada pokušali da iskopirate
nešto iz PDF-a

i dešifrujete to?

Sad vidim više ruku.

Više vas je nešto kopiralo nego što
prepoznaje logo. To mi se sviđa.

Podaci koje ste upravo videli su
smešteni u PDF-u.

U stvari, stotine, stotine i stotine
stranica u PDF-u

koje je naša policija objavila

a kako bi im pristupili,
ili morate da kopirate i lepite

stotinama sati

ili biste mogli biti Džon Kraus.

Džon Kraus nije hteo

da kopira podatke.
On je napisao program.

Zove se NYPD Crash Data Band-Aid

i odlazi na sajt policije
kako bi preuzeo PDF datoteke.

Svakog dana bi pretraživao,
našao PDF fajl i preuzeo ga.

Zatim bi pokrenuo neki program
koji otvara PDF

i ostavlja čisti tekst.

Potom bi podatke objavio na internetu
da bi ljudi mogli praviti ovakve mape.

Činjenica da imamo podatke ovde
i da im možemo pristupiti -

usput, svaka nesreća je kolona
u ovoj tabeli.

Možete zamisliti koliko je to fajlova.

Sjajno je što možemo da im pristupimo,

ali hajde da ne budu u PDF-formatu,

zato što onda građani moraju
da programiraju čitače.

Nije dobro da građani gube vreme,

a mi kao grad možemo bolje od toga.

Sad, dobre su vesti da je
administracija De Blazija

objavila podatke pre nekoliko meseci,

tako da im sad možemo pristupiti,

mada je velika količina podataka
i dalje zaglavljena u PDF-u.

Na primer, podaci o stopi kriminala
su i dalje u tom formatu.

Ne samo ti podaci, već i naš budžet.

Podaci o budžetu su dostupni
samo u PDF formatu.

Nismo samo mi ti koji ga
ne mogu analizirati,

već i naši zakonodavci koji su
glasali za njega,

mogu ga dobiti samo u PDF-u.

Tako naši zakonodavci ne mogu
analizirati budžet koji treba da donesu.

Smatram da mi kao grad možemo učiniti
nešto bolje od toga.

Sad, postoje brojni podaci koji nisu
skriveni u PDF-u.

Primer toga je mapa koju sam izradio.

Ovo je jedan od najprljavijih
njujorških kanala.

Kako da izmerim prljavštinu?

Pomalo je čudno,

ali kada pogledam nivo
fekalnog koliforma

koji je mera fekalnog otpada
u svakom našem kanalu.

Što je veći krug, to je prljavija voda.

Tako da je u velikim krugovima
prljava voda, dok su mali čistiji.

Ovo što vidite su kanali u unutrašnjosti.

Grad je ove podatke pet godina prikupljao.

Kanali u unutrašnjosti su
uglavnom prljaviji.

Ima smisla, zar ne?

Veći su prljaviji. Iz toga sam naučio
nekoliko stvari.

Prvo, nikad ne plivajte u onom što
se naziva potokom ili kanalom.

Drugo, pronašao sam
najprljaviji njujorški kanal

ovim merenjem, samo jednim merenjem.

Radi se o Koni Ajlend Kriku, što nije
srećom Koni Ajlend u kom plivate.

Ovaj je na drugoj strani.

Ali na prvom je 94% uzoraka
uzetih tokom pet godina

imalo tako visok nivo fekalija

da bi po državnom zakonu bilo
ilegalno plivati u toj vodi.

Ovakav podatak neće biti

naduvan u gradskom izveštaju, tačno?

Neće biti na prvoj stranici nyc.gov.

Nećete ih tamo videti,

ali činjenica da možemo da dođemo
do tih podataka je sjajna.

Ali da kažem ponovo, to nije prelako

zato što ovi podaci nisu
u javnoj bazi podataka.

Kada biste otvorili javnu bazu podataka,

to je samo mali deo njih,
godina ili par meseci.

Bili su u stvari na sajtu
Odseka za zaštitu okoline.

Svaki od ovih linkova je tabela u Ekselu,
a svaka Eksel tabela je drugačija.

Svaki naslov je različit: kopirate ga,
prenosite, reorganizujete.

Super je kada to radite i pravite mape,
ali još jednom,

mi to možemo bolje kao grad,
mi možemo normalizovati stvari.

Mi dostižemo to zato što postoji sajt
koji je Sokrata napravila

i koji se zove Otvoreni portal Njujorka.

Ovo je bilo 1100 datoteka koje ne pate

od stvari koje sam ovde naveo,

a taj broj raste, što je odlično.

Možete preuzeti podatke u bilo kom formatu
poput CSV-a, PDF-a ili Eksela.

Šta god želeli, možete
preuzeti podatke na taj način.

Problem je što kada to uradite,

otkrićete da svaka agencija drukčije
kodira svoje adrese.

Tako da je jedno naziv ulice, raskrsnice,

opštine, adrese zgrade.

Još jednom trošite vreme
čak i kada imate ovaj portal,

trošite vreme sređujući adrese.

A to nije najprikladnije trošenje
vremena građana.

Možemo to bolje uraditi kao grad.

Možemo standardizovati adrese.

Ako to uradimo, dobićemo ovakve mape.

Ovo je mapa njujorških
nadzemnih hidranata,

ali ne bilo kakvih nadzemnih hidranata.

Ovo su 250 najboljih hidranata
što se tiče plaćanja kazni za parking.

(Smeh)

Naučio sam nekoliko stvari sa ove mape
i zaista je volim.

Pod jedan: ne parkirajte se na Aper Istu.

Jednostavno nemojte. Gde god se
vi parkirali, dobićete kartu za hidrante.

Pod dva: pronašao sam dva
najprofitnija njujorška hidranta,

a oni su na nižem Ist Sajdu.

Donose više od 55 000 dolara godišnje
naplatom parkinga.

Delovalo mi je čudno
kada sam to primetio,

tako da sam malo kopao
i ispalo je da postoji hidrant

i proširenje za parkiranje

što je oko 2 metra prostora za hodanje,

i mesto za parkiranje.

Tako su se pojavili ovi automobili,
a hidrant -

"Ima mesta ovde koliko hoćete,
meni je ok",

dok u stvari za automobile postoji
obeleženo mesto za parkiranje.

Tamo bi parkirali, dok se policija
sa tim ne bi složila

i naplatila im kaznu.

Nisam samo ja bio taj
koji je pronašao kaznu za parking.

Ovde je Guglov automobil koji prolazi

i nalazi istu kaznu za parking.

O ovome sam pisao na svom blogu,
I Quant NY, i Odeljenje za saobraćaj

je odgovorilo i rekli su:

"Iako Odeljenje za saobraćaj nije dobilo
nikakve zvanične žalbe za ovu lokaciju,

razmotrićemo oznake na putu
i napraviti neophodne izmene."

Pomislio sam da je to
tipičan odgovor vlasti,

i nastavio sam sa svojim životom.

Ali nekoliko nedelja kasnije,
desilo se nešto neverovatno.

Prefarbali su to mesto

i na sekund sam pomislio da sam video
budućnost otvorenih podataka,

jer razmislite o tome šta se ovde desilo.

Godinama su se na ovom mestu
naplaćivale kazne i bilo je zbunjujuće,

a onda je građanin otkrio nešto,
to rekao gradu i za nekoliko nedelja

problem je bio rešen.

To je neverovatno. Dosta ljudi vidi
otvorene podatke kao vrstu čuvara.

Ne radi se o tome, već o partnerstvu.

Možemo osnažiti svoje građane
da budu bolji partneri vladi

i to nije tako teško.

Samo je potrebno nekoliko promena.

Ukoliko zahtevate podatke,

ukoliko vidite da ljudi stalno
od vas zahtevaju podatke,

to je znak da treba da budu javni.

A ako ste javna agencija
koja postavlja PDF dokument,

donesimo zakon koji zahteva od vas
da ga postavite sa pratećim podacima

zato što ti podaci dolaze odnekud.

Ne znam odakle, ali odnekud

i možete ih postaviti sa PDF-om.

I hajde da usvojimo i delimo
neke standarde o otvorenim podacima.

Počnimo sa adresama ovde u Njujorku.

Počnimo samo da normalizujemo
naše adrese.

Njujork vodi
što se tiče otvorenih podataka.

Uprkos svemu, mi smo na vrhu
što se tiče otvorenih podataka

i ako počnemo da normalizujemo stvari
i odredimo standard za otvorene podatke,

drugi će nas pratiti - država,
a možda i savezna vlada.

Mogle bi da nas prate i druge države

i nismo tako daleko od vremena
gde biste mogli da napišete program

i mapirate informacije iz 100 država.

To nije naučna fantastika.
Zapravo smo veoma blizu.

Usput, koga osnažujemo ovim?

Nisu to samo Džon Kraus i Kris Vong.

Postoji stotine sastanaka
koji se sada dešavaju u Njujorku,

aktivnih sastanaka.

Postoji hiljade ljudi koji posećuju
ove sastanke.

Ti ljudi dolaze nakon posla
i tokom vikenda

i posećuju ove sastanke
da bi videli velike podatke

i načinili naš grad boljim mestom.

Grupe poput BetaNYC, koja je
prošle nedelje objavila citygram.nyc

koji vam omogućava da se pretplatite
na servis za žalbe

oko vašeg doma ili kancelarije.

Ukucate svoju adresu,
dobijete lokalne žalbe.

Nije samo zajednica informatičara
koja je uključena ovde.

Tu su i arhitekte, poput studenata
kojima predajem na Pretu.

To su pravni zastupnici, to su svi,

građani iz raznih pozadina.

I uz male, postepene promene,

možemo osloboditi strast
i mogućnosti naših građana

da iskoriste otvorene podatke
i načine naš grad još boljim,

bez obzira da li je to jedan po jedan
komplet podataka ili po parking mesto.

Hvala vam.

(Aplauz)