Как найти худшее место для парковки в Нью-Йорке, оперируя данными

Городские службы имеют доступ к огромному количеству данных и статистике по каждой части города. И как предполагает Бен Веллингтон, аналитик, работающий с большими данными, они частенько не знают, что с ними делать. Он показывает нам, как комбинация неожиданных вопросов и толковой работы с данными может привести к любоптным и полезным выводам, и делится с нами советами о том, как нужно публиковать большие массивы информации, чтобы ими мог воспользоваться любой из нас.

Десять тысяч километров дорог,

тысяча километров метро,

600 километров велодорожек

и почти километр трамвайных путей,

если вы бывали на острове Рузвельта.

Это цифры, из которых состоит
инфраструктура Нью-Йорка.

Это статистические данные
нашей инфраструктуры.

Именно эти данные вы можете
увидеть в отчётах городских служб.

К примеру, в Департаменте
транспорта вам наверняка скажут,

сколько километров дорог
они обслуживают.

MTA похвастается, как много
километров подземки в городе.

Многие службы делятся статистикой.

Из отчёта этого года

от Комиссии по такси и лимузинам

мы узнаём, что в Нью-Йорке
около 13 500 такси.

Интересно, не так ли?

А вы не задумывались,
откуда берутся эти цифры?

Ведь чтобы их опубликовать,
кто-то должен был подумать:

«Хм, а вот это может быть
кому-то интересно.

Это цифры, которые могут
понадобиться горожанам».

А потом вернуться к исходным данным,

посчитать, сложить, подвести итог

и выложить отчёт,

один из многих отчётов
с подобной статистикой.

Проблема вот в чём:
откуда им знать все наши вопросы?

А у нас много вопросов.

На самом деле, у нас буквально
бесконечное количество вопросов,

связанных с городом.

Городским службам не угадать их все.

Этот подход не работает и, я полагаю,
должностные лица это понимают,

поскольку в 2012 году мэр Блумберг
утвердил закон, который он назвал

самым амбициозным и исчерпывающим
законопроектом об открытых данных в стране.

Во многом он прав.

За последние два года город разместил
1 000 массивов данных

на портале открытых данных,

и это очень круто.

Вы заходите и смотрите на эти данные,

и вместо того, чтобы просто считать такси,

вы можете задавать самые разные вопросы.

У меня был такой вопрос.

Когда в Нью-Йорке час пик?

Ведь пробки всех достают.
Так когда наступает час пик?

И я подумал, ведь такси —
это не просто циферки,

это GPS-устройства,
которые разъежают по улицам города

и записывают каждую поездку.

Эти данные доступны,
я их проанализировал

и нарисовал диаграмму средней скорости
такси в Нью-Йорке в течение дня.

Вы видите, что где-то
с полуночи до 5:18 утра

скорость растёт, а потом — наоборот,

движение всё замедляется и замедляется,
вплоть до 8:35 утра,

когда скорость падает до 18,5 км/ч.

Среднестатистическое такси ездит по городу
со скоростью 18,5 км/ч,

и выясняется, что эта скорость держится

на протяжении всего дня.

(Смех)

И я подумал:
«Кажется, в Нью-Йорке нет часа пик.

Есть только день пик».

Так и есть. И это важно по ряду причин.

Если вы занимаетесь схемой уличного
движения, это должно быть вам интересно.

Но если вы хотите быстро
куда-то добраться,

заводите будильник на 4:45 и вперёд.

Это же Нью-Йорк.

С этими данными связана одна история.

Их было не так просто получить.

Для этого пришлось сделать запрос
в рамках Закона о свободе информации,

запрос FOIL.

Бланк можно найти на сайте
Комиссии по такси и лимузинам.

Чтобы получить доступ к данным,
вам надо получить этот бланк,

заполнить его и ждать ответа;

и один парень, Крис Вонг,
всё это сделал.

Крис связался с ними, и они ответили:

«Принóсите новый жёсткий диск,

оставляете его на 5 часов, мы копируем
туда все данные и отдаём диск вам».

Вот откуда вся эта информация.

Крис — из тех, кто стремится сделать
информацию публичной,

поэтому данные оказались в общем доступе
в Интернете, и появился этот график.

И то, что он существует, — круто.
Эти GPS-устройства — классная вещь.

Но то, что горожанам приходится
ходить с жёсткими дисками

и собирать данные из агентств,
чтобы опубликовать их —

хотя они уже «публичны» —
их же можно получить,

на деле это лишь видимость открытости.

Наш город способен на большее.

Нельзя заставлять людей расхаживать
с жёсткими дисками.

Не все данные спрятаны за формой FOIL.

Я сделал карту самых опасных
перекрёстков в Нью-Йорке

по количеству ДТП с велосипедистами.

Красные зоны — самые опасные.

В первую очередь, на востоке Манхэттена,

а в особенности — в нижней его части,
множество ДТП с велосипедистами.

Кажется, это логично,

ведь там больше велосипедистов
спускаются с мостов.

Но есть и другие интересные места.

Уильямсбург. Рузвельт-авеню в Куинсе.

Именно такие данные нужны нам
в рамках программы Vision Zero.

Это как раз то, что мы искали.

Но и у этих данных есть своя история.

Эти данные появились не просто так.

Кто из вас узнаёт этот логотип?

Вижу, кто-то кивает.

Вы когда-нибудь пытались
скопировать данные из PDF так,

чтобы они не стали бессмыслицей?

Мотаете головой.

Многие знают, что такое копировать данные
из PDF, но не узнают логотип.

Так вот, данные, которые вы
только что видели, были в формате PDF.

Сотни и сотни страниц PDF-файлов,

опубликованных Департаментом
полиции Нью-Йорка,

и чтобы получить доступ к данным,
вам нужно или копировать их вручную

на протяжении сотен часов,

или быть Джоном Крауссом.

Джон Краусс подумал:

«Не буду я копировать данные вручную.
Лучше я напишу программу».

Он назвал её NYPD Crash Data Band-Aid,

она заходила на сайт Департамента полиции
и скачивала PDF-файлы.

Каждый день она искала PDF-файлы
и, если находила, скачивала их,

а затем запускала программу разбора PDF,

извлекала текст,

загружала данные в Интернет, и в итоге
люди могли делать подобные карты.

И то, что у нас есть эти данные,
что мы можем работать с ними...

Кстати, каждое ДТП —
строка в этой таблице.

Представьте, сколько это PDF-файлов.

У нас есть доступ к данным —
это отлично,

но не нужно публиковать их в формате PDF

и заставлять горожан писать
программы разбора PDF-файлов.

Это не лучший способ
задействовать горожан,

и мы, как город,
можем улучшить ситуацию.

Есть и хорошая новость —
администрация де Блазио

недавно опубликовала эти данные,
несколько месяцев назад,

и теперь у нас есть
нормальный доступ к ним,

но множество данных по-прежнему
сокрыто в PDF-файлах.

Например, данные по преступности
доступны только в формате PDF.

И не только. Даже бюджет города.

Бюджет города доступен
только в формате PDF.

И не только мы с вами не можем
проанализировать его,

но и сами законодатели,
которые голосуют за бюджет,

тоже получают его только в формате PDF.

Законодатели не могут проанализировать
бюджет, за который голосуют.

И я думаю, что мы можем
организовать всё гораздо лучше.

Есть множество данных,
не похороненных в PDF-файлах.

Вот ещё одна из таких карт —

самая грязная вода в Нью-Йорке.

Как измерить загрязнённость воды?

Это покажется немного странным,

но я смотрел на уровень
фекальных бактерий,

который по сути отражает
количество экскрементов в воде.

Чем больше круг, тем грязнее вода,

большие круги — грязная вода,
маленькие — вода почище.

Вы видите, что каналы на суше —

эти данные собирались в течение
последних пяти лет —

каналы на суше, в общем случае, грязнее.

Логично, не так ли?

Больше круг — грязнее вода.
Из этой карты я сделал несколько выводов.

Первое: никогда не купаться в том,
что называется «сток» или «канал».

Второе: я также нашёл грязнейший
водосток в Нью-Йорке.

Но только по этому параметру.

В Кони-Айленд Крик — это не тот
Кони-Айленд, где вы купаетесь, к счастью.

Это с другой стороны.

Но в Кони-Айленд Крик
в 94% образцов, взятых за пять лет,

был настолько повышенный
уровень экскрементов,

что плавать там было просто незаконно.

Подобными вещами не хвалятся

в городских отчётах, верно?

Этого не будет на домашней
странице nyc.gov.

Там вы этого не увидите,

но то, что мы можем получить
эти данные,— это очень круто.

Но опять же это было непросто,

потому что этого не было
на портале открытых данных.

Если бы вы зашли
на портал открытых данных,

вы бы увидели данные
за год или за пару месяцев.

Полный массив находился на сайте
Департамента охраны окружающей среды.

И каждая из этих ссылок — лист Excel,
все эти листы Excel — разные.

Разные заголовки, их приходится
копировать, всё переделывать.

В итоге вы можете рисовать
такие карты, и это хорошо,

но можно организовать это получше,
стандартизировать форму.

И мы движемся в этом направлении,
есть один сайт от Socrata,

«Портал открытых данных Нью-Йорка».

Это около 1 100 массивов данных
без тех недостатков,

о которых я говорил.

Сайт постоянно растёт,
и это прекрасно.

Вы можете скачать данные в любом формате,
будь то CSV, PDF или Excel.

Вы можете скачать всё, что захотите,
в удобном формате.

Но даже тут есть одна проблема:

каждое агенство по-разному
кодирует адреса.

Где-то есть названия
пересекающихся улиц,

улица, боро, адрес,
номер дома, адрес дома.

И вы снова вынуждены тратить своё время,
даже используя этот портал,

вы тратите время, нормализуя
данные в адресных полях.

Это не лучший способ
использовать время горожан.

Мы можем улучшить ситуацию.

Мы можем стандартизировать адреса,

и сделав это, мы получим
больше таких карт.

Это карта пожарных гидрантов Нью-Йорка,

но не всех подряд.

Это 250 гидрантов, лидирующих по прибыли
за счёт штрафов за неправильную парковку.

(Смех)

Я кое-что узнал благодаря этой карте,
мне она очень нравится.

Первое: не паркуйтесь в Верхнем Ист-Сайде.

Просто не надо. Не важно, где вы встали,
вы заплатите за парковку у гидранта.

Второе: есть два самых прибыльных
гидранта во всем Нью-Йорке,

они находятся в Нижнем Ист-Сайде

и собирают более 55 000 долларов
в год в виде штрафов за парковку.

Мне это показалось немного странным,

я копнул глубже и увидел вот что:
гидрант на краю тротуара,

потом расширение тротуара, что-то вроде

двухметровой полосы для пешеходов,

а затем парковочные места.

Люди приезжали, видели гидрант... Думали:

«Гидрант далеко, вон там, всё в порядке».

И плюс ко всему, там была разметка,
обозначающая парковочное место.

Люди парковались там, а полиция
Нью-Йорка не соглашалась с этой разметкой

и штрафовала их.

И не только я видел
эти штрафы за парковку.

Вот машина Google Street
View проезжает там

и снимает тот же самый штраф.

Я написал об этом в своём блоге I Quant NY,
и мне ответили из Департамента транспорта,

они написали:

«Хотя Департамент транспорта и не получал
жалоб по поводу этого места,

мы пересмотрим разметку
и внесём необходимые изменения».

Я подумал:
«Типичная государственная отписка».

Ну и ладно, и забыл об этом.

Но спустя несколько недель
случилось кое-что невообразимое.

Они переделали разметку,

и в тот момент я увидел будущее,
эпоху открытых данных.

Только подумайте, что произошло.

На протяжении пяти лет тут выписывали
штрафы, разметка была неоднозначной,

а потом горожанин заметил это, сообщил
городу, и в течение нескольких недель

проблема была решена.

Потрясающе. Многие смотрят на открытые
данные как на механизм контроля.

Это не так, суть в партнёрстве.

Мы даём гражданам возможность
работать рука об руку с государством,

и это не так уж сложно.

Всё, что нужно, — пара изменений.

Если вы предоставляете

данные по запросу FOIL и видите,
что их запрашивают постоянно,

просто выложите их в общий доступ,
вы ведь видите, что они востребованы.

Если вы агентство,
которое публикует PDF-файлы,

нужен закон, обязующий вас публиковать
данные, лежащие в основе PDF-файлов,

ведь вы получаете их каким-то образом.

Я не знаю откуда,
но где-то вы их берёте, а значит,

можете опубликовать вместе с PDF-ками.

Давайте примем и внедрим
стандарты открытых данных.

Начнём с адресов в Нью-Йорке.

Стандартизируем формат адреса.

Нью-Йорк — лидер в области
открытых данных.

Несмотря на всё это, мы лидеры
в области открытых данных,

и если мы займёмся нормализацией,
стандартизацией открытых данных,

нашему примеру последует и штат,
и, может быть, федеральное правительство.

За нами пойдут и другие страны,

мы не так далеко от момента, когда кто-то
сможет написать программу,

наносящую на карту данные из 100 стран.

Это не научная фантастика.
Мы довольно-таки близко.

Кстати, а кто всем этим занимается?

Это не только Джон Краусс и Крис Вонг.

В Нью-Йорке проходят сотни встреч,

оживлённых встреч.

Тысячи людей приходят на эти собрания.

Люди приходят после работы,
на выходных,

они собираются, чтобы взглянуть
на открытые данные

и сделать наш город лучше.

Есть группы вроде BetaNYC, которая
недавно создала сайт www.citygram.nyc,

где вы можете подписаться
на жалобы в службу «3-1-1»

рядом с домом или местом работы.

Ввóдите свой адрес и видите
жалобы в окрестностях.

Этим занимаются не только технари.

Градостроители, студенты,
которых я учу в Институте Пратта.

Правозащитники — да все подряд,

горожане с самым разным опытом.

Путём небольших,
постепенных изменений

мы можем разбудить страсть
и дать горожанам возможность

использовать открытые данные
и улучшать наш город,

не важно, идёт речь о целом массиве данных
или об одном парковочном месте.

Спасибо.

(Аплодисменты)