Open Data Hackathon 6-7 октября

С 6 по 7 октября приглашаем энтузиастов-программистов на Open Data Hackathon ^[1], который пройдет в офисе компании 2Nova Interactive ^[2] в «Ткачах ^[3]». В перерывах между работой вы сможете пообщаться с нашими гостями: Питером Микой из компании Yahoo, профессионала в области поиска и представления данных, доктором Серном Ауэром из Лейпцигского Университета, эксперта в области семантического Веба, директором представительства W3C в России Даниэлем Хладки, Владимиром Горовым, руководителем проекта Яндекс.Услуги. Ну и конечно же вас ждут призы от организаторов, пицца, чай, кофе, игры и отличная рабочая атмосфера для запуска вашего проекта за 24 часа! А разработанный проект вы сможете представить инвесторам и представителям власти на демофесте ^[1].

Open Data Hackathon ^[1] посвящен разработке общественно-значимых сервисов на основе открытых государственных данных. Также партнерами выступили W3C w3c.org.ru ^[4], Центр Антикоррупционных инициатив transparency.org.ru ^[5], СПб НИУ ИТМО www.ifmo.ru ^[6] и многих других. Приветствуется использование технологий Semantic Web, существующих веб-сервисов и API, открытых источников данных для создания вашего мэшапа или мобильного приложения. Для реализации своего проекта у вас будет всего 24 часа! Результаты работы вы сможете представить на демофесте, на котором будут присутствовать представители гос. органов, наши эксперты и инвесторы. Лучшие проекты будут награждены и примут участие в международной конференции инженерии знаний и технологий Semantic Web “KESW 2012 ^[7]” 9 октября, а также получат поддержку для дальнейшего развития.

Подробнее о мероприятии ^[1].

Регистрация проекта или если желаете принять участие в команде ^[8].

Ниже написано почему стоит посетить это мероприятие и какие сервисы можно сделать.

От хакатона до миллиона

Сегодня во всем мире сотни программистов разрабатывают собственные общественно-значимые приложения и городские сервисы на основе открытых государственных данных.

В течении 3 лет в «Большом Яблоке» (Нью Йорк) проходит BigApps 3.0 ^[9] — конкурс приложений на основе открытых городских данных, направленных на улучшение жизни в городе. Чем Санкт-Петербург хуже? Ничем, говорим мы и наши разработчики не хуже. Правда данных у нас выложено разве что поменьше. Создатели сервисов могли использовать нью-йоркский портал открытых данных ^[10]. Огромное количество данных, собранных в одном месте: от данных расписания движения городского транспорта, результаты инспекций ресторанов, городские развлекательные мероприятия, информация по выборам, карта потребления электроэнергии по районам и многое другое!

Зачем разработчики участвуют в этом конкурсе? Конечно призовой фонд, размером в $50 000 – весомая причина. Однако наиболее ценным является опыт, продвижение своего проекта и возможность продемонстрировать себя инвесторам. Одной из таких историй успеха стало приложение MyCityWay ^[11], который вначале получил $5000 в качестве приза, потом $300 000 венчурного финансирования, а потом — пятимиллионный контракт с BMW. А всего уже выложено около 100 приложений ^[12].

Другой известный пример «городского» сервиса SeeClcikFix ^[13], который позволяет отмечать городские проблемы на карте. Этот сервис уже привлек $ 1,5 млн. инвестиций.

Мы убеждены, что нет смысла разработчикам создавать клоны сервисов коллективных покупок или каких-то иных, имеющих сотни аналогов по всему миру – надо создавать что-то новое и востребованное. И выбранная тема Хакатона на наш взгляд является таковой. Отличным примером является новосибирский «городской» проект карты ДТП ^[14], который получил премию 7500 евро и занял 1 место на конкурсе Data Journalism Awards-2012 ^[15] в Париже. Это отличный повод заявить о себе и привлечь инвестиции!

Завизуализируй!

Сегодня очень популярны инфографики, да и вообще разные виды визуализаций. Вот еще один пример приложения ^[16] на основе открытых данных, красивейшее приложение, разработанное в Google, которое визуализирует данные по продаже оружия в мире.

Для таких задач используются данные из сторонних открытых источников. Мы к примеру нашли такие данные ^[17], а соединив их с возможностями Google Chrome – получаем очень эффектный мэшап! Об этом приложении также есть небольшая статья на Хабре ^[18]. Большая коллекция фреймворков и решений для мэшапов собрана на этом сайте ^[19].

Что же можно сделать на Хакатоне?

Для российских разработчиков, пока еще не искушенных в этой сфере, пожалуй это главный вопрос! Ниже перечислены идеи для проектов, а также известные источники данных. В комментариях напишите свои идеи. Если вы хотите принять участие, но у вас возникают сложности с поиском источников данных – также напишите в комментариях, мы поможем.

Геосервисы и использование карт

Используйте карты OpenStreetMap, Google или Яндекс, чтобы наложить на них данные. Что это могут быть за данные и откуда их брать? Например, данные о ДТП, данные о расходах и доходах регионов, чиновников (по регионам, городам), данные о движении транспорта. Список основных источников подобных данных можно найти в конце статьи.

Примеры существующих сервисов:

• Карта помощи при пожарах ^[20]
• Проблемы на карте города "Моя территория ^[21]" и его американская версия SeeClickFix ^[22]
• Новосибирский сайт с данными о ДТП в 2011 году ^[14]
• Криминальная карта Чикаго ^[23]
• Поиск участкового полицейского по адресу ^[24]

Использование API открытых сервисов, веб-сервисов WSDL, REST и прочее.

• API для получения данных по всем странам от «Всемирного банка» ^[25] (от экономики до различных рейтингов стран), там же можно найти примеры приложений, созданных на его основе. Все индикаторы, а также данные в формате Semantic Web можно получить тут ^[26]
• API Государственной Думы ^[27]. Используя API Конгресса США ^[28] было сделано приложение оринигальное приложение «О чем говорят конгрессмены» ^[29], а также чем они вообще занимаются, какие законы принимают ^[30].
• API банка России ^[31]

Использование структурированных данных

Таких как XML, CSV. Это значительно облегчает получение данных, но не так удобно как при наличии API.

• Большое количество данных выложено на сайте проекта Ивана Бегтина opengovdata.ru ^[32].
• На сайте «Декларатор» можно найти данные по доходам чиновников declarator.org ^[33],
• сведения обо всех существующих/не существующих адресах в Российской Федерации fias.nalog.ru/Public/NewsPage.aspx ^[34].
• Единая межведомственная информационно-статистическая система www.fedstat.ru/indicators/start.do ^[35]

Данные в формате Semantic Web ^[36]

OWL, RDF, SPARQL и другие технологии. Это наиболее продвинутый способ публикации данных, имеющий большие возможности, в том числе делать SQL-запросы к массивам данных и применение онтологий.

• Наборы государственных данных ^[37]
• Европейская статистика в формате Semantic Web ^[38]
• Проект LinkedData ^[39] и данные Всемирного Банка ^[40]
• Проект DBPedia ^[41]
• Проект Linked Data 2 ^[42]
• Yahoo Geoplanet ^[43]

Извлечение данных. Data mining. Неструктурированные данные.

Даже если данные не выложены в структурированном виде (XML, Semantic Web), можно получать их используя стандартные методы извлечения данных из документов, опубликованных в сети. К счастью таких данных огромное количество. К примеру, с сайта Центризбиркома или иных гос. учреждений, порталов статистики. Например, можно проанализировать итоги выборов, используя в том числе оппозиционные сайты, которые изобилуют данными о нарушениях. Используя данные ЦИКа был создан такой мэшап ^[44] по результатам выборов в Думу в 2011 году.

• Результаты выборов есть на сайте ЦИК и можно использовать этот сайт о выборах ^[45], финансовые отчеты партий на выборах в Думу 2011 ^[46]
• Единая межведомственная информационно-статистическая система ^[35]
• Большое количество данных выложено на сайте проекта Ивана Бегтина ^[32]

Социальные мэшапы

Можно использовать социальные сервисы, такие как Facebook, Twitter, например для анализа того, что пишут наши чиновники, и другой информации. Пример приложения «О чем говорят конгрессмены в Твиттере» я уже приводил выше. Есть и более глобальные проекты, например OpenCongress ^[47]. Но это явно не для 24 часов работы!
Для поиска подходящих технологий для мэшапов можно использовать ресурс Programmable Web ^[19].

Создание полезных инструментов для разработчиков

Например, парсеров данных ^[48]. Известно, что у нас опубликовано большое количество данных, однако большинство из них не структурировано, что усложняет работу с ними. На портале OpenGovData ^[49] команда энтузиастов создали подобные парсеры – вы можете помочь проекту. Большая работа была проделана разработчиками Артемием Трегубенко ^[50], Александром Мальцевым ^[51], Виктором Миреевым ^[52], Иваном Бегтиным ^[53], Алексеем Капрановым ^[54] и другими. Вы можете стать следующим!

Посмотрите какие общественно-значимые сервисы в России уже созданы на сайте Gov2People ^[55].

Итак, если у вас есть идеи проектов, или желание поработать в команде, или вы хорошо разбираетесь в данных/хотите разобраться – приглашаем на сайт http://opendatahackspb.pbworks.com ^[1]. Там же можно найти контакты организаторов.

Регистрация на мероприятие ^[56].

Давайте в комментариях соберем пул идей, которые было бы интересно реализовать.

Автор: inxaoc