Исследование проводилось в целях создания корпуса слов сайтов, заблокированных государственными органами Российской Федерации.
Читать полностью »
Рубрика «открытые данные» - 23
Частотный словарь запрещенных сайтов
2016-03-29 в 15:22, admin, рубрики: data mining, визуализация данных, запрещенные сайты, корпус слов, открытые данные, Роскомнадзор, СемантикаШаг за шагом: Трансляция данных на flightradar24
2016-03-29 в 13:55, admin, рубрики: ads-b, dvb-t, Flightradar24, RTL2832, Геоинформационные сервисы, открытые данные, метки: ads-b 
1. Введение
Моя текущая деятельность никак не связана с авиацией, но так случилось, что я заболел ею. В какой точно момент это произошло – сложно сказать, наверное, первый полет здорово поспособствовал этому. Через некоторое время я начал смотреть фильмы на авиационную тематику, интересоваться строением и отличиями в самолетах и искать, как связать свою деятельность хоть немного с моим увлечением. Так я познакомился с технологией ADS-B и ее неожиданным применением среди энтузиастов – радарспоттингом. На просторах Хабра не часто появляются статьи по данной тематике (раз, два). Поэтому здесь я хочу немного поговорить на тему радарспоттинга и подробно описать процесс создания самостоятельной трансляции данных на популярный ресурс flightradar24.
Итак, всем, кто интересуется (болен) темой авиации и наблюдения за самолетами, а также желает принять в этом свое непосредственное участие, добро пожаловать под кат.Читать полностью »
1 000 000 жилых домов России
2016-03-21 в 21:26, admin, рубрики: big data, data mining, визуализация данных, Геоинформационные сервисы, жек, открытые данные, Россия, метки: жек Есть прекрасный сайт www.reformagkh.ru. На нём можно найти, управляющую компанию, закреплённую за домом, сколько денег, на что тратится и всё такое. Но кроме этого можно узнать разные интересные вещи о нашей стране в целом, например, для каждого дома на сайте указана дата его постройки, поэтому можно посмотреть, как строилась Москва с 1900 года:
Ещё более эпичная картинка получается, если посмотреть на Россию целиком:
Читать полностью »
Анализ результатов выборов в Госдуму. Готовимся к голосованию 2016 года
2016-03-13 в 18:55, admin, рубрики: big data, data mining, выборы, кандидаты, открытые данные Выборы в Государственную думу только осенью, но мы уже начинаем готовиться. Если повторится история 2011 года, будет очень интересно. Наверное, многие помнят, как сразу после тех выборов появилась куча статистических исследований, намекающих на фальсификации и как все узнали, как выглядит распределение Гаусса. Я хотел бы рассказать, где искать данные про выборы и как с ними работать. Кроме хорошо известных графиков я покажу некоторые другие прикольные картинки, которых раньше в паблике не видел. Так, например, выглядит распределение голосов за Единую Россию по стране, хорошо видны регионы с максимальной поддержкой партии власти — Северный Кавказ и Татарстан:
Есть такой замечательный сайт izbirkom.ru. Его здесь даже недавно упоминали в контексте, что, типа, на него потратили слишком много денег. Но лично мне не жалко, сайт прекрасный:
Читать полностью »
Успехи импортозамещения или занимательная статистика на основе Реестра федеральных государственных информационных систем
2016-03-09 в 4:32, admin, рубрики: Open Document, open source, импортозамещение, информационная безопасность, открытые данные, реестр ГИС, СПО, метки: реестр ГИС 
Есть такой замечательный ресурс — Реестр федеральных государственных информационных систем, который ведет всеми любимый Роскомназдор, и в котором государственные структуры обязаны регистрировать свои более-менее серьезные (но не секретные) информационные системы. Он довольно небольшой, давно хотелось поковыряться в нем и посмотреть поближе, что же представляют из себя и на чем работают системы, каждый день делающие жизнь простого гражданина еще легче и счастливее. Особенно, когда каждый день федеральные СМИ радостно рапортуют об успехах импортозамещения во всех отраслях народного хозяйства, в том числе и в сфере ИТ, а крупные западные вендоры начинают отворачиваться от российских госзаказчиков.
Реестр размещается на портале Роскомнадзора, который старается быть в тренде гласности, поэтому на нем присутствует раздел с наборами открытых данных — здорово! Качаем самый свежий архив Реестра от 16.02.2016, внутри лежит xml-выгрузка от сентября 2015 года… Хорошая попытка, гражданин. Придется дополнять «открытые данные» свежей информацией непосредственно с сайта, где сделано все, чтоб усложнить врагам парсинг Реестра. В итоге, по состоянию на 8 марта 2016 года, получился список из 339 федеральных государственных информационных систем, некоторую занимательную инфографику по которому, я и хочу вам представить далее.
Читать полностью »
Как самостоятельно проанализировать рынок труда
2016-03-06 в 16:32, admin, рубрики: анализ данных, визуализация данных, открытые данные, поиск работы в it На данный момент IT в целом — это одно из самых динамично развивающихся направлений. Каждый день появляется сотня новых библиотек, каждый месяц кто-нибудь придумывает новый язык или платформу — да что там, появляются целые направления. Время бежит и какие-то строки в Вашем резюме устаревают — грубо говоря, они больше не добавляют Вам очков в глазах работодателя. А какие-то навыки наоборот, могли бы существенно поднять Ваш рейтинг.
Как не потеряться в этом море возможностей, выбрать главное и не ошибиться? Очевидно, нужно держать руку на пульсе и отслеживать рынок труда. О том как это можно сделать с помощью собственного велосипеда — под катом.
Читать полностью »
Как мы участвовали в хакатоне по дата журналистике. Социально значимое: Государству виднее
2016-02-28 в 23:10, admin, рубрики: 2015, 75%, data mining, бурятия, воспитание, госорагны, график, ДТП, инн, интеграция, классификация, компания, контракты, крым, Медиа, минфин, окпд, открытые данные, печатные, Питон, правила, предпринимательство, пропаганда, процедура, рабочий, реестр, Роскомнадзор, роспечать, самопиар, сканы, СМИ, социальные проекты, статьи, субдии, таблица, толерантность, Хакатоны, цена, электронные, метки: субдииСегодня закончился «первый» хакатон по дата журналистике. Мы заняли на нём первое место. Проделали огромный объём работы за одни сутки. Я хотел бы рассказать как всё было.
Темой хакатона были финансы российских СМИ. Ежегодно государство поддерживает СМИ, поднимающие в своих материалах социально важные темы. Для этого проводится специальный конкурс. Главным критерием отбора получателей субсидий является «социальная значимость» проекта. Мы решили понять, что скрывается за формулировкой «социальная значимость» и какие темы оказались самыми популярными и «дорогими» в 2015 году.
Забегая вперёд, скажу, что ответ такой:
- По опросам очень много россиян считают себя патриотами, но государство всё равно даёт больше всего денег на проекты про патриотизм.
- 2015 год был годом литературы и на него пришлось 70 лет победы, поэтому «год литературы» и «историческая память в топе».
- Субсидии, по идее, должны даваться на социально значимые проекты, «развитие Крыма», например, не очень в тему.
- В целом складывается ощущение, что чаще пишут и читают об исторической памяти, чаще вспоминают достижения прошлых лет, в то время как на материалы об инновациях и новых технологиях государство выделяет меньше.
А теперь как мы пришли к этим выводам.
Читать полностью »
Анализ активности пользователей и разработчиков
2016-02-06 в 17:29, admin, рубрики: data mining, kolibrios, open source, Блог компании KolibriOS Project Team, колибри, локализация, открытые данные 
Недавно у нас были две юбилейных числа — 5000 пользователей в группе социальной сети ВКонтакте и 6000-й билд ОС. Поскольку группа vk.com/kolibri_os появилась относительно недавно и стремительно растет, то очевидно, что скоро количество участников этой группы обгонит количество билдов. И это значит, что нам надо понять, какая у нашего проекта активность и кто наши пользователи. И тут мы вспомнили, что 3 года назад начался уникальный социально-психологический эксперимент, о котором, среди прочего, мы и поведаем в этой статье.
Читать полностью »
Тематическая картография: одномерные карты
2016-01-14 в 12:03, admin, рубрики: визуализация данных, Геоинформационные сервисы, картография, карты, открытые данные, тематическая картография, метки: тематическая картография 
Всем привет!
Это перевод второй части руководства по тематической картографии от ребят из axismaps.
Первая часть: Тематическая картография: общие вопросы.
Рекомендую к прочтению информационным дизайнерам, журналистам (данных), аналитикам, начинающим картографам, а также всем, кто хочет научиться читать тематические карты и отличать хорошую карту от плохой, вводящей читателя в заблуждение. Всех заинтересовавшихся приглашаю под кат.
Читать полностью »
Почему и зачем писать open-source код?
2016-01-10 в 22:00, admin, рубрики: development, open source, открытые данные, открытый исходный код, подход к работе, подход к разработке, Программирование, процесс разработки, разработка, управление, управление разработкой 
Под катом интересный опрос
Возможно, заголовок этой статьи покажется Вам не корректным, ”Как можно писать open-source код? И что это за код такой?” — спросите Вы.
Чем open-source код отличается от “просто-кода”? Open-source проект — это ответственность за качество кода, за покрытие его тестами, за документацию, за своевременные ответы на вопросы и реагирование на bug репорты, за обработку pull-request’ов. Ваше поведение и мысли во время написания open-source кода, который увидит мир будут другие, соответственно и код на выходе получается другой.
Open-Source проект живет своей жизнью — жизнью сообщества, которое образуется вокруг проекта. Идеи, отзывы, bug репорты, обсуждение и благодарности от других членов сообщества влияют на Вас и проект напрямую, и стимулируют написание кода — понятного, документированного и покрытого тестами.