Рубрика «открытые данные» - 29

в 12:36, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, электронное правительство, метки: ,

Когда пишешь о лучших и худших примерах публикации открытых данных очень сложно не превратить эту рубрику в кунсткамеру и не показать насколько странно иной раз происходит публикация данных и что может скрываться за данными на самом деле.

Случай который я опишу в этот раз не то чтобы уникальный, но редкий.
Речь пойдет об открытых данных, не много не мало, а Федеральной службы по оборонному заказу (сайт — www.fsoz.gov.ru).

На сайте этой службы совсем недавно появился раздел "Открытые данные" где собственно открытые данные в машиночитаемом формате и публикуются.
Размещено там немного не мало, а 15 наборов данных.

Ссылки на них есть на сайте, а я приведу полный список.
Читать полностью »

в 16:59, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, рои, российская общественная инициатива, электронное правительство, метки: , , ,

Ранее в посте на Хабре я писал про самый первый шаг для создания API для РОИ — выгрузка имеющихся данных с помощью парсера.
API для Российской общественной инициативы. Шаг 1: сбор и анализ данных

Но шаг этот, конечно, хотя и важный, но не последний в понимании того что мы хотим сделать. Есть еще один шаг — это посмотреть что сделали другие. В мире проектов по электронным петициям немало, рассмотрим несколько из них с точки зрения API и открытых данных.

API для Российской общественной инициативы. Шаг 2.1: опыт Великобритании в работе с данными электронных петиций

Электронные петиции Великобритании (epetitions.direct.gov.uk)

Великобритания была одной из первых стран внедривших практику сбора петиций от граждан и обязательность их рассмотрения.
Через британский проект epetitions.direct.gov.uk прошло несколько десятков тысяч петиций из которых —

  • открыто 5 741 петиция
  • закрыто 18 323 петиции
  • отклонено 21 030 петиций

все цифры на 5 ноября 2013 года
Подробности на сайте http://epetitions.direct.gov.uk/petitions?state=open

Российские петиции отчасти похожи на британские, там также необходимо собрать 100 тысяч подписей и на все отводиться не более 1 года.

Однако у петиций Великобритании есть несколько важных особенностей:
Читать полностью »

в 12:43, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, свободные лицензии, метки: , ,

Если еще пару лет назад очень многие чиновники, журналисты, разработчики в разговорах про открытые данные переспрашивали что это такое, то в последнее время ситуация стала меняться и выправляться.

Вопросов не стало меньше — они стали другими. Например, за последние 3 месяца я занимался тем что регулярно выступал с лекциями на Школе открытых данных, на мероприятиях некоммерческих организаций, конференциях и в рамках программ обучения госслужащих.

Во всех случаях есть свои особенности:

  • некоммерческие организации почти всегда не имеют ресурсов и жалуются на отсутствие разработчиков
  • госслужащие редко умеют программировать сами и чаще всего говорят что у них используют компьютеры только как печатные машинки
  • разработчики редко знают о том где взять данные и чаще всего задают вопросы именно на эту тему

И во всех случаях всегда много вопросов о том чем открытые данные отличаются от свободы доступа к информации, что такое открытые лицензии и зачем они нужны, а также какие проекты создаются на открытых данных.

Всё это было в качестве вступления, а в качестве развития мы собрали небольшой список образовательных и просветительских проектов в этой области которые могут быть всем интересны. Все подобранные курсы бесплатны и открыты.

Открытые данные

School of Data (OKF)

Образовательные ресурсы и материалы по открытым данным

Школа данных от Open Knowledge Foundation. Первая школа посвященная именно открытым данным. Много онлайн курсов в форматах вебинаров.
Ссылка: schoolofdata.org
Читать полностью »

в 15:47, , рубрики: Блог компании НП «Информационная культура», открытые данные, рои, электронное правительство, метки: ,

В качестве введения

Вы все наверняка помните о таком явлении как Российская общественная инициатива (www.roi.ru) — провозглашенная государством в лице федерального правительства инициатива по сбору подписей за онлайн петиции. Предполагается что если за 1 год по петиции будет собрано 100 тысяч голосов, то и петиция будет официально рассмотрена нашими властями. И даже имеет шанс получить статус законопроекта.

При этом уже 6 петиций прошли такой фильтр — https://www.roi.ru/complete/ две из них настоящему прошедшие сбор по 100 тысяч голосов и 4 петиции набравшие голосов сильно меньше, но органы власти успели прореагировать.

И, хотя петиции не дают гарантии что решение вообще какое-либо будет принято, многие создают их не только в надежде на положительное решение, но и для того чтобы поместить проблему в «медийную повестку» иначе говоря, для того чтобы об этом начали писать СМИ и была бы публичная государственная реакция.

Поэтому РОИ, пока что, не последний из государственных проектов и интерес к нему есть. При этом у РОИ есть ряд недостатков и проблем.

Проблемы РОИ

Читать полностью »

в 7:20, , рубрики: Блог компании НП «Информационная культура», Москва, открытые данные, электронное правительство, метки: ,

По моему опыту общения с разработчиками которые когда-либо участвовали в соревнования по открытым данным — все они говорят о том что нужны данные как можно большего уровня детализации.

Например, не статистика по регионам, а статистика по муниципалитетам. Не сводка преступлений/ДТП, а информация с адресами и координатами.
Не просто адреса учреждений с координатами, а подробная информация о каждом.

Пока таких детальных данных, прямо скажем, в удобном виде немного. Если взять Москву как пример, то даже на московском портале data.mos.ru большая часть данных — это геоданные или данные с геопривязкой в виде адреса и какой-то еще минимальной информацией. Понятное дело что сделать с ними что-то действительно интересное сложно. Поэтому скажем спасибо Правительству Москвы за то что они хотя бы это раскрыли и попробуем понять где взять более интересные данные и что с ними делать.

Конкурсы и соревнования

На вопрос зачем это нужно отвечу сразу — невозможно провести ни один конкурс/хакатон/соревнование для разработчиков не имея достаточного количества интересных данных. С этим мы сталкивались на хакатоне Яндекса, прошедшем конкурсе Apps4Russia и многих других.

Поэтому сейчас, поскольку мы помогаем в подготовке конкурса API Challenge мы решили подготовить столько полезных данных сколько только возможно. А поскольку API Challenge — это конкурс идущий от власти Москвы и ориентированный на Москву — мы и данные собираем по Москве.
Открытые данные Москвы и соревнование API Challenge на их основе

Чтобы этого добиться мы начали просматривать десятки госсайтов и ищем на них то что можно использовать законно и с пользой.

Как это происходило и продолжается

Читать полностью »

в 14:58, , рубрики: Блог компании НП «Информационная культура», открытые данные, электронное правительство, метки:

Вместо вступления и введения сразу предлагаю посмотреть на картинку. Сразу предупрежу — рекламы Internet Explorer'а в ней нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора
вы можете получить аналогичное ей сообщение просто попытавшись открыть систему оперативного мониторинга лекарственных средств (МОЛС) http://mols.roszdravnadzor.ru/
Это такая государственная автоматизированная информационная система Росздравнадзора.

Я не сомневаюсь что многие из вас сталкивались с похожими ситуациями по огромному числу государственных проектов, работе с банками и многое другое.

Собственно вот такие случаи нарушают один из принциповы открытых данных — доступность. Технологические ограничения никак не делают их доступными и та же самая ситуация со многими другими реестрами Росздравнадзора.
Например:

Казалось бы, наверняка сотрудники Росздравнадзора должны были знать об этих ограничениях и они могли бы открыть хотя бы часть данных в созданном недавно разделе открытых данных на их сайте, вот тут — http://roszdravnadzor.ru/opendata

Однако все несколько иначе.

Во первых, в списке массивов что опубликованы Росздравназдором ни одного из реестров выше просто нет.
Во вторых даже то что «опубликовано» по факту отсутствуют.

Я не могу привести прямых ссылок, поскольку на сайте они разместили всё странным Javascript кодом вместо пермалинков, поэтому текстом.

Если мы откроем массив N5 «Статистическая информация, сформированная федеральным органом исполнительной власти в соответствии с федеральным планом статистических работ, а также статистическая информация по результатам проведенных плановых и внеплановых проверок»

То увидим что там ничего нет.
Почему Открытые данные — это культура работы с информацией на примере Росздравнадзора

А если мы посмотрим в наборы данных:

  • N4 Информация о результатах плановых и внеплановых проверок, проведенных федеральным органом исполнительной власти и его территориальными органами в пределах их полномочий, а также о результатах проверок, проведенных в федеральном органе исполнительной власти, его территориальных органах и подведомственных организациях
  • N6 Сведения о вакантных должностях государственной гражданской службы, имеющихся в федеральном органе исполнительной власти и его территориальных органах
  • N7 Реестры лицензий на конкретные виды деятельности, лицензирование которых осуществляется федеральными органами исполнительной власти

То обнаружим что ссылки на массив данных ничего не содержат кроме описания полей. Да и те описаны весьма странно.
Читать полностью »

в 8:57, , рубрики: открытые данные, российские сайты, метки: ,

Изредка просматривая свои ленты в соцсетях, недавно заметил интересное интервью в «Московских новостях». Оказалось, что сайт gdemvd.ru придумали и реализовали люди знакомые. Вкратце идея: собрать из разрозненных официальных источников данные об отделениях милиции в Росиии и показать пользователю на карте ближайшие. Был удивлен, что оказывается, Яндекс такого не предлагал. Сами данные формально доступны, но выковыривать их нужно из разных темных уголков, и информация предлагается в разных форматах, не всегда удобных — например, doc-файлы и т.д.

О сайте gdemvd.ru

Пример карты — по данным сайта в Московской области чуть подальше от Москвы отделений не так уж и много. Кусок Можайского и Нарофоминского районов.

Читать полностью »

в 6:40, , рубрики: Блог компании НП «Информационная культура», минэкономразвития, открытое государство, открытое правительство, открытые данные, электронное правительство, метки: , , ,

Совет по открытым данным: террабайты Минкультуры, выше в рейтинге G8 и о том куда идет Минэкономразвития
21 октября выдался днём богатым на общественные мероприятия, об одном из них, заседании общественного совета при Росстате, я писал ранее. А вот про Совет по открытым данным вполне можно поговорить подробнее.

Прежде чем я перескажу всё своими словами — посмотрите на официальную новость там какие-то из вопросов раскрыты, а какие то я расскажу сейчас.

Итак, было 3 большие темы:
1. Открытые данные Минкультуры
2. Выполнение Россией требований хартии G8
3. Техтребования на портал открытых данных от Минэкономразвития России

Открытые данные Минкультуры

Выступал Михаил Городилов из Минкультуры и, если кратко, то его выступление можно свести к следующим тезисам:

  1. «Мы открыты» Они только-только начали открывать данные открытые данные и что-то уже разместили на сайте Минкультуры — mkrf.ru/opendata/
  2. «Цифровой контент — это тоже данные» Обещают очень много данных цифрового контента и то что планируют оцифровывать и создавать до 280 террабайт в год
  3. «Мы хотим денег» Это прозвучало совершенно недвусмысленно, о том что Минкультуры хочет чтобы работы по созданию ими открытых данных в том числе из цифрового контента были профинансированы из госпрограммы «Информационное общество».
  4. «Мы хотим чтобы бизнес платил» Посыл также очень простой. Чтобы бизнес который потенциально использовал бы их данные далее бы тоже участвовал в финансировании их создания. Прозрачно намекалось на Яндекс и Гугл и другие крупные интернет-холдинги

Вот такие нехитрые мысли прозвучали от Минкультуры. При этом у них, на самом деле, много есть данных которые давно пора открыть, но до сих пор ничего из них они не разместили. Ни государственный реестр фильмов, ни базу по культурному наследию, ни многое другое. Позиция та же что и у Росстата, только понимания пока еще меньше.

Дадут ли им денег? Не знаю. В этом году всем Минфин обрезает финансирование и не дает денег на новые инициативы. Надо ли их дожимать открывать то что уже есть? Я считаю что надо.

Хартия G8

Читать полностью »

в 16:44, , рубрики: Блог компании НП «Информационная культура», открытые данные, статистика, электронное правительство, метки: ,

Росстат обещает открываться, но не забесплатно

Поскольку я вхожу в Совет по открытым данным при Правительственной комиссии я регулярно присутствую на большом числе мероприятий по открытости данных и открытости вообще.

Не могу похвастаться что там бывает много интересного, чаще всего это много разговоров на языке далеком от простого человека, однако такая работа по «лоббированию открытости» тоже нужна.

И вот сегодняшний день был буквально заполнен такими мероприятиями. Мне довелось побывать утром на Общественном совете при Росстате на заседание которого меня позвали сотрудники Росстата. А вечером на Совете по открытым данным.

Про Совет я ещё напишу отдельно, а вот про Росстат прямо сейчас.

Как всегда есть две новости — хорошая и плохая.

Итак, хорошая новость.

В Росстате лучше всех понимают что такое открытые данные и данные вообще они тоже очень хорошо понимают. Они сразу поняли что такое Semantic Web, SPARQL, Linked Data и другие термины пугающие остальных чиновников. Они очень хорошо понимают что надо сделать чтобы данные преобразовать в машиночитаемые и довести до связанных данных.

В плане понимания — они безусловные лидеры. Вот просто они первые кто понимает так хорошо, на удивление.

Но есть и плохая новость.
Читать полностью »

в 11:57, , рубрики: Блог компании НП «Информационная культура», открытое государство, открытые данные, метки: ,

Открытые данные из существующих государственных порталов
Когда мы говорим про открытые данные которые государственные органы должны раскрывать, мы, чаще всего, сталкиваемся с тем что данных в нужной нам форме нет. Или, по крайней мере, так утверждают те кто должен вести базы данных и реестры создаваемые государством.

И действительно, есть данные которых, скорее всего, просто не существует, например данее по границам участков почтовых отделений. В мире, например в переписи открытых данных Open Knowledge Foundation это один из важных наборов данных, но полноценно отсутствующий в России.

Но есть и другая сторона этой медали. Есть уже созданные государственные порталы и проекты в которых собраны большие базы данных недоступные в машиночитаемом виде для граждан. И это именно тот случай когда чиновники не могут сказать что данных нет, вопрос лишь в качестве данных и их доступности в удобном виде.

Далее я буду писать только о тех порталах и проектах что созданы и поддерживаются на государственные деньги. И тех которые содержат немало полезной информации.

ОБД Мемориал

Ссылка: http://obd-memorial.ru
Открытые данные из существующих государственных порталов

С сайта мы можем узнать что:
На сегодняшний день в ОБД введено 13,7 млн. цифровых копий документов о безвозвратных потерях периода Великой Отечественной войны из 38 тыс. архивных дел ЦА МО РФ, ЦВМА, РГВА, ГА РФ, региональных архивов Росархива и 42,2 тыс. паспортов воинских захоронений существующих мест воинских захоронений в Российской Федерации и за ее пределами.

Дополнительно в ОБД загружено более 1000 томов Книги Памяти.

Всего в ОБД около 29 млн. записей из архивных документов (не путать с общим числом боевых потерь — 8,67 млн. чел.) и около 10 млн. записей из Книги Памяти.

Иначе говоря за государственный счет была проведена маштабнейшая работа по оцифровке данных и переводе их в базу данных онлайн, но при этом не предоставлено ни одного интерфейса для работы с данными — ни дампов базы, ни API с REST+JSON, ничего другого что позволило бы вести аналитическую работу над данными.

Зачем это нужно? То что не сделало государство — могут сделать желающие волонтеры и разработчики проведя геокодирование данных, создавая мобильные приложения и региональные проекты посвященные Великой отечественной войне.

Читать полностью »

1...1020...282930...33
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js