Рубрика «открытые данные» - 29

Обзор ИС «Карта российской науки»: от концепции до реализации

21 мая 2012 года Министром образования и науки Российской Федерации назначается Дмитрий Ливанов. В своем первом публичном выступлении он озвучивает намерение Министерства образования и науки (МОН РФ) провести всесторонний аудит сектора исследований и разработок, включая институты РАН, государственные научные организации и высшие учебные заведения. Это заявление можно назвать зарождением «Карты российской науки».

К сожалению, за событиями вокруг реформы РАН этот проект как-то потерялся и не получил, на наш взгляд, должного внимания со стороны IT-сообщества. Мы предлагаем вам небольшую ретроспективу: путь проекта от концепции до реализации. Читать полностью »

Этим месяцем Германская цифровая библиотека (Deutsche Digitale Bibliothek – DDB) сделала многообещающий шаг в сторону дальнейшей открытости их данных предоставив API для пользователей. Это API предоставляет доступ ко всем метаданным DDB опубликованным под лицензией CC0, являющейся преобладающей в их материалах. Публикация этого API дает много возможностей для пользователей в создании приложений, комбинировании с другими данными или включению Германского цифрового наследия на другие платформы. В будущем, DDB также планирует провести соревнование по программированию для приложений на API также как и серию семинаров для разработчиков.

Германская цифровая библиотека открывает API

У API есть подробное описание, в том числе структуры данных и примеры на разных языках.
Читать полностью »

Открытые данные как явление существует давно, а вот вопросов по ним возникает большое множество и, для того чтобы снять хотя бы часть из них, мы организовали школу открытых данных которая проходит в форме лекций, семинаров и мастер-классов.

Это бесплатный просветительский проект в котором мы рассказываем об открытых данных всё что знаем и что может пригодиться другим.

При том что наша цель — это выйти на формат вебинаров, в первом шаге мы стали проводить мероприятия с записью их на видео и с открытой публикацией онлайн.

Лекции ведут российские и зарубежные преподаватели и практики и все они, по возможности, настолько приближены к практике насколько это возможно.

Сейчас у нас накопилось 7 таких занятий и нам очень важно получить обратную связь по тому что было рассказано и что хотелось бы услышать.

Вот тут те лекции что уже прошли.

Вводные лекции

Мы провели 2 вводные лекции которые врядли будут интересны тем кто уже знает что такое открытые данные и журналистика данных, но будут интересны тем кто только-только хочет это узнать об этих явлениях.

Занятие и мастер-класс №1

Вводная лекция по журналистике данных

Тематические лекции

А также мы провели целую серию лекций посвященных семантическому вебу, онтологиям, интеграции данных, геоданным и открытым базам знаний.

Связанные расходы: открытые расходы превращаются в связанные открытые данные

Интеграция и визуализация данных с использованием технологии Semantic Web

Читать полностью »

Не секрет что больше данных — это не означает что данные станут лучше. Чаще это происходит иначе и примеров когда данные публикуются в ужасающем виде немало.

Например, данные Рособоронзаказа о которых я писал ранее (http://habrahabr.ru/company/infoculture/blog/201260/) и где можно увидеть.
Точно также данные публикует и МВД России — это вот такой массив — mvd.ru/opendata/od1

А есть много других данных когда CSV файлы создаются на базе непригодных для анализа Excel файлов, или когда данные публикуют без описания схем, или когда публикуют невалидные XML файлы и многое другое.

Чтобы собрать все такие случаи коллеги из Open Knowledge Foundation начали собирать все примеры.

Собираем «Плохие данные» (bad data)
Читать полностью »

Открытые гос. данные. Made in Ukraine

Думаю, каждый из нас хотел бы знать больше о том, в каких условиях он находится или планирует находиться, и в частности, как работает власть и государство. При этом, хорошо бы под рукой иметь наиболее объективную, полную и точную информацию.

Вопрос становится особенно актуальным, когда занимаешься такими важными вещами как выбор места для дома, офиса(работы) или путешествия.
Читать полностью »

Для тех кто интересуется открытыми данными, тем что это такое и как с ними работать в этом посте собраны ссылки на открытые данные по России.

Федеральная власть

Регионы и муниципалитеты

Общественные проекты и блоги

Журналистика данных

Читать полностью »

Ранее я писал в паре постов о том как устроена открытость электронных петиций в разных странах, какие данные есть в России и как можно сделать APO для небезызвестной Российской общественной инициативы — www.roi.ru.

Прочитать всё это можно здесь:

В этот раз мы рассмотрим то как устроены электронные петиции Белого Дома, в первую очередь, с точки зрения их открытости и пригодности к данных для использования.

API для Российской общественной инициативы. Шаг 2.2: опыт США в работе с данными электронных петиций — API Белого Дома

Справка

Особенности петиций в США

  1. Относятся именно к президенту и ответы дает его администрация.
  2. Не требуют ничего кроме email'а для подписи — дополнительная авторизация ненужна.
  3. Петиции должны пройти 2 порога — 150 подписей за 30 дней чтобы их можно было найти (по прямой ссылке они доступны) и 100 000 подписей за 30 дней чтобы получить официальный ответ — petitions.whitehouse.gov/how-why/terms-participation

В цифрах

  • всего 2246 петиций
  • даны ответы на 208 петиций
  • в ожидании ответа 26 петиций
  • закрыто 1972 петиций
  • открыто для голосования 40 петиций

Цифры учитывают только те петиции что прошли 1-й порог в 150 подписей за 30 дней.

WhiteHouse.gov/developers

Одно из важных отличий сайта Белого Дома США от сайтов всех лидеров в мире — это ориентированность на разработчиков. На сайте даже есть специальный раздел /Developers где размещены данные, раскрыт исходный код проектов и описаны API многих из инициатив если не всех вообще.

Открытый код

Поскольку нас интересуют в первую очередь петиции, то рассмотрим их подробнее.

Во первых исходный код петиций полностью опубликован на Github — https://github.com/WhiteHouse/petitions

У репозитория больше 15 контрибьюторов, несколько десятков багов и вопросов и мы можем говорить о том что разработка проекта идет открытым образом.

Открытое API

Другая сторона происходящего в том для разработчиков доступен не только исходный код, но и API и данные накопленные на сервисе.
Все API по петициям доступны по ссылке — https://petitions.whitehouse.gov/developers

API доступа к данным состоит из 3-х эндпоинтов:
Читать полностью »

Когда пишешь о лучших и худших примерах публикации открытых данных очень сложно не превратить эту рубрику в кунсткамеру и не показать насколько странно иной раз происходит публикация данных и что может скрываться за данными на самом деле.

Случай который я опишу в этот раз не то чтобы уникальный, но редкий.
Речь пойдет об открытых данных, не много не мало, а Федеральной службы по оборонному заказу (сайт — www.fsoz.gov.ru).

На сайте этой службы совсем недавно появился раздел "Открытые данные" где собственно открытые данные в машиночитаемом формате и публикуются.
Размещено там немного не мало, а 15 наборов данных.

Ссылки на них есть на сайте, а я приведу полный список.
Читать полностью »

Ранее в посте на Хабре я писал про самый первый шаг для создания API для РОИ — выгрузка имеющихся данных с помощью парсера.
API для Российской общественной инициативы. Шаг 1: сбор и анализ данных

Но шаг этот, конечно, хотя и важный, но не последний в понимании того что мы хотим сделать. Есть еще один шаг — это посмотреть что сделали другие. В мире проектов по электронным петициям немало, рассмотрим несколько из них с точки зрения API и открытых данных.

API для Российской общественной инициативы. Шаг 2.1: опыт Великобритании в работе с данными электронных петиций

Электронные петиции Великобритании (epetitions.direct.gov.uk)

Великобритания была одной из первых стран внедривших практику сбора петиций от граждан и обязательность их рассмотрения.
Через британский проект epetitions.direct.gov.uk прошло несколько десятков тысяч петиций из которых —

  • открыто 5 741 петиция
  • закрыто 18 323 петиции
  • отклонено 21 030 петиций

все цифры на 5 ноября 2013 года
Подробности на сайте http://epetitions.direct.gov.uk/petitions?state=open

Российские петиции отчасти похожи на британские, там также необходимо собрать 100 тысяч подписей и на все отводиться не более 1 года.

Однако у петиций Великобритании есть несколько важных особенностей:
Читать полностью »

Если еще пару лет назад очень многие чиновники, журналисты, разработчики в разговорах про открытые данные переспрашивали что это такое, то в последнее время ситуация стала меняться и выправляться.

Вопросов не стало меньше — они стали другими. Например, за последние 3 месяца я занимался тем что регулярно выступал с лекциями на Школе открытых данных, на мероприятиях некоммерческих организаций, конференциях и в рамках программ обучения госслужащих.

Во всех случаях есть свои особенности:

  • некоммерческие организации почти всегда не имеют ресурсов и жалуются на отсутствие разработчиков
  • госслужащие редко умеют программировать сами и чаще всего говорят что у них используют компьютеры только как печатные машинки
  • разработчики редко знают о том где взять данные и чаще всего задают вопросы именно на эту тему

И во всех случаях всегда много вопросов о том чем открытые данные отличаются от свободы доступа к информации, что такое открытые лицензии и зачем они нужны, а также какие проекты создаются на открытых данных.

Всё это было в качестве вступления, а в качестве развития мы собрали небольшой список образовательных и просветительских проектов в этой области которые могут быть всем интересны. Все подобранные курсы бесплатны и открыты.

Открытые данные

School of Data (OKF)

Образовательные ресурсы и материалы по открытым данным

Школа данных от Open Knowledge Foundation. Первая школа посвященная именно открытым данным. Много онлайн курсов в форматах вебинаров.
Ссылка: schoolofdata.org
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js