В прошлый раз [Загрузка данных с сайта открытых данных data.gov.ru] мне не без проблем удалось научиться загружать данные с портала открытых данных России. Портал открытых данных должен предоставлять наиболее актуальные сведения об открытых данных федеральных органов власти, органов региональной власти и иных организаций (цитата с сайта data.gov.ru). Посмотрим, какие данные на портале, насколько они актуальны и в каком виде размещаются.
Читать полностью »
Рубрика «открытые данные» - 19
Анализ наборов данных с портала открытых данных data.gov.ru
2017-02-07 в 7:16, admin, рубрики: анализ данных, открытые данные, Программирование, Статистика в ITСодержание, метаданные и контекст открытых данных
2017-02-03 в 15:00, admin, рубрики: open data, Исследования и прогнозы в IT, открытые данныеРезультат публикации данных в свободном и бесплатном доступе напрямую зависит от их состава и качества. Чем более полными и корректными окажутся публичные данные, тем выше будет эффективность их использования и тем больше пользователей предпочтет поработать с ними.
В отношении любых передаваемых данных, особенно публичных, необходимо всегда оценивать три их ключевых аспекта: состав (содержание), описание (метаданные) и окружение (контекст).
Читать полностью »
«Яндекс», Uber и Gett испугались раскрытия данных о перемещении такси
2017-02-03 в 10:47, admin, рубрики: gett, uber, Департамент транспорта Москвы, Москва, открытые данные, Сергей Собянин, такси, Текучка, метки: gett, uber, Департамент транспорта Москвы, Москва, открытые данные, Сергей Собянин, такси, Текучка, яндекс таксиВ январе 2016 года Сергеем Собяниным было подписано постановление о необходимости передавать данные такси-сервисов (информацию о местоположении автомобилей, номер разрешения на перевозку пассажиров и номер государственного регистрационного знака такси) в Единую региональную навигационно-информационную систему Москвы (РНИС). Однако чиновники до сих пор не договорились с некоторыми онлайн-службами.
Согласно документу, Читать полностью »
Как открытые API меняют облик сферы платежей
2017-01-20 в 9:01, admin, рубрики: api, payonline, банки, Блог компании PayOnline, открытые данные, платежи, платежные системы, разработка, финтех
Несмотря на определенные преимущества и поддержку на законодательном уровне в ряде стран, концепция открытых API все еще скептически воспринимается многими банками. Особенно это ощутимо в России. Однако сложно отрицать, что такой подход способствует смене самой парадигмы платежных технологий.
Развитие концепции открытых API предвещает серьезные преобразования в платежной индустрии, которые смогут ощутить на себе все конечные пользователи, от частных лиц до глобальных корпораций. Основные движущие факторы, будь то развитие финансовых технологий по всему миру и переход на проведение платежей в реальном времени, или новые законодательные инициативы, такие как директива Европарламента PSD2, делают очевидным тот факт, что движение в этом направлении уже стало необратимым. Как следствие этого использование сторонних приложений, обращающихся напрямую к банковским системам посредством общедоступных API, для получения информации по счетам, формирования и отслеживания платежей вскоре станет нормой. Однако подобные перемены ощутят не только потребители. Не менее серьезными последствия будут и для самих банков не только в плане работы с платежными технологиями, но и в плане изменения позиционирования на рынке.
Читать полностью »
Бегтин: способ получить данные, как из Uber, из российских компаний будет очень негуманным
2017-01-09 в 12:30, admin, рубрики: api, uber, Госвеб, Иван Бегтин, открытые данные, Россия, Текучка, метки: api, uber, Госвеб, Иван Бегтин, открытые данные, Россия, ТекучкаКомпания Uber открыла проект Movement в котором по запросу готова предоставлять данные о более чем 2 миллиардах поездках машин на Uber по всему миру. Подробнее о том как устроен их проект в ролике на Youtube и, на русском языке, в заметке на «Роем!».
Резонный вопрос который может задать любой читатель этой новости в том зачем коммерческая компания будет предоставлять данные которые являются,Читать полностью »
Совет по открытым данным: вести с полей
2016-12-28 в 7:02, admin, рубрики: Блог компании «Информационная культура», открытое правительство, открытые данные, совет по открытым данным, метки: совет по открытым данным
Источник фото: сайт Открытого Правительства
23 декабря мне впервые посчастливилось побывать на заседании Совета по открытым данным. Участвовала я от лица АНО “Информационная культура”, своим участием добавив общественный сектор к представителям госсектора и бизнеса.
Состав декабрьского заседания совета был, на первый взгляд, внушительным: собрались представители Минфина, Казначейства, Росстата, Минэкономразвития, Открытого Правительства, НИУ ВШЭ, Аналитического Центра “Форум”, Аналитического центра при Правительстве и Яндекса – как видно из списка, некоммерческого сектора очень не хватает. Повестка состояла из шести объемных пунктов, но это не помешало заседанию начаться на полчаса позже, что, впрочем, не вызвало удивления присутствовавших и не сопровождалось какими-либо комментариями организаторов.
Читать полностью »
Использование Github в качестве хранилища пользовательских данных
2016-12-15 в 5:20, admin, рубрики: angular, api, Git, github, markdown, open source, rest, yii, книги, ненормальное программирование, открытые данные, Программирование, Системы управления версиями, хранение данных
Выбирая сервис для хранения моих данных, важной составляющей является то, как долго такой сервис будет жить. От него нужно, чтобы я смог хотя бы прочитать сохраненные данные даже если энтузиазм авторов проекта закончится вместе с деньгами для оплаты хостинга и базы данных. С таким подходом для своего проекта я искал сервисы баз данных, которые могли бы хранить пользовательские данные бесплатно. Многообещающим проектом был Parse.com, о котором я уже писал ранее в статье «Сайт без бекенда». Но в январе 2016 мы узнали, что Parse.com проживет только один год и будет закрыт. В связи с этим я решил перевести хранение данных пользователей в git-репозиторий, который опубликован на Github.
Самая нужная программа на свете
2016-12-05 в 11:35, admin, рубрики: c++, MyTetra, open source, qt, открытые данные, Программирование, я пиарюсь
Какими программами постоянно пользуются люди? Если подумать над этим вопросом, то окажется, что список этот не такой уж большой. К постоянно используемым программам можно отнести: саму операционную систему, файловый менеджер, текстовый редактор, браузер, мессенджер. Это именно тот базовый набор, которым пользуется на компьютере практически каждый человек. Требования к таким программам должны быть высокими: безотказная работа, быстрое выполнение всех функций, понятный и удобный интерфейс.
Можно сказать, что вышеперечисленный набор программ — это самые нужные программы, которыми пользуется человек в цифровую эпоху. Этот список покрывает все базовые потребности человека-пользователя. Или не все? Есть ли еще одна базовая потребность, которая не учтена в вышеприведенном списке самых необходимых программ? Является ли эта потребность самой важной из тех, что должен автоматизировать компьютер? Для меня такая потребность есть, но в списке самых используемых программ ей места не нашлось. Что же это за потребность?
Читать полностью »
О том почему «открытые данные Сбербанка» это не открытые данные и что нам с этим делать
2016-11-26 в 10:14, admin, рубрики: big data, Блог компании «Информационная культура», открытые данные, Сбербанк
На днях произошло, в какой-то степени, знаменательное событие и одна из крупнейших компаний России заявила о том что теперь публикует открытые данные на своем сайте. Этой компанией является Сбербанк и соответствующий раздел на их сайте. Открытие раздела удостоилось пресс-релиза на их сайте и о нем как о важном событии написали десятки финансовых и не финансовых СМИ.
Действительно ли Сбербанк совершил нечто невероятное? Рядовое ли это явление и является ли то что сделал Сбербанк сейчас открытыми данными? Вот о чем далее пойдет речь.
В качестве вступления
Прежде чем продолжить о Сбербанке, давайте вернемся к термину открытые данные.
Женщины и убийства: есть ли тут взаимосвязь? [часть 2 из 2]
2016-11-11 в 11:25, admin, рубрики: data mining, homicide rate, R, sex ratio, визуализация данных, демография, доверяй но проверяй, карты, научный скепсис, открытые данные, преступность, проверка исследования, соотношение полов![Женщины и убийства: есть ли тут взаимосвязь? [часть 2 из 2] - 1](https://www.pvsm.ru/images/2016/11/11/jenshiny-i-ubiistva-est-li-tut-vzaimosvyaz-chast-2-iz-2.jpg "Женщины и убийства: есть ли тут взаимосвязь? [часть 2 из 2] - 1")
R код (gist) для воспроизведения всех результатов
В первой части, подхваченный вдохновением и желанием проверить гипотезы сразу, я проанализировал взаимосвязь между соотношением полов и распространенностью убийств в странах Европы. Результаты не подтвердили моих ожиданий. Похоже, что во многом страны Европы напоминают регионы одной страны со своей периферией и своими центрами.
В следующей итерации своего скептицизма, результаты которого вы можете прочитать ниже, я проверяю свою гипотезу на данных американских графств, как и авторы исходной статьи.
Коротко о гипотезе
Если вам лень заглянуть в первую часть статьи, то вот кратко суть. Авторы опубликованного в журнале Human Nature исследования утверждают, что соотношения полов во взрослом населении влияет на распространенность тяжких преступлений (в частности, убийств): чем больше женщин, тем больше и преступлений. Я по-прежнему думаю, что все дело в упущенной переменной — центральность/периферийность (urban/rural) — которая и должна объяснять как повышенную долю женщин в городах, так и большее количество преступлений в них.
Убедительно подтвердить свои догадки на простеньких европейских данных мне не удалось. Попробуем на подробных американских.