Министерство связи и массовых коммуникаций запустило пилотную версию службы «Безопасныедороги.рф». Проект использует данные Минздрава, МВД, Росавтодора и МЧС. Обладателями информации, размещаемой в формате открытых данных и в интерфейсе сайта, Читать полностью »
Рубрика «открытые данные» - 20
Минкомсвязи не поддержало идею Росавтодора закрыть данные о дорогах в госприложении
2016-10-24 в 6:24, admin, рубрики: UGC, авто, Геолокационные сервисы, Госвеб, запуск, карты, мвд, Минздрав, Минкомсвязи, мчс, открытые данные, Росавтодор, статистика, Текучка, метки: UGC, авто, Геолокационные сервисы, Госвеб, запуск, карты, мвд, Минздрав, Минкомсвязи, мчс, открытые данные, Росавтодор, статистика, ТекучкаВыборы-2016. Часть 2 — удивительное рядом и оно разрешено
2016-10-23 в 20:49, admin, рубрики: data mining, ggplot2, R, визуализация данных, выборы-2016, открытые данные, ЦИК РФ, метки: выборы-2016, ЦИК РФВ первой части статьи о выборах 2016 года шла речь о результатах в 225 избирательных округах. В этот раз рассмотрим данные о результатах голосования по участковым избирательным комиссиям (УИК), которых насчитывалось чуть менее 100 тысяч. Этот уровень детализации позволяет увидеть неожиданные явления и удивительные закономерности в результатах голосования.
Выборы-2016. Часть 1 — результаты и сравнения
2016-10-23 в 20:45, admin, рубрики: data mining, GIS-Lab, Leaflet, R, визуализация данных, выборы-2016, открытые данные, ЦИК РФВ сентябре прошли выборы в Госдуму РФ VII созыва. При голосовании вся территория России была разделена на 225 округов. В каких округах каждая из партий получила высокие (или низкие) результаты? Какие значения принимала явка избирателей и как она влияла на результаты партий? Ответы на эти вопросы и ряд других наблюдений представлены в этой публикации.
Хакатон по данным криминальной статистики
2016-10-12 в 15:52, admin, рубрики: Блог компании «Информационная культура», визуализация данных, Геоинформационные сервисы, открытые данные, Спортивное программирование, статистика, хакатон
У нас хорошая новость — наконец-то организуем хакатон по данным криминальной статистики, уже в следующие выходные: 22-23 октября.
Читать полностью »
Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2]
2016-10-11 в 15:14, admin, рубрики: data mining, homicide rate, R, sex ratio, визуализация данных, демография, доверяй но проверяй, карты, научный скепсис, открытые данные, преступность, проверка исследования, соотношение полов![Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2] - 1](https://www.pvsm.ru/images/2016/10/11/jenshiny-i-ubiistva-est-li-tut-vzaimosvyaz-chast-1-iz-2.jpg "Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2] - 1")
Исследование, недавно опубликованное в престижном научном журнале Human Nature, обнаружило, что преобладание женщин сопряжено с более высокой преступностью. Вывод сильно противоречит житейскому представлению о том, что где мужчины, там и преступления. Однако он находит поддержку в сравнительно молодых теориях формирования брачных рынков.
Несмотря на стройность использованных в исследовании методов, мне кажется, в нем упущена важная переменная, возможно, ключевая. Было бы прекрасно проверить на тех же данных, но авторы их не публикуют приложением к статье, а собрать самостоятельно — довольно большая работа. Пока решил пойти другим путем — устранить проблемную переменную из дизайна исследования.
Я проверил, наблюдается ли подобная закономерность в Европе на уровне стран. Заинтересованных прошу под кат.
Немного об этом посте не слишком хабровского формата
Изначально мое внимание к исследованию привлек пост в блоге демографа Бориса Денисова. В дискуссии с ним же родилась идея проверить закономерность на странах Европы. Проверил. Результаты интересные. И стал думать, где опубликовать. В очередной раз пришел к выводу, что лучше хабра варианта нет. Понимаю, что тема, вероятно, заинтересует меньшую часть аудитории сообщества. И все же я надеюсь на доброжелательное отношение и ценные комментарии — очень хочется услышать мнения "со стороны". Что касается категоризации статьи — думаю, на хабре не помешал бы хаб (или даже поток) "Академия" (писал от этом раньше в комментарии).
В свое оправдание могу сказать, что те, кому не интересна демография, найдут в этом посте R код, позволяющий в автоматическом режиме скачать данные о населении из двух прекрасных баз данных — Eurostat и Human Mortality Database. Кроме того, здесь я впервые публикую функцию для быстрого построения симпатичных карт Европы в R (есть туманные планы на будущее — написать пакет R для подобного шаблонного картографирования).
Считаем порносайты, оцениваем эффективность Роскомнадзора
2016-10-08 в 17:05, admin, рубрики: блокировка сайтов, Исследования и прогнозы в IT, открытые данные, порно, Роскомнадзор, статистика интернета
Вся история началась с достаточно бурного обсуждения процентного соотношения порно vs. всё остальное. Дискуссия плавно переросла в тотализатор. Кто называет цифру ближе всего к «реальной», тот и в дамках. Ставки сделаны, ставок больше нет.
Читать полностью »
Обработка голосовых запросов в Telegram с помощью Yandex SpeechKit Cloud
2016-10-03 в 8:21, admin, рубрики: python, telegram, telegram bots, Yandex API, yandex speechkit, открытые данные, Яндекс APIКак все начиналось
Этим летом я участвовал в разработке бота Datatron, предоставляющего доступ с открытыми финансовыми данными РФ. В какой-то момент я захотел, чтобы бот мог обрабатывать голосовые запросы, и для реализации этой задачи решил использовать наработками Яндекса. Читать полностью »
Как я начал писать сторонние проекты, чтобы набраться опыта
2016-09-19 в 10:21, admin, рубрики: открытые данные, параллельное программирование, параллельный проект, Программирование, Разработка веб-сайтов, разработка программного обес, сторонний проект, метки: параллельный проект, сторонний проект
(Поскольку люди спрашивали: Sublime Text 3 с «Spacegray Light» («платиново-серый светлый») из Materialize и гарнитура Ubuntu Mono Bold)
Как и большинство других студентов, обучавшихся по программе компьютерных наук в Калифорнийском университете в Сан-Диего, я в течение нескольких лет шёл через различные курсы просто «накатом». Я никогда не был ни хорошим, ни плохим по успеваемости, и мой средний балл был «не очень». Я любил курсы программирования с их чрезвычайно сложными заданиями; математический анализ же был мне не по душе.
В этом нетехническом посте я хотел бы (для разнообразия) поделиться моим опытом работы с проектами с открытым исходным кодом. Эти проекты оказали мне огромную помощь в дальнейшем при получении места для стажировки (в т.ч. в Amazon, которое превратилось позднее в постоянное рабочее место).
Если вы сейчас изучаете компьютерные науки или предполагаете делать это, то надеюсь, что вам будет полезен мой опыт.Читать полностью »
Визуализация и работа с историческими данными: интерактивные карты и linked data базы знаний для изучения истории
2016-09-08 в 0:00, admin, рубрики: rdf, sparql, wikidata, wikipedia, визуализация данных, историческая картография, открытые данные, Семантика, метки: историческая картографияПорой глянешь по сторонам и кажется, что современного мира вне IT не существует. Однако есть области человеческой жизни, очень слабо затронутые компьютеризацией. Одна из таких областей — история. И как наука, и как учебный курс. Конечно, работа за компьютером едва ли когда-то заменит историкам ковыряние в архивах. Но уж изучать историю по нарисованным в учебнике статическим картам, а порядок событий выстраивать, тщательно выписывая на бумажку даты в порядке возрастания — это точно прошлый век. Однако инструментов для наглядного изучения истории не так-то много и найти их очень непросто.
Если вы хотите узнать, какие есть интерактивные исторические карты, где стоит посмотреть на представление событий в форме таймлайнов и как делать сложные запросы к википедии типа «все государственные деятели, работавшие в Европе в 1725 году» — читайте дальше.Читать полностью »
Графические модели на основе гауссовых копул
2016-09-05 в 1:09, admin, рубрики: chow-liu tree, data mining, european social survey, gaussian copula graphical models, markov random fields, R, survey data analysis, визуализация данных, открытые данные, метки: chow-liu tree, european social survey, gaussian copula graphical models, markov random fields, survey data analysisЛог-линейные модели и их представления в виде марковских сетей позволяют показать структуру взаимосвязей между случайными величинами. Однако полученная визуализация может оказаться трудна для восприятия из-за большого числа равнозначных ребер в графе такой модели. При работе с порядковыми и бинарными переменными гауссовы копулы (Gaussian copula graphical models, сокр. GCGM) дают возможность повысить наглядность и упростить интерпретацию модели. В статье приведен краткий обзор теории и построен пример GCGM для European Social Survey данных.
