На днях состоялся первый релиз OrganicMaps — open-source форка Maps.me, который команда добровольцев готовила больше чем полгода. В этой небольшой заметке мне бы хотелось поделиться краткой историей проекта, за которой я следил в Telegram-чатах и на GitHub и обозначить основные отличия форка от текущей версии Maps.me. Если вы являетесь текущим или бывшим пользователем Maps.me или интересуетесь проектами с открытым кодом с фокусом на приватности без рекламы и сбора данных, то добро пожаловать.
Рубрика «открытые данные»
OrganicMaps — релиз форка Maps.me с открытым кодом
2021-06-18 в 20:42, admin, рубрики: maps.me, open source, OpenStreetMap, открытые данныеЧто происходит с молодежной наукой в России?
2021-02-12 в 21:12, admin, рубрики: Анализ и проектирование систем, молодые специалисты, наука, наука в россии, открытые данные, Управление сообществомВ этой статье я хотел бы проанализировать основные проблемы молодежной науки в России. Я выделил следующие:
-
слабая связность системы высшего образования при низком уровне гибкости
-
отсутствие науки как таковой в провинциальных ВУЗах
-
плохое техническое оснащение
-
проблемное и недостаточное финансирование
-
преобладание государственного финансирования
-
избыток “научных сотрудников”, ригидность мышления профессоров и низкое качество публикаций
-
слабая обратная связь
На фондовом рынке США сформировался пузырь небывалых размеров
2021-02-05 в 15:03, admin, рубрики: открытые данныеОценки напрочь оторвались от фундаментального анализа, мультипликаторы находятся на исторических максимумах, скорость эмиссии ценных бумаг зашкаливает — и всё это сопровождается безумно спекулятивным поведением инвесторов. Большой кризис неизбежен.
Начать своё повествование я хочу с, казалось бы, очевидного, но сегодня далеко не все осознают, для чего появились акции. Итак, акция — это доля в компании. Зачем нужна доля в компании? Для того, чтобы иметь часть её прибыли. Именно поэтому реальная ценность акции обусловлена текущей и будущей прибылью компании-эмитента, которая передаётся акционеру в форме дивидендов.
6 принципов эффективной визуализации данных
2021-01-03 в 16:19, admin, рубрики: big data, skillfactory, Блог компании SkillFactory, визуализация, визуализация данных, данные, Инфографика, Лайфхаки для гиков, открытые данныеКлючевые принципы создания полезных и информативных графиков
Визуализация данных является важным этапом в процессе постижения науки о данных. Здесь вы представляете свои результаты и сообщаете о них в графическом формате, который является интуитивно понятным и лёгким для понимания.
Визуализация данных требует большой работы, большой труд по очистке и анализу уходит на перегонку и превращение грязных данных в красивые графики и диаграммы. Но даже с подготовленными данными всё равно приходится придерживаться определённых принципов или методологий, чтобы создать полезную, информативную графику.
Тем не менее при написании этой статьи я черпал вдохновение в книге Эдварда Тафта «Beautiful Evidence», которая содержит шесть принципов, посвящённых тому, как сделать графики данных полезными. Именно эти принципы отделяют полезные графики от бесполезных.
Эта статья также в значительной степени вдохновлена книгой Роджера Д. Пенга «Exploratory Data Analysis in R» Она доступна бесплатно на Bookdown, и вы можете прочитать её, чтобы узнать больше о EDA.
Давайте ближе познакомимся с этими принципами.
Пример визуализации данных на Our World in Data
Читать полностью »
Ноль смертей: как выжить в ДТП
2020-10-13 в 11:33, admin, рубрики: vision zero, аварии, Геоинформационные сервисы, Гибдд, ДТП, карта, карта дтп, краудсорсинг, краудфандинг, ноль смертей, открытые данные, Статистика в IT, Урбанизм
В прошлом году проект “Карта ДТП” опубликовал исходные кодыЧитать полностью »
Водоросли, танкер и шторм против Камчатки
2020-10-12 в 6:19, admin, рубрики: Геоинформационные сервисы, ДЗЗ, дистанционное зондирование земли, камчатка, космонавтика, Научно-популярное, океан, открытые данные, экология
Проясняется ситуация с отравлением Халактырского пляжа и бухты Авачинской на Камчатке. После переполоха поднятого в соцсетях туда приехали все службы и ученые какие только смогли, и провели бесконечное количество анализов. Оперативная информация выкладывается в официальном телеграм-канале. До конца все причины и факторы не определены, но пока однозначно, что никаких пестицидов или ракетного топлива ни откуда не утекло. А причины гибели морских организмов имеют скорее всего естественный характер. Одну утечку нефтепродуктов на проходящем судне тоже смогли рассмотреть, но вряд ли она причастна к морскому геноциду. И космос оказал в этом расследовании неоценимую помощь.
Читать полностью »
Парсинг сайта Умного Голосования и новый API на сайте ЦИК
2020-09-20 в 17:19, admin, рубрики: api, big data, data mining, html, http, json, python, выборы, голосование, интерфейсы, навальный, открытые данные, парсинг, сбор данных, ЦИК РФ
13 сентября 2020 года в России прошёл единый день голосования. В некоторых регионах оппозицией была применена стратегия «Умного Голосования», заключающаяся в том, что оппозиционно настроенные избиратели голосуют за единого кандидата, имеющего наивысшие шансы победить представителя от властей.
Процесс отбора кандидатов для «Умного Голосования» уже второй год вызывает дискуссии на тему своей прозрачности. Кроме того, лично меня смущают сложности с подведением итогов стратегии, с которыми могут столкнуться независимые аналитики. Организаторы УмГ не публикуют подробные итоги стратегии, а лишь диаграммы, демонстрирующие сколько оппозиционных кандидатов прошло в региональный парламент.
На сайте «Умного Голосования» нельзя получить список поддержанных кандидатов, указав, например, город и округ. Если кто-то захочет собрать данные по региону, ему предстоит монотонная работа по подбору адресов для каждого округа.
Ни в коем случае не упрекаю разработчиков сайта УмГ, он имеет весь требуемый функционал для реализации стратегии голосования. Но в связи с тем, что в 2019 году никто не занимался сбором и публикацией подробных данных по итогам УмГ (вне московских выборов), на этих выборах я решил взять инициативу в свои руки.
В итоге получилась вот такая сводная таблица. В данной статье я расскажу, как был получен приведённый набор данных, как собиралась информация с сайтов Умного Голосования и нового веб-сервиса ЦИК.
Информационная среда на принципах Open Data
2020-09-12 в 14:07, admin, рубрики: open data, децентрализация, децентрализованные сети, открытые данные, социальные сети
Предлагаемая информационная среда является своего рода децентрализованной социальной сетью. Но в отличии от многих существующих решений — данная среда имеет ряд полезных свойств помимо децентрализации и создана на базе достаточно простых и стандартных технических решений (email, json, текстовые файлы и немного блокчейна). Что позволяет любому желающему с базовыми знаниями программирования создавать свои сервисы для данной среды.
Читать полностью »
Black [O]lives Matter: раса, криминал и огонь на поражение в США. Часть 3
2020-09-10 в 0:33, admin, рубрики: api, big data, black lives matter, data mining, data science, open source, pandas, python, rest, открытые данные, полиция, СШАПродолжаем наше исследование, посвященное ситуации в США со стрельбой полицейских и уровнем преступности среди представителей белой и черной (афроамериканской) рас. Напомню, что в первой части я рассказал о предпосылках исследования, его целях и принятых оговорках / допущениях; а во второй части была демонстрация анализа взаимосвязи между расовой принадлежностью, преступностью и гибелью от рук служб правопорядка.
Напомню также и промежуточные выводы, сделанные на основе статистических наблюдений (за период с 2000 по 2018 год):
Black [O]lives Matter: раса, криминал и огонь на поражение в США. Часть 2
2020-09-04 в 5:18, admin, рубрики: api, big data, black lives matter, data mining, data science, open source, pandas, python, rest, открытые данные, полиция, СШАВ первой части статьи я описал предпосылки для исследования, его цели, допущения, исходные данные и инструменты. Сейчас можно без дальнейших разглагольствований сказать гагаринское...
Поехали!
Импортируем библиотеки и определяем путь к директории со всеми файлами:
import pandas as pd, numpy as np
# путь к папке с исходными файлами
ROOT_FOLDER = r'c:_PROG_Projectsus_crimes'