У нас хорошая новость — наконец-то организуем хакатон по данным криминальной статистики, уже в следующие выходные: 22-23 октября.
Читать полностью »
Рубрика «открытые данные» - 20
Хакатон по данным криминальной статистики
2016-10-12 в 15:52, admin, рубрики: Блог компании «Информационная культура», визуализация данных, Геоинформационные сервисы, открытые данные, Спортивное программирование, статистика, хакатонЖенщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2]
2016-10-11 в 15:14, admin, рубрики: data mining, homicide rate, R, sex ratio, визуализация данных, демография, доверяй но проверяй, карты, научный скепсис, открытые данные, преступность, проверка исследования, соотношение полов![Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2] - 1](https://www.pvsm.ru/images/2016/10/11/jenshiny-i-ubiistva-est-li-tut-vzaimosvyaz-chast-1-iz-2.jpg "Женщины и убийства: есть ли тут взаимосвязь? [часть 1 из 2] - 1")
Исследование, недавно опубликованное в престижном научном журнале Human Nature, обнаружило, что преобладание женщин сопряжено с более высокой преступностью. Вывод сильно противоречит житейскому представлению о том, что где мужчины, там и преступления. Однако он находит поддержку в сравнительно молодых теориях формирования брачных рынков.
Несмотря на стройность использованных в исследовании методов, мне кажется, в нем упущена важная переменная, возможно, ключевая. Было бы прекрасно проверить на тех же данных, но авторы их не публикуют приложением к статье, а собрать самостоятельно — довольно большая работа. Пока решил пойти другим путем — устранить проблемную переменную из дизайна исследования.
Я проверил, наблюдается ли подобная закономерность в Европе на уровне стран. Заинтересованных прошу под кат.
Немного об этом посте не слишком хабровского формата
Изначально мое внимание к исследованию привлек пост в блоге демографа Бориса Денисова. В дискуссии с ним же родилась идея проверить закономерность на странах Европы. Проверил. Результаты интересные. И стал думать, где опубликовать. В очередной раз пришел к выводу, что лучше хабра варианта нет. Понимаю, что тема, вероятно, заинтересует меньшую часть аудитории сообщества. И все же я надеюсь на доброжелательное отношение и ценные комментарии — очень хочется услышать мнения "со стороны". Что касается категоризации статьи — думаю, на хабре не помешал бы хаб (или даже поток) "Академия" (писал от этом раньше в комментарии).
В свое оправдание могу сказать, что те, кому не интересна демография, найдут в этом посте R код, позволяющий в автоматическом режиме скачать данные о населении из двух прекрасных баз данных — Eurostat и Human Mortality Database. Кроме того, здесь я впервые публикую функцию для быстрого построения симпатичных карт Европы в R (есть туманные планы на будущее — написать пакет R для подобного шаблонного картографирования).
Считаем порносайты, оцениваем эффективность Роскомнадзора
2016-10-08 в 17:05, admin, рубрики: блокировка сайтов, Исследования и прогнозы в IT, открытые данные, порно, Роскомнадзор, статистика интернета
Вся история началась с достаточно бурного обсуждения процентного соотношения порно vs. всё остальное. Дискуссия плавно переросла в тотализатор. Кто называет цифру ближе всего к «реальной», тот и в дамках. Ставки сделаны, ставок больше нет.
Читать полностью »
Обработка голосовых запросов в Telegram с помощью Yandex SpeechKit Cloud
2016-10-03 в 8:21, admin, рубрики: python, telegram, telegram bots, Yandex API, yandex speechkit, открытые данные, Яндекс APIКак все начиналось
Этим летом я участвовал в разработке бота Datatron, предоставляющего доступ с открытыми финансовыми данными РФ. В какой-то момент я захотел, чтобы бот мог обрабатывать голосовые запросы, и для реализации этой задачи решил использовать наработками Яндекса. Читать полностью »
Как я начал писать сторонние проекты, чтобы набраться опыта
2016-09-19 в 10:21, admin, рубрики: открытые данные, параллельное программирование, параллельный проект, Программирование, Разработка веб-сайтов, разработка программного обес, сторонний проект, метки: параллельный проект, сторонний проект
(Поскольку люди спрашивали: Sublime Text 3 с «Spacegray Light» («платиново-серый светлый») из Materialize и гарнитура Ubuntu Mono Bold)
Как и большинство других студентов, обучавшихся по программе компьютерных наук в Калифорнийском университете в Сан-Диего, я в течение нескольких лет шёл через различные курсы просто «накатом». Я никогда не был ни хорошим, ни плохим по успеваемости, и мой средний балл был «не очень». Я любил курсы программирования с их чрезвычайно сложными заданиями; математический анализ же был мне не по душе.
В этом нетехническом посте я хотел бы (для разнообразия) поделиться моим опытом работы с проектами с открытым исходным кодом. Эти проекты оказали мне огромную помощь в дальнейшем при получении места для стажировки (в т.ч. в Amazon, которое превратилось позднее в постоянное рабочее место).
Если вы сейчас изучаете компьютерные науки или предполагаете делать это, то надеюсь, что вам будет полезен мой опыт.Читать полностью »
Визуализация и работа с историческими данными: интерактивные карты и linked data базы знаний для изучения истории
2016-09-08 в 0:00, admin, рубрики: rdf, sparql, wikidata, wikipedia, визуализация данных, историческая картография, открытые данные, Семантика, метки: историческая картографияПорой глянешь по сторонам и кажется, что современного мира вне IT не существует. Однако есть области человеческой жизни, очень слабо затронутые компьютеризацией. Одна из таких областей — история. И как наука, и как учебный курс. Конечно, работа за компьютером едва ли когда-то заменит историкам ковыряние в архивах. Но уж изучать историю по нарисованным в учебнике статическим картам, а порядок событий выстраивать, тщательно выписывая на бумажку даты в порядке возрастания — это точно прошлый век. Однако инструментов для наглядного изучения истории не так-то много и найти их очень непросто.
Если вы хотите узнать, какие есть интерактивные исторические карты, где стоит посмотреть на представление событий в форме таймлайнов и как делать сложные запросы к википедии типа «все государственные деятели, работавшие в Европе в 1725 году» — читайте дальше.Читать полностью »
Графические модели на основе гауссовых копул
2016-09-05 в 1:09, admin, рубрики: chow-liu tree, data mining, european social survey, gaussian copula graphical models, markov random fields, R, survey data analysis, визуализация данных, открытые данные, метки: chow-liu tree, european social survey, gaussian copula graphical models, markov random fields, survey data analysisЛог-линейные модели и их представления в виде марковских сетей позволяют показать структуру взаимосвязей между случайными величинами. Однако полученная визуализация может оказаться трудна для восприятия из-за большого числа равнозначных ребер в графе такой модели. При работе с порядковыми и бинарными переменными гауссовы копулы (Gaussian copula graphical models, сокр. GCGM) дают возможность повысить наглядность и упростить интерпретацию модели. В статье приведен краткий обзор теории и построен пример GCGM для European Social Survey данных.
Московские власти приготовились бесплатно раздать проект, созданный чиновниками и Яндекс.Пробками
2016-09-01 в 13:26, admin, рубрики: B2B, авто, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, инвестиции, карты, мобильные приложения, Москва, открытые данные, Текучка, Яндекс.Пробки, метки: b2b, авто, Геолокационные сервисы, Госвеб, Департамент транспорта Москвы, инвестиции, карты, мобильные приложения, Москва, открытые данные, Текучка, яндекс.пробкиЦОДД может предоставить информацию о трафике на столичных дорогах сторонним разработчикам интернет-сайтов и мобильных приложений. Об этом m24.ru рассказал замруководителя Центра организации дорожного движения (ЦОДД) Александр Поляков. По его словам, любой интернет-ресурс, радио и телевидение может получить доступ к данным ЦОДД о заторах, чтобы информировать о них москвичей.
Обзор новых возможностей Mathematica 11 и языка Wolfram Language
2016-08-21 в 8:42, admin, рубрики: 3D-печать, api, web-разработка, Wolfram Alpha, wolfram cloud, wolfram data drop, wolfram development platform, wolfram language, wolfram mathematica, wolfram research, Блог компании Wolfram Research, визуализация, визуализация данных, временные ряды, география, дифференциальные уравнения, интегральные уравнения, математика, машинное обучение, наука, обработка аудио, обработка текста, образование, открытые данные, Программирование, программирование систем, уравнения в частных производных
Перевод поста Стивен Вольфрам (Stephen Wolfram) "Today We Launch Version 11!".
Выражаю огромную благодарность Полине Сологуб за помощь в переводе и подготовке публикации
Содержание
— Первое, что вы отметите...
— 3D печать
— Машинное обучение и нейронные сети
— Аудио
— Встроенные данные о чем угодно: от скелетной структуры и продуктов питания до сведений о нашей Вселенной
— Вычисления с реальными объектами
— Передовые возможности географических вычислений и визуализаций
— Не забудем про сложные задачи математического анализа и теоретической физики...
— Образование
— Совмещение всех функций в одно целое
— Визуализация
— От строк к тексту
— Современный подход к программированию систем
— Работа в интернете
— Облачные данные
— Подключайтесь к любым внешним сервисам: Facebook, Twitter, Instagram, ArXiv, Reddit и многим другим...
— WolframScript
— Новое в ядре языка Wolfram Language
— И еще много нового...
Я рад объявить о выходе новой версии системы Mathematica и 11-й версии языка Wolfram Language, доступной как для Desktop-компьютеров, так и в облачном виде. В течение последних двух лет сотни человек упорно трудились над ее созданием, а несколько тысяч часов и я лично. Я очень взволнован; это важный шаг вперед, имеющий важное значение для многих крупнейших технологических областей.
Прошло больше 28 лет с тех пор, как вышла 1-я версия, — и почти 30 лет с тех пор, как я занялся ее разработкой. И все это время я продолжал воплощать дерзкую мечту — строить все больший и больший стек технологий. Большая часть программного обеспечения спустя несколько лет и несколько версий, за исключением мелких доработок, практически не меняется. С системой Mathematica и Wolfram Language сложилась совсем другая история: в течение трех десятилетий мы c каждой новой версией продвигались вперед, завоевывая постепенно огромное количество новых областей.
Читать полностью »
Бегтин: Как заработать на открытых данных
2016-08-15 в 14:57, admin, рубрики: Иван Бегтин, инвестиции, кейсы, колонка, Нам пишут, открытые данные, советы, Стратегия, эффективность бизнеса, метки: Иван Бегтин, инвестиции, кейсы, колонка, Нам пишут, открытые данные, советы, Стратегия, эффективность бизнесаПо наблюдениям, многим людям, решившимся начать стартап, неясно, как могут пригодиться открытые данные. А открытые государственные данные даже немного настораживают: для кого проводится огромная работа по переводу данных, находящихся в распоряжении разных органов власти, в открытый формат, Читать полностью »