Привет читатели и почитатели !
На днях Европейская организация по эксплуатации метеорологических спутников (EUMETSAT) совместно с коллегами из метеорологических агентств Японии и США опубликовала видео, которое вобрало все данные наблюдений за погодой в течение ушедшего 2015 год.
Два полушария, 12 месяцев и 8 минут отличной визуализации данных ждут Вас под катом!
Читать полностью »
«Ростелеком» открыл технологический центр в области обработки больших данных для прогнозирования оттока клиентов, расширения тарифной линейки и оптимизации услуг компании. Оператор в 2015 году планировал инвестировать в направление Big Data до 800 миллионов рублей, пишет «Коммерсант».
Читать полностью »
В сентябре 2015 года Федеральный закон о персональных данных претерпел серьезные изменения. Мы с вами сейчас внимательно их рассмотрим, чтобы понимать, как это все будет работать в реалиях Рунета. Юристы наши много раз говорили о ПДн и до вступления изменений в силу. И вот час настал, и все, что раньше только размусоливалось в теории, теперь введено в работу. Увы, мы пока не прорвались с докладом на главные каналы страны и все, что нам остается, писать сюда. Итак, приступим.
Читать полностью »
Закон о персональных данных будет действовать избирательно — некоторые отрасли, которые попадают под действие международных соглашений или профильного законодательства, могут не переносить данные российских пользователей в РФ. Об этом сообщил министр связи Николай Никифоров, пишут «Ведомости». К сожалению, никаких конкретных примеров министр не привел.
Вадим Ампелонский, представитель Роскомнадзора, подтверждает слова министра. По словам Ампелонского, закон допускает некоторые исключения, именно по этой причине с 1 сентября этого года процесс выдачи виз не осложнится.
Читать полностью »
Есть темы, по которым очень мало статей по специальности data science, но которые представляют интерес для специалистов по безопасности. Это статистические исследования логинов и паролей пользователей – данные, добытые «черными археологами» дата майнинга.
Мне было интересно посмотреть некоторые закономерности и для этой цели я взял базу данных паролей, утёкших в 2014 году – от Яндекса, Гугла и Мейлру, объемом 6 миллионов записей.
Читать полностью »
Пока маркетологи обмазываются BigData и бегают в таком виде на пресс-конференциях, я предлагаю просто скачать бесплатный инструмент с тестовыми наборами данных, шаблонами процессов и начать работать.
Закачка, установка и получение первых результатов — минут 20 максимум.
Я говорю про RapidMiner — опенсорсную среду, которая при всей своей бесплатности некисло «уделывает» коммерческих конкурентов. Правда, сразу скажу, что разработчики всё равно её продают, а в опенсорс отдают только предпоследние версии. Дома можно попробовать потому, что есть вообще бесплатные сборки со всей-всей логикой с всего лишь двумя ограничениями — максимальный объем используемой памяти 1 Гб и работа только с обычными файлами (csv, xls и т.п.) в качестве источника данных. Естественно, в малом бизнесе это тоже не проблема.Читать полностью »
Потрясающее видео на днях опубликовало NOAA Climate — или по-русски Национальное управление океанических и атмосферных исследований климата, на котором были совмещены данные об арктических льда, собранные на протяжении последних 27 лет — между 1987 и 2014 годом. Красочная визуализация позволяет оценить, как сезонно и из года в год меняется снежный и ледовый покров нашей северной «шапки», а также проследить влияние глобального потепления на возраст ледовых покровов.
Код статьи можно посмотреть здесь.
Когда-то я разрабатывал свою игру и задался вопросом: а какой формат данных лучше использовать?
Разработчики используют разные форматы: одни используют JSON, другие — XML, либо другие форматы данных. Ну а некоторые вообще хранят данные в .txt файлах или пишут свои парсеры. После рассмотрения различных форматов я остановился на Lua.
Lua можно использовать не только для игр, но и вообще для любых программ, которые используют данные, хранящиеся в других файлах.
Вот, что выделяет Lua на фоне других форматов:
some_variable = math.sqrt(2) * 2
some_variable2 = 64 * 16 - 32
Начнём с простого примера, а затем я перейду к реализации класса.
Читать полностью »
-uskoryaet skript-na poryadok.png "Отказ от jParser (в пользу работы напрямую с буферами Node.js) ускоряет скрипт на порядок")
Перелистнём несколько страниц недавнего прошлого.
16 мая 2012 года RReverser во блогозаписи «Javascript BMP Parser» рассказал об употреблении модуля jParser для анализа двоичных данных, на движке Node.js совершаемого.
На следующий же день (17 мая 2012 года) во блогозаписи «jParser: анализ двоичных файлов работает просто» я перевёл документацию по jParser, а чуть позже (22 мая 2012 года во блогозаписи «Node.js на узле Фидонета: читаем джаваскриптом заголовки эхопочты, хранимой в формате JAM») поделился собственным опытом употребления этого модуля.
Прошло ≈1⅓ года…
12 сентября нынешнего (2013) года во блогозаписи «Недоволен скоростью джаваскриптов? — Подожди год-полтора, и это пройдёт!» я выразил неудовольствие от скорости работы модуля, прежде мною сочинённого, и указал на один только повод для оптимизма: поступательное развитие Node.js от версии 0.6 до версии 0.10 привело к росту скорости моего кода в три раза.
А сегодня события совершили полный круг — я напрочь отказался от употребления jParser. И достигнутый результат (как неприятная, так и радостная сторона его) оказался заслуживающим внимания.
Позвольте же поделиться с вами как впечатлениями, так и исходниками.
В настоящее время Байесовские методы получили достаточно широкое распространение и активно используются в самых различных областях знаний. Однако, к сожалению, не так много людей имеют представление о том, что же это такое и зачем это нужно. Одной из причин является отсутствие большого количества литературы на русском языке. Поэтому здесь попытаюсь изложить их принципы настолько просто, насколько смогу, начав с самых азов (прошу прощения, если кому-то это покажется слишком простым).
Читать полностью »