Я уже делал на Хабре пост про поражения сибирских лесов опасным вредителем — уссурийским полиграфом. Этот чрезвычайно плодовитый и опасный жук способен за короткое время уничтожить огромные площади пихтовых лесов и, к сожалению, это получается у него куда лучше, нежели усилия людей по борьбе с опасным насекомым. Основной проблемой мониторинга лесов в зоне поражения жуком является нехватка специалистов и современных методик быстрого и точного анализа состояния пораженного леса. Однако, некоторые позитивные моменты всё же есть. На схватку с опасным вредителем выходят беспилотные летательные аппараты. БПЛА. Вернее сказать вылетают…
Рубрика «визуализация данных» - 27
Жуки атакуют
2019-01-28 в 2:13, admin, рубрики: Биотехнологии, визуализация данных, жук, обработка изображений, уссурийский полиграф, экологияАнализ трендов российского YouTube за 2018 год
2019-01-24 в 6:13, admin, рубрики: tubewarden, TypeScript, YouTube, визуализация данных, Социальные сети и сообщества, статистикаСтарожилы, наверное, и не вспомнят, но в конце 2017-го года в обсуждениях в интернете была распространена мысль о том, что в трендах YouTube часто встречаются «накрученные» видео.
Поэтому накануне нового 2018-го года я написал утилиту для сбора информации о видео, которые попали в тренды. Для каждого видео запрашивается название, список тегов, дата создания, а так же ведется история изменений лаков/дизлайков/просмотров. Разработку вел на TypeScript для NodeJS, сам код выложен на GitHub.
Как итог, сейчас есть возможность строить красивые графики:
Так же есть возможность строить графики изменения трендов по ключевым словам. Всего за 2018-й год была собрана информация по 29271 видео. Сбор статистики ведется и сейчас.
Как мы строим систему обработки, хранения и анализа данных в СИБУРе
2019-01-21 в 8:21, admin, рубрики: DataLake, Hadoop, Hbase, hdfs, Hive, impala, MDM, Блог компании Цифровой СИБУР, визуализация данных, дата-офис, машинное обучение, Сибур, хранение данныхВ начале 2018 года у нас активно пошел процесс цифровизации производства и процессов в компании. В секторе нефтехимии это не просто модный тренд, а новый эволюционный шаг в сторону повышения эффективности и конкурентоспособности. Учитывая специфику бизнеса, который и без всякой цифровизации показывает неплохие экономические результаты, перед «цифровизаторами» стоит непростая задача: всё-таки менять устоявшиеся процессы в компании — довольно кропотливая работа.
Наша цифровизация началась с создания двух центров и соответствующих им функциональных блоков.
Это «Функция цифровых технологий», в которую включены все продуктовые направления: цифровизация процессов, IIoT и продвинутая аналитика, а также центр управления данными, ставший самостоятельным направлением.
И вот как раз главная задача дата-офиса заключается в том, чтобы полноценно внедрить культуру принятия решений, основанных на данных (да, да, data-driven decision), а также в принципе упорядочить всё, что касается работы с данными: аналитика, обработка, хранение и отчетность. Особенность в том, что все наши цифровые инструменты должны будут не только активно использовать собственные данные, то есть те, которые генерируют сами (например, мобильные обходы, или датчики IIoT), но и внешние данные, с четким пониманием, где и зачем их нужно использовать.
Меня зовут Артем Данилов, я руководитель направления «Инфраструктура и технологии» в СИБУРе, в этом посте я расскажу, как и на чем мы строим большую систему обработки и хранения данных для всего СИБУРа. Для начала поговорим только о верхнеуровневой архитектуре и о том, как можно стать частью нашей команды.
Читать полностью »
Комплексный подход к визуализации событий безопасности и измерению её эффективности
2019-01-18 в 12:04, admin, рубрики: безопасность, визуализация, визуализация данных, гештальт, информационная безопасность, научная статья, психология, эффективностьПривет! Представляем вашему вниманию перевод статьи "A Full-Scale Security Visualization Effectiveness Measurement and Presentation Approach".
От автора перевода
Визуализация оказывает неоценимую помощь экспертам в получении выводов и знаний об объекте исследований, особенно, если такие исследования связаны с обработкой большого объёма данных. При этом, выбор способов визуализации, как правило, носит творческий характер и не является обоснованным выбором на основании каких-либо количественных оценок. В статье предпринята попытка получения количественных оценок визуализации.
Кроме того, необходимо отметить, что вопросам исследования визуализации в русскоязычных источниках уделяется мало внимания. Исследования, описанные в статье, находятся на стыке нескольких областей знаний: безопасность информации, психологии, науки о данных, что позволяет читателю познакомиться с ранее неизвестными для него темами. Также интерес представляет обширная библиография по теме изучения визуализации.
Основные термины, используемые в тексте статьи, отмечены курсивном и для них в скобках указано значение иностранного термина. Определения таких терминов приведены после текста статьи.
Читать полностью »
Дизайнаука
2019-01-14 в 21:26, admin, рубрики: edisonsoftware, ISOTYPE, Блог компании Edison, визуализация данных, графический дизайн, дизайн, Инфографика, наука, Научно-популярное«Каждый ученый, безусловно, несет часть профессиональной ответственности за пропаганду общественного понимания науки»
Привлечение дизайна к науке
Дизайн может принести больше пользы науке, чем наука дизайну
Упражнение на подготовительном курсе в Ульмской школе дизайна. 1958-59
У дизайна и науки непростые отношения. Или, если говорить точнее, у дизайна непростые отношения с наукой. У науки, с другой стороны, почти нет никаких отношений с дизайном, и она обычно не обращает никакого внимания на волнения и беспокойства в мире дизайна.
Исторически, дизайн практически никак не был связан с наукой. Как легко можно понять по названию, декоративно-прикладное искусство, являющееся одной из основ современного дизайна, было ближе к искусству как таковому нежели к науке. Дизайнеры и художники часто обучаются на одном факультете в университете и мыслят почти одинаково. На протяжении XX века искусство вдохновляло дизайн, а иногда и наоборот. Для многих дизайн был прежде всего стремлением к элегантной и выразительной эстетике продуктов и предметов, которые окружают нас в нашей повседневной жизни.
Поэтому исторически дизайн намного ближе к изобразительному искусству, чем к науке. Но все не так просто.
Читать полностью »
«Теория Большого взрыва» и практика применения Python
2019-01-13 в 9:16, admin, рубрики: insightface, mtcnn, opencv, python, TensorFlow, визуализация данных, машинное обучениеВступление
В последнее время активно изучаю язык программирования Python. Особенно меня заинтересовало использование Python в распознавании и классификации лиц. В статье я попробую применить распознавание лиц для сериала «Теория Большого взрыва».
Data Science: книги для начального уровня
2019-01-09 в 12:01, admin, рубрики: big data, data mining, data science, machine learning, python, Блог компании Plarium, визуализация данных, машинное обучение, новичкам, самообучение, саморазвитие, чтение книгData Science — наука о данных, возникшая на стыке нескольких обширных направлений: программирования, математики и машинного обучения. Этим обусловлен высокий порог вхождения в профессию и необходимость постоянно получать новые знания.
Ключевыми навыками для начинающих специалистов являются:
- умение писать код (Python);
- способность визуализировать свои результаты;
- понимание того, что происходит «под капотом».
На эти три категории разделены книги, которые специалисты Plarium Krasnodar подобрали для читателей с начальными знаниями в Data Science.
Анализ результатов 2018 Kaggle ML & DS Survey
2019-01-09 в 11:00, admin, рубрики: kaggle, machine learning, ods, python, visualization, Блог компании Open Data Science, визуализация данных, демография, Исследования и прогнозы в IT, машинное обучение
Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5 миллиона. В соревнованиях участвуют тысячи data scientist из разных стран, и Kaggle стал интересоваться тем, что из себя представляет аудитория. В октябре 2018 года был организован уже второй опрос и на него ответило 23859 людей из 147 стран.
В опросе было несколько десятков вопросов на самые разные темы: пол и возраст, образование и сфера работы, опыт и навыки, используемые языки программирования и софт и многое другое.
Но Kaggle — не просто площадка для соревнований, там также можно публиковать исследования данных или решения соревнований (они называются кернелы и похожи на Jupyter Notebook), поэтому датасет с результатами опроса был выложен в открытый доступ, и было организовано соревнование на лучшее исследование этих данных. Я тоже принимал участие и пусть денежный приз не получил, но мой кернел занял шестое место по количеству голосов. Я хотел бы поделиться результатами моего анализа.
Данных довольно много и их можно рассматривать с разных сторон. Меня заинтересовали различия между людьми из разных стран, поэтому большая часть исследования будет сравнивать людей из России (поскольку мы тут живём), Америки (как самая продвинутая страна в плане DS), Индии (как бедная страна с большим количеством DS) и других стран.
Большая часть графиков и анализа взята из моего кернела (желающие могут там увидеть код на Python) но есть и новые идеи.
Вия, Уая, Вая, Вайя – “трудности перевода”, или что скрывается за новой платформой SAS Viya (Вайя)
2018-12-28 в 10:25, admin, рубрики: big data, cloud computing, data mining, data science, visual analytics, Блог компании SAS, визуализация данных, Облачные вычисления
В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущему роботов. Например, заводы нового поколения, способные работать полностью или частично без вмешательства человека или машины с автопилотом.
Разработчики объединяют комбинации этих подходов и методов машинного обучения в различные направления. Эти направления впоследствии получают названия, оригинальные и не очень, например: IOT (Internet Of Things), WOT (Web Of Things), Индустрия 4.0 (Industry 4.0), Artificial Intelligence (AI) и другие. Данные концепции объединяет то, что их описание является верхнеуровневым, то есть не рассматриваются ни конкретные инструменты и технологии, ни уже готовые к внедрению системы, а основной целью является визуализация желаемого результата. Но технологии уже существуют, хотя часто не имеют единой платформы.
Читать полностью »
Все, что вы не знали о новом SOLIDWORKS 2019 и не успели спросить
2018-12-21 в 16:51, admin, рубрики: 3d, 3d-моделирование, 3DExpirience, cad, CAD/CAM, dassault systemes, solidworks, Блог компании DassaultSystèmes, визуализация данных, проектирование, прототипирование, Работа с 3D-графикой, сапрВсе, кто следит за новостями рынка САПР, знают, что компания Dassault Systèmes провела
2 октября интерактивное мероприятие SOLIDWORKS FORUM, на котором представила обновленную систему проектирования SOLIDWORKS 2019.
Новая версия SOLIDWORKS — огромный шаг вперед. Изменен интерфейс продукта, значительно улучшена производительность. Обо всем этом мы расскажем ниже.
Читать полностью »