Рубрика «big data» - 17

в 11:24, , рубрики: big data, BigData, информационная безопасность, машинное обучение

Когда вы сталкиваетесь с новой уязвимостью, какая мысль приходит первой? Конечно, отреагировать как можно быстрее. Однако, скорость — всего лишь одно из условий эффективной борьбы с ИБ-угрозами. Когда речь идет о корпоративной безопасности, не менее важно безошибочно определять, на что стоит реагировать в первую очередь. Недооцененная угроза может стать причиной серьезных убытков или потери деловой репутации. Но если число уязвимостей постоянно растет, как быстро оценить их значимость и не упустить важные детали?

Скрытая угроза — анализ уязвимостей при помощи графа новостей - 1
Динамика числа уязвимостей по группам CVSS (источник — vulners.com)
Читать полностью »

в 11:59, , рубрики: big data, анализ данных python, машинное обучение, Питон

Данный текст является продолжением серии статей, посвященных краткому описанию основных методов анализа данных. В предыдущий раз мы осветили методы классификации, сейчас рассмотрим способы прогнозирования. Под прогнозированием будем понимать поиск конкретного числа, которое ожидается получить для нового наблюдения или для будущих периодов. В статье указаны названия методов, их краткое описание и скрипт на Python. Конспект может быть полезен перед собеседованием, в соревновании или при запуске нового проекта. Предполагается, что аудитория знает эти методы, но имеет необходимость быстро освежить их в памяти.

Читать полностью »

в 7:56, , рубрики: big data, data engineering, data frame, data mining, data.table, pandas, python, R, tidyverse, агрегация данных, группировка данных, наука о данных, обработка данных, сводные таблицы

По запросу R или Python в интернете вы найдёте миллионы статей и километровых обсуждений по теме какой из них лучше, быстрее и удобнее для работы с данными. Но к сожалению особой пользы все эти статьи и споры не несут.

Какой язык выбрать для работы с данными — R или Python? Оба! Мигрируем с pandas на tidyverse и data.table и обратно - 1

Цель этой статьи — сравнить основные приёмы обработки данных в наиболее популярных пакетах обоих языков. И помочь читателям максимально быстро овладеть тем, который они ещё не знают. Для тех кто пишет на Python узнать как выполнять всё то же самое в R, и соответственно наоборот.

В ходе статьи мы разберём синтаксис наиболее популярных пакетов на R. Это пакеты входящие в библиотеку tidyverse, а также пакет data.table. И сравним их синтаксис с pandas, наиболее популярным пакетом для анализа данных в Python.

Мы пошагово пройдём весь путь анализа данных от их загрузки до выполнения аналитических, оконных функций средствами Python и R.

Читать полностью »

в 7:00, , рубрики: azure, Azure Cosmos DB, azure hdinsight, Azure Streaming Analytics, big data, data engineering, data science, linux, microsoft, Microsoft Azure, nosql, open source, Power BI, SDK, sql, sql server, sql server linux, Visual Studio, visual studio code, аналитика, Блог компании Microsoft, визуализация данных, дата сайенс, открытый исходный код, поток данных

Finale! Именно этим итальянским словом можно назвать эту статью. Ведь она последняя уже во второй серии подборок бесплатных курсов от Microsoft. И сегодня у нас курсы для специалистов по анализу данных и инженеров данных. Присоединяйтесь!

Кстати!

  • Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
  • 6/7 на русском языке;
  • Начать обучение можно мгновенно;
  • По окончании вы получите бейдж об успешном прохождении обучения.

Присоединяйтесь, подробности под катом!

Все статьи из серии

Статьи из прошлой серии

7 бесплатных курсов для специалистов по работе с данными (DS и DE) - 1Читать полностью »

в 19:29, , рубрики: big data, TensorFlow, tensorflow quantum, квантовое машинное обучение, квантовые технологии, машинное обучение

Google анонсировала Tensorflow Quantum - 1

Сегодня в блоге Google AI Blog была анонсирована Tensorflow Quantum — библиотека с открытым исходным кодом для квантового машинного обучения.

TensorFlow Quantum (TFQ) был выпущен в сотрудничестве с Университетом Ватерлоо, X и Volkswagen. TFQ предоставляет инструменты, необходимые для объединения исследовательских сообществ в области квантовых вычислений и машинного обучения для контролирования и моделирования естественных или искусственных квантовых систем.
Читать полностью »

в 11:41, , рубрики: big data, будущее здесь, Законодательство в IT, китай, коронавирус, технологии на службе людей

Да, тут опять речь пойдет о Китае, но вместо однотипных новостей о статистике и «свидетельств очевидцев» я хочу рассмотреть back-end грандиозной китайской системы, которая поставлена на службу охране здоровья во многих аспектах.
Признаюсь честно, на пост меня сподвигли призывы широко известной в узких кругах женщины «помогать технологиями бедным китайцам бороться с эпидемией».
image
Читать полностью »

в 9:22, , рубрики: big data, data science, ERG, redmadrobot, алгоритм, Алгоритмы, Блог компании REDMADROBOT, данные, ИИ, искусственный интеллект, машинное обучение, нейросети, обработка изображений

Пользу от ИИ (и всех связанных с ним технологий) сложно переоценить. Правильно обученные нейросети способны и подогреть интерес к самой технологии, например, создавая маски для социальных сетей или сгенерированные песни в стилистике любимых исполнителей, и показать практическую пользу в реальных делах — от предсказания событий на производстве до поиска пропавших людей.

В этом посте мы как раз и поговорим о практическом применении ИИ в тяжелой промышленности (да, мы не только приложения делать умеем), а именно о том, как технологии помогли одному производству по переработке руды существенно повысить эффективность работы и перестать гонять человека пару раз в день просеивать куски породы через большое сито.

Как мы забрали у человека сито и помогли мельнице - 1

В 1949 году советский пилот-геологоразведчик Михаил Сургутанов пролетал над одной из территорий Казахстана (урочище Сарбай) и, взглянув на компас, заметил, что стрелка стала игнорировать Север и зажила своей жизнью. Да, как в кино при обнаружении каких-то магнитных аномалий.
Читать полностью »

в 8:49, , рубрики: big data, анализ данных python, машинное обучение, Питон

При изучении Data Science, я решил составить для себя конспект по основным приемам, используемым в анализе данных. В нем отражены названия методов, кратко описана суть и приведен код на Python для быстрого применения. Готовил конспект для себя, но подумал, что кому-то это также может быть полезно, например, перед собеседованием, в соревновании или при запуске нового проекта. Рассчитано на аудиторию, которая в целом знакома со всеми этими методами, но имеет необходимость освежить их в памяти. Статья под катом.
Читать полностью »

в 7:26, , рубрики: apache zeppelin, big data, cassandra, clickhouse, clickhouse-grafana, DataGrip, devops, druid, infiniDB, redash.io, Superset Airbnb, Tabix, Администрирование баз данных, визуализация данных

Предлагаю ознакомиться с расшифровкой доклада 2017 года Игорь Стрыхарь «ClickHouse – визуально быстрый и наглядный анализ данных в Tabix».

Веб-интерфейс для ClickHouse в проекте Tabix.
Основные возможности:

  • Работает с ClickHouse напрямую из браузера, без необходимости установки дополнительного ПО;
  • Редактор запросов с подсветкой синтаксиса;
  • Автодополнение команд;
  • Инструменты графического анализа выполнения запросов;
  • Цветовые схемы на выбор.
    ClickHouse – визуально быстрый и наглядный анализ данных в Tabix. Игорь Стрыхарь - 1

Читать полностью »

в 16:10, , рубрики: big data, elasticsearch, поисковые системы, поисковые технологии, распределенные системы

С чего начинается Elasticsearch - 1 Elasticsearch, вероятно, самая популярная поисковая система на данный момент с развитым сообществом, поддержкой и горой информации в сети. Однако эта информация поступает непоследовательно и дробно.

Самое первое и главное заблуждение — "нужен поиск, так бери эластик!". Но в действительности, если вам нужен шустрый поиск для небольшого или даже вполне себе крупного проекта, вам стоит разобраться в теме поподробней и вы откажетесь от использования именно этой системы.

Читать полностью »

1...10...161718...2030...147
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js