Приложение Weltory, которое анализирует физическое состояние пользователя по вариабельности сердечного ритма, соберет и выложит в открытый доступ анонимизированные данные о больных коронавирусной пневмонией в ранних стадиях, чтобы их могли использовать исследователи. В блоге компании говорится, что Weltory может быть инструментом домашней самодиагностики, хотя определитьЧитать полностью »
Рубрика «big data» - 16
Российский фитнес-стартап Weltory хочет помочь диагностировать вирусные заболевания по сердечному ритму и другим данным
2020-03-31 в 8:43, admin, рубрики: big data, аналитика, коронавирус, медтех, персональные данные, Текучка, метки: big data, аналитика, Коронавирус, Медтех, персональные данные, ТекучкаКак мы кратно улучшили качество рекомендаций в оффлайн ритейле
2020-03-27 в 14:54, admin, рубрики: big data, data engineering, data mining, data science, gtc, machine learning, Nvidia, python, recommendation systems, recommender system, retail, startups, машинное обучениеВсем привет! Меня зовут Саша, я CTO & Co-Founder в LoyaltyLab. Два года назад я с друзьями, как и все бедные студенты, ходил вечером за пивом в ближайший магазин у дома. Нас очень расстраивало, что ритейлер, зная, что мы придём за пивом, не предлагает скидку на чипсы или сухарики, хотя это так логично! Мы не поняли, почему такая ситуация происходит и решили сделать свою компанию. Ну и как бонус выписывать себе скидки каждую пятницу на те самые чипсы.
И дошло всё до того, что с материалом по технической стороне продукта я выступаю на NVIDIA GTC. Мы рады делиться наработками с коммьюнити, поэтому я выкладываю свой доклад в виде статьи.
Скрытая угроза — анализ уязвимостей при помощи графа новостей
2020-03-27 в 11:24, admin, рубрики: big data, BigData, информационная безопасность, машинное обучениеКогда вы сталкиваетесь с новой уязвимостью, какая мысль приходит первой? Конечно, отреагировать как можно быстрее. Однако, скорость — всего лишь одно из условий эффективной борьбы с ИБ-угрозами. Когда речь идет о корпоративной безопасности, не менее важно безошибочно определять, на что стоит реагировать в первую очередь. Недооцененная угроза может стать причиной серьезных убытков или потери деловой репутации. Но если число уязвимостей постоянно растет, как быстро оценить их значимость и не упустить важные детали?
Динамика числа уязвимостей по группам CVSS (источник — vulners.com)
Читать полностью »
Конспект по методам прогнозирования
2020-03-21 в 11:59, admin, рубрики: big data, анализ данных python, машинное обучение, ПитонДанный текст является продолжением серии статей, посвященных краткому описанию основных методов анализа данных. В предыдущий раз мы осветили методы классификации, сейчас рассмотрим способы прогнозирования. Под прогнозированием будем понимать поиск конкретного числа, которое ожидается получить для нового наблюдения или для будущих периодов. В статье указаны названия методов, их краткое описание и скрипт на Python. Конспект может быть полезен перед собеседованием, в соревновании или при запуске нового проекта. Предполагается, что аудитория знает эти методы, но имеет необходимость быстро освежить их в памяти.
Какой язык выбрать для работы с данными — R или Python? Оба! Мигрируем с pandas на tidyverse и data.table и обратно
2020-03-16 в 7:56, admin, рубрики: big data, data engineering, data frame, data mining, data.table, pandas, python, R, tidyverse, агрегация данных, группировка данных, наука о данных, обработка данных, сводные таблицыПо запросу R или Python в интернете вы найдёте миллионы статей и километровых обсуждений по теме какой из них лучше, быстрее и удобнее для работы с данными. Но к сожалению особой пользы все эти статьи и споры не несут.
Цель этой статьи — сравнить основные приёмы обработки данных в наиболее популярных пакетах обоих языков. И помочь читателям максимально быстро овладеть тем, который они ещё не знают. Для тех кто пишет на Python узнать как выполнять всё то же самое в R, и соответственно наоборот.
В ходе статьи мы разберём синтаксис наиболее популярных пакетов на R. Это пакеты входящие в библиотеку tidyverse, а также пакет data.table. И сравним их синтаксис с pandas, наиболее популярным пакетом для анализа данных в Python.
Мы пошагово пройдём весь путь анализа данных от их загрузки до выполнения аналитических, оконных функций средствами Python и R.
7 бесплатных курсов для специалистов по работе с данными (DS и DE)
2020-03-10 в 7:00, admin, рубрики: azure, Azure Cosmos DB, azure hdinsight, Azure Streaming Analytics, big data, data engineering, data science, linux, microsoft, Microsoft Azure, nosql, open source, Power BI, SDK, sql, sql server, sql server linux, Visual Studio, visual studio code, аналитика, Блог компании Microsoft, визуализация данных, дата сайенс, открытый исходный код, поток данныхFinale! Именно этим итальянским словом можно назвать эту статью. Ведь она последняя уже во второй серии подборок бесплатных курсов от Microsoft. И сегодня у нас курсы для специалистов по анализу данных и инженеров данных. Присоединяйтесь!
Кстати!
- Все курсы бесплатные (вы даже сможете попробовать платные продукты бесплатно);
- 6/7 на русском языке;
- Начать обучение можно мгновенно;
- По окончании вы получите бейдж об успешном прохождении обучения.
Присоединяйтесь, подробности под катом!
Все статьи из серии
- 5 бесплатных курсов для ИИ-инженеров
- 6 бесплатных курсов для безопасников
- 7 бесплатных курсов для специалистов по работе с данными (Data-Science и Data-Engineering)
Статьи из прошлой серии
Google анонсировала Tensorflow Quantum
2020-03-09 в 19:29, admin, рубрики: big data, TensorFlow, tensorflow quantum, квантовое машинное обучение, квантовые технологии, машинное обучение
Сегодня в блоге Google AI Blog была анонсирована Tensorflow Quantum — библиотека с открытым исходным кодом для квантового машинного обучения.
TensorFlow Quantum (TFQ) был выпущен в сотрудничестве с Университетом Ватерлоо, X и Volkswagen. TFQ предоставляет инструменты, необходимые для объединения исследовательских сообществ в области квантовых вычислений и машинного обучения для контролирования и моделирования естественных или искусственных квантовых систем.
Читать полностью »
Big Data на службе Минздрава или как современные технологии помогают бороться с болезнью
2020-03-06 в 11:41, admin, рубрики: big data, будущее здесь, Законодательство в IT, китай, коронавирус, технологии на службе людейДа, тут опять речь пойдет о Китае, но вместо однотипных новостей о статистике и «свидетельств очевидцев» я хочу рассмотреть back-end грандиозной китайской системы, которая поставлена на службу охране здоровья во многих аспектах.
Признаюсь честно, на пост меня сподвигли призывы широко известной в узких кругах женщины «помогать технологиями бедным китайцам бороться с эпидемией».
Читать полностью »
Как мы забрали у человека сито и помогли мельнице
2020-03-06 в 9:22, admin, рубрики: big data, data science, ERG, redmadrobot, алгоритм, Алгоритмы, Блог компании REDMADROBOT, данные, ИИ, искусственный интеллект, машинное обучение, нейросети, обработка изображенийПользу от ИИ (и всех связанных с ним технологий) сложно переоценить. Правильно обученные нейросети способны и подогреть интерес к самой технологии, например, создавая маски для социальных сетей или сгенерированные песни в стилистике любимых исполнителей, и показать практическую пользу в реальных делах — от предсказания событий на производстве до поиска пропавших людей.
В этом посте мы как раз и поговорим о практическом применении ИИ в тяжелой промышленности (да, мы не только приложения делать умеем), а именно о том, как технологии помогли одному производству по переработке руды существенно повысить эффективность работы и перестать гонять человека пару раз в день просеивать куски породы через большое сито.
В 1949 году советский пилот-геологоразведчик Михаил Сургутанов пролетал над одной из территорий Казахстана (урочище Сарбай) и, взглянув на компас, заметил, что стрелка стала игнорировать Север и зажила своей жизнью. Да, как в кино при обнаружении каких-то магнитных аномалий.
Читать полностью »
Конспект по методам классификации данных
2020-03-06 в 8:49, admin, рубрики: big data, анализ данных python, машинное обучение, ПитонПри изучении Data Science, я решил составить для себя конспект по основным приемам, используемым в анализе данных. В нем отражены названия методов, кратко описана суть и приведен код на Python для быстрого применения. Готовил конспект для себя, но подумал, что кому-то это также может быть полезно, например, перед собеседованием, в соревновании или при запуске нового проекта. Рассчитано на аудиторию, которая в целом знакома со всеми этими методами, но имеет необходимость освежить их в памяти. Статья под катом.
Читать полностью »