Для начала небольшая вводная информация. Меня зовут Владислав и моё знакомство с R состоялось в августе прошлого года. Изучать язык программирования я решил по причине прикладного характера. Мне с детства нравилось вести спортивную статистику. С возрастом это увлечение трансформировалось в желание как-то анализировать эти цифры и на основе анализа данных выдавать, по возможности, умные мысли. Проблема в том, что спорт в последние годы захлестнула волна данных, десятки компаний соревнуются между собой, пытаясь посчитать, описать и запихнуть в нейронку любое действие футболиста, баскетболиста, бейсболиста на площадке. И Excel для анализа не подходит категорически. Так что я решил изучать R, чтобы простейший анализ не занимал полдня. Уже в ходе изучения добавился интерес к программированию как таковому, но это уже лирика.
Рубрика «big data» - 34
Визуализация количества побед у команд НБА с помощью анимационных столбиковых диаграмм в R
2019-07-05 в 9:23, admin, рубрики: big data, data science, R, визуализация данныхДайджест статей машинного обучения и искусственного интеллекта
2019-07-04 в 13:05, admin, рубрики: big data, data mining, гайды, искусственный интеллект, машинное обучение, Программирование, статьиХабр, привет.
Отфильтровав большое количество статей, конференций и подписок — собрал для вас все наиболее значимые гайды, статьи и лайфхаки из мира машинного обучения и искусственного интеллекта. Всем приятного чтения!
1. Проекты искусственного интеллекта, с которыми можно поиграться уже сегодня. Что вы знаете про искусственный интеллект и машинное обучение? Современный тренд или потенциально мощная сила, способная убивать людей? Эти модные понятия всё чаще на слуху, но далеко не все знают, что же это на самом деле. Пришло время изучить эти технологии с помощью простого и интересного подхода — попробовать искусственный интеллект и нейросети самостоятельно на практике.
2. Изучение ИИ, если ты ничего не понимаешь в математике. Может быть, вы хотели бы копать глубже и запустить программу распознавания изображений в TensorFlow или Theano? Возможно, вы офигительный разработчик или системный архитектор и вы очень хорошо знаете компьютеры, но есть только одна маленькая проблема: Вы не понимаете в математике.
3. Как построить систему модерации сообщений. Системы автоматической модерации обычно встроены в веб-сервисы и приложения, где должно обрабатываться большое количество пользовательских сообщений. Такие системы могут снизить затраты на ручную модерацию и ускорить модерацию, обрабатывая все пользовательские сообщения в режиме реального времени. В этой статье будет обсуждаться разработка системы автоматической модерации с использованием алгоритмов машинного обучения.
Дайджест новостей машинного обучения и искусственного интеллекта за июнь
2019-07-02 в 17:20, admin, рубрики: big data, data mining, будущее, дайджест, данные, искусственный интеллект, машинное обучение, ПрограммированиеХабр, привет.
Отфильтровав большое количество источников и подписок — собрал для вас все наиболее значимые новости из мира машинного обучения и искусственного интеллекта за июнь. Всем приятного чтения!
1. Команда исследователей из Карнеги-Меллона сделала прорыв в области неинвазивного управления роботизированными устройствами.
Используя неинвазивный интерфейс мозг-компьютер, они разработали первую в мире успешную роботизированную руку, которая управляется с помощью мыслей и без хирургического (!) вмешательства. Технология продемонстрировала способность непрерывно отслеживать и следовать за курсором компьютера.
2. Facebook AI опубликовали работу, в которой проверяли нейросети на способность следовать принципу взаимной исключительности при принятии решений. И выяснили, чем отличается процесс принятия решений у нейросети и ребенка.
3. Waymo публикует данные для обучения автопилотных автомобилей. Данные включают в себя 3,000 видеозаписей вождения, которые в сумме длятся 16.7 часов, 600,000 фреймов, около 25 миллионов 3D границ объектов и 22 миллионов 2D границ объектов. Сенсоры на автомобилях, которые собирали данные, включали в себя 5 LiDARs, 5 камер и радары, количество которых не разглашается. Компания заявила, что им удалось точнее синхронизировать LiDAR и записи камер, чем в открытых данных (KITTI, NuScenes).
Data Science Digest (July 2019)
2019-07-02 в 10:19, admin, рубрики: AI, big data, BigData, data science, machine learning, python, R, Алгоритмы, анализ данных, Большие данные, видео, дайджест, искусственный интеллект, машинное обучение, Мероприятия, Новости, статьи
Приветствую всех!
Лето в полном разгаре, и если вы планируете быть в Одессе 5-го июля, приглашаю вас на ODS митап и дата-бар, который организовывает одесская ODS.ai команда. Напоминаю, что у дайджеста есть свой Telegram-канал и страницы в соцсетях (Facebook, Twitter, LinkedIn, Medium), где я ежедневно публикую ссылки на полезные материалы. Присоединяйтесь!
А пока предлагаю свежую подборку материалов под катом.
Читать полностью »
Deep (Learning+Random) Forest и разбор статей
2019-07-02 в 8:00, admin, рубрики: AISTATS, big data, Блог компании МТС, конференции, конференция, математика, машинное обучение, МТС, японияПродолжаем рассказывать про конференцию по статистике и машинному обучению AISTATS 2019. В этом посте разберем статьи про глубокие модели из ансамблей деревьев, mix регуляризацию для сильно разреженных данных и эффективную по времени аппроксимацию кросс-валидации.
Создаём нейронную сеть, предсказывающую рак груди за пять минут
2019-06-30 в 13:08, admin, рубрики: big data, data mining, python, диагностика, искусственный интеллект, лайфхак, нейронная сеть, Программирование, рак грудиПривет.
Создать такую нейронную сеть — просто.
Минута первая: введение
Этот высокоуровневый урок рассчитан на новичков в машинном обучении и искусственном интеллекте. Для того, чтобы успешно создать нейронную сеть, необходимо:
- Установленный Python;
- Как минимум начальный уровень программирования;
- Пять минут свободного времени.
Мы пропустим много деталей работы нейронной сети, не будем углубляться в теоретическую часть, а сфокусируемся на предсказании рака за 5 минут.
Для построения предсказаний будем использовать имплементацию нейронной сети из библиотеки scikit-learn. Сами же предсказания будут основаны на данных из датасета Калифорнийского университета в Ирвайн “Breast Cancer Wisconsin” (рак груди, Висконсин). На вход нейронной сети подаются свойства клеточных ядер новообразования (например, строение), а на выходе мы получаем предсказание: злокачественное или доброкачественное новообразование.Читать полностью »
Погружение в свёрточные нейронные сети. Часть 5 – 1 — 9
2019-06-29 в 14:40, admin, рубрики: AI, ashmig, big data, cnn, convolutional neural networks, machine learning, искусственный интеллект, машинное обучение, обработка изображенийПолный курс на русском языке можно найти по этой ссылке.
Оригинальный курс на английском доступен по этой ссылке.
Выход новых лекций запланирован каждые 2-3 дня.
«Волшебное слово» для работодателей – опыт ИИБС НИТУ «МИСиС»
2019-06-28 в 16:09, admin, рубрики: big data, Блог компании НИТУ «МИСиС», Карьера в IT-индустрии, МИСиС, образование, управление персоналомЕсли верить порталу HH.ru, то специалисты по Big Data, сложным информационным системам, прочие архитекторы IT-решений и PLM- консультанты – сегодня одни из самых завидных женихов. Извиняюсь, востребованных и высокооплачиваемых профессионалов. Big Data Engineers, к примеру, получают от 150 000 рублей на позициях, требующих опыта от 3 лет, и до 450 000 рублей на руководящих позициях в Москве, и в полтора-два раза выше за рубежом.
Меж тем реальная ситуация с этими специалистами на рынке несколько сложнее. Примерно как с экономистами: российские вузы десятилетиями выпускают их каждый год не то что в товарных – в крупнооптовых количествах, но при этом любой реально грамотный и профессиональный экономист – потенциальный Козлевич, которого рано или поздно придут охмурять и переманивать.
Так и со специалистами по Big Data. Сегодня их готовит множество институтов, но при этом найти грамотного спеца на рынке – квест еще тот!
НИТУ «МИСиС» тоже сейчас ведет прием документов на магистерскую программу «Экосистемы больших данных для цифровой трансформации». Вот только обучающиеся на ней, как и все студенты Института информационных бизнес систем (ИИБС НИТУ «МИСиС») обычно трудоустроены уже к концу первого года обучения.
Почему так происходит? Почему на одних выпускников немедленно начинают охоту хэдхантеры, а другие общаются со специалистами по трудоустройству – и при всей близости этих профессий разница принципиальна. Что за «волшебное слово» знает руководство ИИБС, которое столь магически действует на работодателей?Читать полностью »
10 лучших JavaScript библиотек для визуализации данных на графиках и диаграммах
2019-06-28 в 4:40, admin, рубрики: amcharts, anychart, big data, Business Intelligence, chart.js, charting, chartist.js, charts, D3, d3.js, data visualization, fusioncharts, Google, Google Charts, highcharts, html5, javascript, js charts, plotly, svg, zingchart, анализ данных, библиотека javascript, Большие данные, визуализация данных, графики, графики и диаграммы, данные, дашборд, диаграммы, Программирование, Разработка веб-сайтовЕсть в графиках что-то магическое. Изгиб кривой мгновенно раскрывает всю ситуацию — историю развития эпидемии, паники или периода процветания. Эта линия просвещает, пробуждает воображение, убеждает.
― Генри. Д. Хаббард
Объемы данных, с которыми нужно работать, постоянно увеличиваются. И чем больше информации, тем сложнее ее обрабатывать. Вот почему сейчас стала особенно популярна тема визуализации данных — в виде графиков, диаграмм, дашбордов, желательно интерактивных. Визуальное представление данных позволяет нам, людям, тратить меньше времени и сил на их просмотр, анализ и осмысление, а также на принятие правильных, информированных решений на основе этого.
Вряд ли кто-то станет отрицать, что в современном HTML5 вебе JavaScript — самая универсальная и простая технология для визуализации данных. Так что, если вы занимаетесь фронтенд-разработкой, то вы, скорее всего, либо уже имели дело с созданием JS чартов, либо столкнетесь с этим в (скором) будущем.
Существует множество JavaScript библиотек для построения графиков и диаграмм, каждая из которых (как и любые другие инструменты) имеет свои плюсы и минусы. Чтобы облегчить вам жизнь, я решил рассказать о тех из них, которые нравятся мне больше всего. Я считаю, десять следующих библиотек — это лучшие JS библиотеки для создания графиков, и они действительно способны помочь решить практически любую задачу по визуализации данных. Давайте вместе пройдемся по списку и убедимся, что они вам известны хотя бы базово и вы не упустили из виду какую-нибудь хорошую библиотеку, которая может оказаться полезной в текущих или будущих больших проектах.
Что ж, приступим: вот лучшие JS библиотеки для визуализации данных!Читать полностью »
Книга «Kafka Streams в действии. Приложения и микросервисы для работы в реальном времени»
2019-06-27 в 13:26, admin, рубрики: Apache, big data, Блог компании Издательский дом «Питер», высокая производительность, книги, Профессиональная литература
Привет, Хаброжители! Эта книга подойдет для любого разработчика, который хочет разобраться в потоковой обработке. Понимание распределенного программирования поможет лучше изучить Kafka и Kafka Streams. Было бы неплохо знать и сам фреймворк Kafka, но это не обязательно: я расскажу вам все, что нужно. Опытные разработчики Kafka, как и новички, благодаря этой книге освоят создание интересных приложений для потоковой обработки с помощью библиотеки Kafka Streams. Java-разработчики среднего и высокого уровня, уже привычные к таким понятиям, как сериализация, научатся применять свои навыки для создания приложений Kafka Streams. Исходный код книги написан на Java 8 и существенно использует синтаксис лямбда-выражений Java 8, так что умение работать с лямбда-функциями (даже на другом языке программирования) вам пригодится.
Читать полностью »