Привет всем! Сегодня мы публикуем видеозаписи с митапа для профессионалов Data Science, который прошел в нашем московском офисе 24 июня. Под катом — доклады о построении рекомендательных систем от специалистов из Яндекс.Дзена, OZON.ru и Avito, а также подробные описания решений финалистов нашего конкурса, который прошел на площадке Dataring.ru. И, конечно, награждение его победителей!
Читать полностью »
Рубрика «data mining» - 47
Видеозаписи с Avito Data Science meetup
2017-07-04 в 13:20, admin, рубрики: data mining, ozon.ru, Блог компании Avito, машинное обучение, рекомендательные системы, рекомендательный сервис, рекомендации, Яндекс.ДзенДелаем data science-портфолио: история через данные
2017-07-01 в 10:13, admin, рубрики: data mining, data science, python, визуализация данных, математикаПредисловие переводчика
Перевод внезапно удачно попал в струю других датасайенсных туториалов на хабре. :)
Этот написан Виком Паручури, основателем Dataquest.io, где как раз и занимаются подобного рода интерактивным обучением data science и подготовкой к реальной работе в этой области. Каких-то эксклюзивных ноу-хау здесь нет, но очень подробно рассказан процесс от сбора данных до первичных выводов о них, что может быть интересно не только желающим составить резюме на data science, но и тем, кто просто хочет попробовать себя в практическом анализе, но не знает, с чего начать.
Data science-компании всё чаще смотрят портфолио, когда принимают решение о приёме на работу. Это, в частности, из-за того, что лучший способ судить о практических навыках — именно портфолио. И хорошая новость в том, что оно полностью в вашем распоряжении: если постараетесь – сможете собрать отличное портфолио, которым будут впечатлены многие компании.
Полезные функции Google Таблиц, которых нет в Excel
2017-06-21 в 17:00, admin, рубрики: big data, data mining, Google API, Google Docs, Google Sheets, ms excel, Алгоритмы, формулыCтатья написана в соавторстве с Ренатом Шагабутдиновым.
В этой статье речь пойдет о нескольких очень полезных функциях Google Таблиц, которых нет в Excel (SORT, объединение массивов, FILTER, IMPORTRANGE, IMAGE, GOOGLETRANSLATE, DETECTLANGUAGE)
Очень много букв, но есть разборы интересных кейсов, все примеры, кстати, можно рассмотреть поближе в Google Документе goo.gl/cOQAd9 (файл-> создать копию, чтобы скопировать файл себе на Google Диск и иметь возможность редактирования).
Читать полностью »
Data Science meetup в офисе Avito 24 июня
2017-06-16 в 10:46, admin, рубрики: big data, data mining, ozon.ru, Блог компании Avito, дзен, машинное обучение, рекомендательные системы, рекомендательный сервис, рекомендации
24 июня мы собираем специалистов по Data Science в нашем офисе, чтобы обменяться опытом в создании рекомендательных сервисов. На встрече мы подведём итоги проходившего на площадке Dataring.ru конкурса Avito на построение рекомендательной системы для объявлений: наградим победителей и попросим их подробнее рассказать о своих решениях. Кроме того, в программе интересные доклады от представителей Яндекс.Дзена, OZON.ru и, конечно же, Avito. Подробности под катом!
Читать полностью »
AgeHack — первый онлайн-хакатон по продлению жизни на платформе MLBootCamp
2017-06-15 в 12:17, admin, рубрики: big data, data mining, machine learning, Machine Learning Boot Camp, mail.ru, ML Boot Camp, Блог компании Mail.Ru Group, машинное обучение
Сегодня, 15 июня, стартует чемпионат на платформе ML Boot Camp, посвященный проблемам здравоохранения и долголетия человечества. Чемпионат организован нами совместно с Insilico Medicine в сотрудничестве с Республиканским центром электронного здравоохранения при Министерстве здравоохранения Республики Казахстан. О том, почему это не очень обычный для нас конкурс — под катом.
Дизайн интерфейса корпоративного инструмента BI для data mining
2017-06-15 в 10:23, admin, рубрики: business analysis, Business Intelligence, data mining, data science, usability, веб-дизайн, интерфейсы, полиматикаНевозможно управлять тем, что нельзя измерить (древнеримская мудрость)
Количество информации в мире растет в геометрической прогрессии, а тем временем человеческий мозг не способен эволюционировать с той же скоростью. Поэтому множество крупных компаний уже столкнулись с тем, что данные и отчеты в многостраничных и многоколоночных таблицах нужно не только собирать и хранить, пересылать и выгружать, но еще и регулярно анализировать и исследовать. Но что делать, если гигантские многоэкранные таблицы все больше запутывают и утомляют, нежели помогают исследовать и выявлять закономерности? Это значит, что на помощь должны прийти самые передовые технологии и, естественно, дизайн.
Поддержка исследователей в области Deep Learning
2017-06-13 в 13:35, admin, рубрики: big data, data mining, deep learning, gpu, бесплатно, Блог компании New Professions Lab, конкурс, машинное обучение, обработка изображенийХабр, нам тут пришла одна идея… В настоящий момент у нас возникло некое межсезонье между разными образовательными программами. Мы подумали, зачем нашей инфраструктуре зря простаивать, когда есть люди, которые могли бы на этой инфраструктуре что-то классное сделать.
Мы решили сделать небольшой вклад в развитие deep learning в России и выделить 3 виртуальных сервера с GPU тем, кто что-то делает в этой области. 2 виртуалки мы решили отдать нашим выпускникам, а 1 виртуалку дать в пользование кому-то «со стороны».
Как программист машину покупал. Часть III
2017-06-13 в 7:45, admin, рубрики: data mining, predictive analytics, robasta.ru, Инфографика, искусственный интеллект, машинное обучение, поиск выгодных автомобилей, покупка автомобиля, продажа авто, Статистика в ITВ двух предыдущих частях (I, II) своего повествования о сервисе для поиска выгодных автомобилей я подробно изложил техническую сторону вопроса — постановку задачи и ее решение.
В этой статье я более подробно остановлюсь на результатах и возможностях сервиса robasta.ru.
Для тех, кто не читал предыдущие статьи и не горит желанием этого делать:
Robasta.ru — сервис для поиска выгодных автомобилей (цена которых ниже рыночной) по данным со всех основных сайтов с объявлениями о продаже б/у автомобилей в РФ.
Перед покупкой автомобиля большинство людей хочет продать предыдущий и сделать это быстро и эффективно — для этого на нашем сервисе существует услуга оценки автомобиля, воспользовавшись которой, вы получите pdf-сертификат, где будет указана стоимость вашего авто в данный момент, стоимость в будущем (если достаточно статистических данных по вашей модели) и многое другое.
Для экономии вашего времени на сайте реализован telegram-информатор, позволяющий получать уведомления о новых объявлениях интересующих вас моделей автомобилей с необходимой вам частотой.
Нейрокурятник: часть 4 — итоговая модель и код на прод
2017-06-12 в 18:22, admin, рубрики: chicken, chickencoop, data mining, data science, keras, machine vision, open source, python, python3, TensorFlow, theano, машинное обучение, обработка изображений
Типичный день в нейрокурятнике — куры часто еще и крутятся в гнезде
Чтобы довести, наконец, проект нейрокурятника до своего логического завершения, нужно произвести на свет работающую модель и задеплоить ее на продакшен, да еще и так, чтобы соблюдался ряд условий:
- Точность предсказаний не менее 70-90%;
- Raspberry pi в самом курятнике в идеале мог бы определять принадлежности фотографий к классам;
- Нужно как минимум научиться отличать всех кур друг от друга. Программа максимум — также научиться считать яйца;
В данной статье мы расскажем что же в итоге у нас получилось, какие модели мы попробовали и какие занятные вещи нам попались на дороге.
Статьи про нейрокурятник
Заголовок спойлера
- Вступление про обучение себя нейросетям
- Железо, софт и конфиг для наблюдения за курами
- Бот, который постит события из жизни кур — без нейросети
- Разметка датасетов
- Работающая модель для распознавания кур в курятнике
- Итог — работающий бот, распознающий кур в курятнике
Нейрокурятник часть 3. Про разметку кур
2017-06-12 в 18:22, admin, рубрики: data mining, data science, image annotation, машинное обучение, разметка изображений, метки: image annotation, разметка изображенийИ про то, что у кур тоже бывают психи.
Птица beauty в гнезде
Одна не сильно впечатляющая статья про разметку изображений кур.
Статьи про нейрокурятник
Заголовок спойлера
- Вступление про обучение себя нейросетям
- Железо, софт и конфиг для наблюдения за курами
- Бот, который постит события из жизни кур — без нейросети
- Разметка датасетов
- Работающая модель для распознавания кур в курятнике
- Итог — работающий бот, распознающий кур в курятнике