Команда FlyElephant в марте проводила вебинар с со-основателем и CEO в Julia Computing, а также со-автором языка Julia — Viral B. Shah, на тему "Julia — A fresh approach to numerical computing and data science".
Рубрика «data science» - 39
Видеозапись вебинара «Julia — A fresh approach to numerical computing and data science»
2017-04-29 в 8:38, admin, рубрики: big data, BigData, data mining, data science, deep learning, FlyElephant, gpu, HPC, Julia, machine learning, mpi, xeon phi, Блог компании FlyElephant, вебинар, машинное обучениеСпортивный анализ данных, или как стать специалистом по data science
2017-04-26 в 14:05, admin, рубрики: adam, big data, black box, data mining, data science, ImageNet, inceptionV3, kaggle, mxnet, Q-learning, resnet, xgboost, аугментация данных, блендинг, Блог компании Яндекс, валидация, классификация, конкурсы разработчиков, контест, машинное обучение, нейронные сети, распознавание изображений, Спортивное программирование, стекинг, тренировки, черный ящикМеня зовут Пётр Ромов, я — data scientist в Yandex Data Factory. В этом посте я предложу сравнительно простой и надежный способ начать карьеру аналитика данных.
Многие из вас наверняка знают или хотя бы слышали про Kaggle. Для тех, кто не слышал: Kaggle — это площадка, на которой компании проводят конкурсы по созданию прогнозирующих моделей. Её популярность столь велика, что часто под «кэглами» специалисты понимают сами конкурсы. Победитель каждого соревнования определяется автоматически — по метрике, которую назначил организатор. Среди прочих, Kaggle в разное время опробовали Facebook, Microsoft и нынешний владелец — Google. Яндекс тоже несколько раз отметился. Как правило, Kaggle-сообществу дают решать задачи, довольно близкие к реальным: это, с одной стороны, делает конкурс интересным, а с другой — продвигает компанию как работодателя с солидными задачами. Впрочем, если вам скажут, что компания-организатор конкурса задействовала в своём сервисе алгоритм одного из победителей, — не верьте. Обычно решения из топа слишком сложны и недостаточно производительны, а погони за тысячными долями значения метрики не настолько и нужны на практике. Поэтому организаторов больше интересуют подходы и идейная часть алгоритмов.
Kaggle — не единственная площадка с соревнованиями по анализу данных. Существуют и другие: DrivenData, DataScience.net, CodaLab. Кроме того, конкурсы проводятся в рамках научных конференций, связанных с машинным обучением: SIGKDD, RecSys, CIKM.
Для успешного решения нужно, с одной стороны, изучить теорию, а с другой — начать практиковать использование различных подходов и моделей. Другими словами, участие в «кэглах» вполне способно сделать из вас аналитика данных. Вопрос — как научиться в них участвовать?
Приглашаем на IV конференцию по практическому применению науки о данных DataScience Lab 13 мая
2017-04-24 в 10:46, admin, рубрики: artificial intelligence, big data, data mining, data science, FlyElephant, R, Блог компании FlyElephant, Большие данные, искусственный интеллект, конференция, машинное обучение, наука о данных
Команда FlyElephant приглашает всех 13 мая в Одессу на IV конференцию по практическому применению науки о данных Data Science Lab (exAI&BigDataLab).
Data Science Lab — это ежегодная техническая конференция, которая объединяет исследователей, инженеров и разработчиков, связанных с Data Science для обмена опытом и обсуждения актуальных тем в области машинного обучения, обработки естественного языка, распознавания образов и других аспектов анализа данных. Темы докладов раскрывают вопросы от практического внедрения результатов исследований до самых последних теоретических разработок.
Читать полностью »
Дайджест Университета ИТМО: материалы для тех, кто хочет влиться в Data Science
2017-04-19 в 16:20, admin, рубрики: big data, data science, Блог компании Университет ИТМО, Университет ИТМОСегодня мы подготовили для вас дайджест, в котором постарались собрать самые интересные литературные источники, статьи, видеокурсы и лекции (в том числе подготовленные силами преподавателей, студентов и сотрудников Университета ИТМО), которые позволят познакомиться с Data Science.
Эти материалы затрагивают как теоретические аспекты работы с данными, так и практические — направленные на создание алгоритмов и написание программ.
Лучшие онлайн-курсы по Data Science
2017-04-18 в 14:51, admin, рубрики: data science, MOOC, Блог компании StudyQA, образование, образование за рубежом, обучение программированию, онлайн-курсы, Учебный процесс в IT
В последние несколько лет курсы по Data Science стали, наверное, самыми популярным направлением онлайн-образования: десятки предложений можно найти на Coursera, edX, а для освоения анализа данных на базовом уровне появились даже специальные проекты, посвященные лишь этой дисциплине (например, DataCamp). В этой подборке мы собрали самые интересные курсы по Data Science на различных платформах. Для вашего удобства мы внимательно изучили отзывы – как на сайтах самих образовательных провайдеров, так и на сторонних порталах, где оцениваются преимущества и недостатки тех или иных курсов и специализаций. Поскольку количество курсов огромно, мы сделали акцент на тех, что предлагают научить слушателя целому комплексу навыков – например, в случае Coursera речь пойдет не об отдельных курсах (даже в области Data Science их число приближается к сотне, а содержание многих дублирует друг друга), а о специализациях.
Data science и качественный код
2017-04-17 в 9:53, admin, рубрики: big data, data mining, data science, machine learning, python, машинное обучениеОбычно модели машинного обучения строят в jupyter-ноутбуках, код которых выглядит, мягко говоря, не очень — длинные простыни из лапши выражений и вызовов "на коленке" написанных функций. Понятно, что такой код почти невозможно поддерживать, поэтому каждый проект переписывается чуть ли не с нуля. А о внедрении этого кода в production даже подумать страшно.
Поэтому сегодня представляем на ваш строгий суд превью библиотеки по работе с датасетами и data science моделями. С ее помощью ваш код может выглядеть так:
my_dataset.
load('/some/path').
normalize().
resize(shape=(256, 256, 256)).
random_rotate(angle=(-30, 30))
random_crop(shape=(64, 64, 64))
for i in range(MAX_ITER):
batch = my_dataset.next_batch(BATCH_SIZE, shuffle=True)
# обучаем модель, подавая ей батчи с данными В этой статье вы узнаете об основных классах и методах, которые помогут сделать ваш код простым, понятным и удобным.
RStudio Connect — «фейслифтинг» Shiny для корпоративного применения
2017-04-11 в 14:30, admin, рубрики: big data, data mining, data science, RПрошло достаточно времени с упоминания в предыдущей публикации об использовании RStudio Connect в боевых условиях для того, чтобы поделиться результатами. Краткое резюме — «дайте два!». И подумайте про оптимизацию отдела «аналитиков». Ниже приведены подробности.
В качестве дополнительного чтения рекомендую взглянуть детальную публикацию «Data at GDS (Government Digital Service). Reproducible Analytical Pipeline» в блоге аналитической службы гос.органов UK по аналогичной теме.
Победное решение конкурса ML Boot Camp III
2017-03-27 в 8:38, admin, рубрики: data science, mail boot camp, python, машинное обучение, соревнованияДобрый день! В этой статье я хотел бы вкратце рассказать о решении которое принесло мне первое место на конкурсе по машинному обучению ML Boot Camp III от mail.ru.
Читать полностью »
Машинное обучение в Avito. Видеозаписи со встречи кейс-клуба Data Science 14 марта
2017-03-22 в 11:04, admin, рубрики: analytics, data science, machine learning, recomendation, Блог компании Avito, машинное обучение
На прошлой неделе прошла встреча кейс-клуба Data Science, на которой специалисты Avito рассказали о том, какие бизнес-задачи сервиса решаются с помощью машинного обучения. В частности поговорили про рекомендации, контекстную рекламу и модерацию. Под катом больше подробностей о встрече и видеозаписи докладов.
Библиотеки для глубокого обучения Theano-Lasagne
2017-03-16 в 13:01, admin, рубрики: data science, deep learning, gpu, machine learning, neural networks, ods, open data science, python, theano, Алгоритмы, Блог компании Open Data Science, математика, машинное обучениеПривет!
Параллельно с публикациями статей открытого курса по машинному обучению мы решили запустить ещё одну серию — о работе с популярными фреймворками для нейронных сетей и глубокого обучения.
Я открою этот цикл статьёй о Theano — библиотеке, которая используется для разработки систем машинного обучения как сама по себе, так и в качестве вычислительного бекэнда для более высокоуровневых библиотек, например, Lasagne, Keras или Blocks.
Theano разрабатывается с 2007 года главным образом группой MILA из Университета Монреаля и названа в честь древнегреческой женщины-философа и математика Феано (предположительно изображена на картинке). Основными принципами являются: интеграция с numpy, прозрачное использование различных вычислительных устройств (главным образом GPU), динамическая генерация оптимизированного С-кода.