Курс молодого бойца для Spark-Scala

Команда Retail Rocket ^[1] использует узкоспециализированный стек технологий Hadoop + Spark для вычислительного кластера, о котором мы уже писали обзорный материал в самом первом посте ^[2] нашего инженерного блога на Хабре.

Готовых специалистов для таких технологий найти довольно сложно, особенно, если учесть, что программируем мы исключительно на Scala. Поэтому я стараюсь найти не готовых специалистов, а людей, имеющих минимальный опыт работы, но обладающих большим потенциалом. Мы берем даже людей с частичной занятостью, чтобы было удобно совмещать учебу и работу, если кандидат — студент последних курсов.

Как происходит отбор стажеров в Retail Rocket?

Всегда первый раз звоню по Skype или телефону и задаю простые вопросы, начиная от того как вы нас нашли (находят наши вакансии часто через поиск в Google), заканчивая элементарными вопросами про машинное обучение.

Для прохождения собеседования с нами очень желательно пройти курс от Coursera ^[3] по машинному обучению. Этот курс очень фундаментальный и учит понимаю, а не зазубриванию формул и использованию готовых библиотек в Python. Это для нас очень важно, так как часто приходится писать алгоритмы руками.

Если ответы меня устраивают, то приглашаю на очное собеседование, на котором мы уже ближе знакомимся с кандидатом, вопросы уже задаем посложнее, но не на зубрежку, а на понимание. В заключении, как правило на дом, мы даем задание изучить научную статью с конференции RecSys ^[4], «закодить» алгоритм и прогнать его через тестовый набор данных.

Что происходит после того, как человека выбрали?

Мы используем онлайн-курсы для повышения квалификации новых аналитиков, чтобы затратить минимум усилий для обучения новых сотрудников. До перехода к нам рекомендуется пройти серию очень коротких курсов от Big Data University ^[5] с тестами:

1. Hadoop ^[6] — 4 часа. Простой курс про компоненты Hadoop.
2. Spark 1 ^[7] — 3 часа. Про Spark, RDD, Api на Java, Python, Scala, создание простых приложений, Spark SQL, MLLib, Spark Streaming, Graph X.
3. Spark 2 ^[8] — 4 часа. Продвинутый курс про создание приложений на Spark.

Затем с первого дня работы аналитик должен успешно изучить и сделать задания следующих курсов:

1. Курс по азам языка программирования Scala ^[9], очень легкий и понятный. Из кандидатов Scala почти никто не знает, поэтому этот курс помогает очень быстро влиться в процесс.
2. Курс по рекомендательным системам ^[10]. Рекомендательные системы — это одна из ветвей Machine Learning, достаточно узкая тема. Для работы у нас этой темой нужно владеть в совершенстве. От кандидатов не требуется знаний и опыта построения рекомендательных систем. Этот курс для нас большая помощь, чтобы втянуть человека в основную часть работы.

Успешное прохождение этих двух курсов прописано в трудовом договоре, как необходимое условие успешного прохождения испытательного срока. Как правило, трех месяцев хватает, чтобы изучить эти курсы и выполнить задания.

Опциональный, но очень важный для нас курс после прохождения испытательного срока, который я бы рекомендовал — принципы реактивного программирования ^[11], где объясняются нетривиальные подходы при программировании на функциональных языках программирования на примере Scala: Монады, Futures, Actors и т.д. Задания в этом курсе довольно сложные, но жутко интересные.

Эта система успешна внедрена в Retail Rocket ^[12] в течение последних полутора лет и показала себя очень хорошо.

P.S. Рекомендую совсем свежий и всеобъемлющий курс по Scala и Spark ^[13].

P.P.S. Мы всегда рады новым членам команды и у нас открыто сразу несколько вакансий на позицию “.NET Разработчик ^[14]”. Наш технологический стек и уровень задач можно оценить в самом первом посте ^[2] на Хабре. Резюме можно прислать на почту avchizh@retailrocket.ru ^[15] (HR-ов у нас нет, общаться будем сразу напрямую).

Автор: Retail Rocket

Источник ^[16]