Анализ вакансий HeadHunter

в 8:02, , рубрики: анализ вакансий, аналитика данных, веб-аналитика, визуализация данных

Анализ вакансий HeadHunter - 1

Однажды мне стало интересно, а что если попробовать проанализировать вакансии и составить по ним некоторые топы. Узнать кому больше всех платят, кто наиболее востребован и много чего еще.

В качестве источника данных я использовала всем известный HeadHunter. Были собраны и обработаны вакансии за май этого года. Только за месяц, потому что API не позволяет получить больше.

Сбор данных

HeadHunter API имеет отличную документацию, которая расположена в репозитории. Запросы должны осуществляться на домен https://api.hh.ru/ с установленным User-Agent, желательно вида название_приложения/версия_приложения (емейл_для_связи) (иногда срабатывают другие варианты User-Agent, но если серверу что-то не понравится, он вернет ошибку).

Логика сбора очень простая, поэтому я реализовала её на bash с использованием cURL и jq. Однако хочу поделиться несколькими нюансами.

Пагинация

Для поиска вакансий по различным параметрам имеется эндпоинт GET /vacancies.

curl -A 'irenica (https://irenica.com/)' 'https://api.hh.ru/vacancies'

Результаты поиска будут разбиты на страницы, за размер которых отвечает параметр per_page (20 по умолчанию и 100 максимум). Выбрать конкретную страницу можно, указав параметр page (нумерация начинается с 0).

В поле pages служебной информации, возвращаемой вместе с вакансиями, будет указано общее количество страниц результата.

С помощью этого можно легко перебрать все страницы:

declare -i i=0
while true; do
  declare url="https://api.hh.ru/vacancies?per_page=100&page=$i"
  declare page="$(curl -A 'irenica (https://irenica.com/)' "$url")"
  # обрабатываем $page

  ((i++))
  declare -i totalCount=$(echo "$page" | jq '.pages')
  if ((i >= totalCount)); then
      break
  fi
done

Полные данные вакансии

Однако, результаты поиска содержат лишь часть данных о вакансиях. Чтобы получить все, нужно совершить отдельный запрос на эндпоинт вида GET /vacancies/id_вакансии.

Частичные данные о вакансиях находятся в поле items результатов поиска. Сначала соберем из них ID вакансий:

declare vacanciesIds="$(echo "$page" | jq -r '.items[].id')"

Затем запросим полную информацию о соответствующих вакансиях по отдельности:

for vacancyId in $vacanciesIds; do
  declare url="https://api.hh.ru/vacancies/$vacancyId"
  declare vacancy="$(curl -A 'irenica (https://irenica.com/)' "$url")"
  # обрабатываем $vacancy
done

Обход лимита поиска

У HeadHunter API есть одна особенность — сколько бы ни было найдено, возвращено будет максимум 2000. При этом реальное найденное количество так же возвращается в поле found результатов поиска. Благодаря этому, можно точно узнать, получил ли ты все запрошенные данные, или есть потери.

Чтобы обойти данное ограничение, я придумала следующее. При поиске можно задать отрезок времени, когда публиковались интересующие вакансии (через параметры date_from и date_to, которые принимают дату в формате ISO 8601). Можно взять маленький промежуток и перебрать такими кусочками все результаты: ведь чем меньше интервал времени, тем меньше вакансий успели за него опубликовать.

Стоит обратить внимание, что возвращаются вакансии, опубликованные только за последний месяц. Поэтому нет смысла задавать диапазон больше.

Для перебора отрезков времени последнее лучше всего представлять в виде Unix time:

declare -i startTime=$(date -d '-1 month' +%s)
declare -i endTime=$(date -d now +%s)
while ((startTime <= endTime)); do
  declare -i intervalEnd=$((startTime + 60*60))
  declare startTimeIso="$(date -d @$startTime +%FT%T)"
  declare intervalEndIso="$(date -d @$intervalEnd +%FT%T)"

  # ...
  declare url="https://api.hh.ru/vacancies?per_page=100&page=$i&date_from=$startTimeIso&date_to=$intervalEndIso"
  # ...

  startTime=$intervalEnd
done

Обработка зарплаты

Для сбора статистики требовалось группировать вакансии по определённым признакам. На bash это делать было уже проблематично, поэтому я воспользовалась Python.

Логика сбора ничего особенного собой не представляет — накопление данных в ассоциативном массиве, сортировка и вывод в CSV. Однако, снова несколько нюансов.

Зарплатная вилка

Нужно обратить внимание, что зарплата представлена в виде двух чисел — минимальной и максимальной, причем любое из них может отсутствовать.

Так как для анализа нужно было иметь одно число, я решила использовать нижнюю границу, и только если она отсутствует, верхнюю.

salary = None
if vacancy['salary']:
    if vacancy['salary']['to']:
        salary = vacancy['salary']['to']
    if vacancy['salary']['from']:
        salary = vacancy['salary']['from']

Курсы валют

Зарплата в вакансии может быть указана в разных валютах, а они — иметь разный курс. HeadHunter API имеет эндпоинт GET /dictionaries, содержащий все необходимые предопределенные значения. Курсы валют представлены в поле currency. Для удобства работы будет лучше поместить их список в ассоциативный массив, где ключом будет буквенный код валюты:

currencies = {}
dictionaries = requests.get('https://api.hh.ru/dictionaries').json()
for currency in dictionaries['currency']:
    currencies[currency['code']] = currency['rate']

Теперь, во время обработки, будет легко сконвертировать все зарплаты в одну валюту:

salary /= currencies[vacancy['salary']['currency']]

Учёт НДФЛ

В некоторых вакансиях зарплата указана до выплаты НДФЛ, в некоторых — после. О конкретном варианте говорит поле gross: оно равно true в первом случае и false — во втором.

Я решила перевести все зарплаты в вариант после уплаты налога:

if vacancy['salary']['gross']:
    salary -= salary * 0.13

Анализ результатов

А теперь самое время показать цифры.

Удалённая работа

Наверное, многие из тех, кто читает этот пост, хотели бы работать на удалёнке. Но как видим, работа из дома у нас в стране пока не очень котируется. Зарплата сильно ниже, количество вакансий ощутимо меньше. А стало быть меньше и возможность выбора для соискателя.

И это достаточно странно, ибо во многих профессиях и многих фирмах (по специфике задач) присутствие человека в офисе совсем не нужно. Но это вечный спор.

Name Salary, average Salary, minimum Salary, maximum Number
Домашний персонал 112536 10977 130000 19
Информационные технологии, интернет, телеком 55225 1000 300000 2828
Высший менеджмент 47687 9474 100000 23
Добыча сырья 46579 20000 90898 80
Инсталляция и сервис 45439 11874 69600 9
Государственная служба, некоммерческие организации 44911 20000 90000 19
Рабочий персонал 44218 9499 67860 37
Производство 42388 2372 100000 236
Строительство, недвижимость 39896 70 110000 329
Транспорт, логистика 37662 9490 100000 223

Анализ вакансий HeadHunter - 2

Соискатели с инвалидностью

Однако, есть ещё более малочисленная категория вакансий — для людей с инвалидностью. И уж это совсем нелогично — пусть работодатели не хотят удалёнщиков, но из тех, кто готов на такое, почему так мало, кто думает о людях с ограниченными возможностями? Если вам всё равно, что человек в трёх часовых поясах, какая вам разница, в состоянии ли он, например, ходить?

Возможно, многие из вас знакомы с людьми, имеющими инвалидность. Я тоже, и мне стало интересно, насколько сложно им найти работу, и на что вообще они могут рассчитывать.

Name Salary, average Salary, minimum Salary, maximum Number
Государственная служба, некоммерческие организации 69675 8700 90000 8
Высший менеджмент 48705 30000 82425 15
Информационные технологии, интернет, телеком 45321 4350 200000 1050
Наука, образование 45056 3158 90000 376
Закупки 43591 15000 80000 9
Строительство, недвижимость 42148 22 250000 210
Производство 40969 10000 130500 189
Бухгалтерия, управленческий учет, финансы предприятия 36387 2610 113100 125
Юристы 34308 2610 160000 131
Безопасность 33414 22 90000 178

Анализ вакансий HeadHunter - 3

Студенты

Все мы с чего-то начинаем, а именно с поиска работы, не имея никакого опыта. Решила оценить ситуацию с позициями, открытыми для таких кандидатов.

Количество вакансий обнадёживает на быстрое трудоустройство. И не знаю насколько реально получить максимальный оклад, но на средние цифры даже можно как-то жить.

Name Salary, average Salary, minimum Salary, maximum Number
Консультирование 62601 1500 221850 2504
Строительство, недвижимость 55855 20 949989 6455
Высший менеджмент 50826 11310 400000 111
Добыча сырья 38192 8000 100000 328
Безопасность 34617 3954 100000 5844
Медицина, фармацевтика 34475 450 200000 11776
Транспорт, логистика 33600 500 150000 8000
Наука, образование 31426 1100 124510 1660
Продажи 30444 1 350000 52566
Инсталляция и сервис 30360 8264 80000 381

Анализ вакансий HeadHunter - 4

Общий топ

А теперь самое интересное: кому же платят больше всех? Отсортировала все найденные вакансии без каких-либо фильтров.

Конечно же это высший менеджмент. Кто бы сомневался.

Любопытный факт: если обратить внимание на среднюю зарплату во всех таблицах, то можно заметить, что она не так уж сильно отличается.

Name Salary, average Salary, minimum Salary, maximum Number
Высший менеджмент 78789 150 2000000 2408
Добыча сырья 61699 8000 180000 2302
Консультирование 59797 1500 500000 3762
Информационные технологии, интернет, телеком 52777 26 684804 25900
Строительство, недвижимость 48587 20 949989 33229
Производство 42007 1 261000 27269
Рабочий персонал 41203 25 200000 43079
Автомобильный бизнес 38555 20 824254 9269
Инсталляция и сервис 38412 25 180000 2390
Закупки 37846 50 261000 2658

Анализ вакансий HeadHunter - 5

Уборщицы

А вот и самый простой путь: зачем учиться 5 лет, если можно просто помыть офис? Ниже результат фильтрации топа вакансий по запросу «уборщ*».

Что, если устроиться в несколько контор и приходить вечерком на пару часов для уборки? Так можно довольно роскошно жить. Будем считать это лайфхаком.

Name Salary, average Salary, minimum Salary, maximum Number
Высший менеджмент 63000 40000 87000 8
Маркетинг, реклама, PR 50000 50000 50000 6
Добыча сырья 45000 45000 45000 3
Управление персоналом, тренинги 33246 7908 87000 58
Бухгалтерия, управленческий учет, финансы предприятия 32000 30000 35000 10
Безопасность 31507 20000 70000 6
Продажи 29696 4737 55000 159
Строительство, недвижимость 29024 413 80000 73
Транспорт, логистика 24987 10990 45000 26
Автомобильный бизнес 24465 7124 45000 61

Анализ вакансий HeadHunter - 6

Топ по городам

Напоследок я решила проверить количество открытых вакансий по городам. Первые места удивления не вызывают, а вот дальше есть любопытные и даже неожиданные позиции.

Name Number
Москва 31137
Санкт-Петербург 11745
Минск 7608
Алматы 4386
Киев 3398
Екатеринбург 3182
Новосибирск 3097
Казань 3066
Уфа 2980
Нижний Новгород 2876

Анализ вакансий HeadHunter - 7

Репозиторий

Весь код из статьи, с улучшениями и инструкцией, доступен в репозитории.

Автор: Irenica

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js