Автоматизация сбора и анализа вакансий с сайта Хэдхантер

Заинтересовался задачей автоматизации сбора и проведения небольшого анализа вакансий IT-специалистов в России. После беглого исследования пришел к выводу, что удобных бесплатных и расширяемых инструментов нет и решил написать свой на Python. В качестве источника идей, прежде всего для графиков, использовал проект hh_research ^[1] Александра Капитанова.

HH Inspector получился универсальным и может быть использован широким кругом пользователей в качестве базы для решения своих задач, поэтому выкладываю его в качестве open-source проекта ^[2]. Все подробности - ниже.

Постановка задачи

В качестве источника данных для получения вакансий берём крупнейший российский ресурс Хэдхантер (hh.ru ^[3]), тем более, что у них есть хорошее открытое API и довольно приличная документация.

Список требований к функционалу нашего инструмента:

• Поиск вакансий по различным параметрам: ключевые слова, специализация, регион, зарплатная вилка, опыт работы.

• Сохранение данных по вакансиям в форматах JSON, CSV для дальнейшей обработки.

• Выдача различной статистики (по зарплатам, ключевым словам и т.п.) на экран.

• Рисование графиков по распределению зарплат.

Пример вывода списка найденных вакансий на экран

Процесс

Глядя на требования, сразу видим 4 компонента, на которые логично разбить всю систему:

• Модуль работы с параметрами и настройками (Settings)

• Модуль сбора данных о вакансиях (Data Collector)

• Модуль анализа и рисования графиков (Analyzer)

• Управляющий модуль (Main)

Первоначально была идея задавать параметры поиска в командной строке, но скоро стало понятно, что это неудобно, так как возможных параметров оказалось много + нужна возможность установить фиксированные значения для ряда параметров и пользоваться ими снова и снова. Можно было бы использовать формат JSON, но отсутствие в стандарте возможности вставлять комментарии делает его неудобных для конечного пользователя. В итоге форматом для задания параметром поиска был выбран YAML.

Также я решил использовать для параметров поиска те имена и значения, которые выбрали разработчики HeadHunter API, чтобы не усложнять себе задачу. Они не всегда user-friendly, например, числовые кодификаторы, но поскольку наш инструмент рассчитан на IT-специалистов, это допустимо.

Большинство работодателей не указывают в своих вакансиях зарплаты, а некоторые указывают только верхнюю или нижнюю границу. Если нам нужно получить примерную картину по зарплатам, можно использовать флаг only_with_salary. При расчете средних и медианных значений отсутствующие зарплаты игнорируются. Также в выходных данных показана зарплата "на руки", и если в вакансии указана зарплата до вычета налогов, то автоматически из суммы вычитается 13%.

Поле "Описание вакансии" (description) изначально представляет собой html-текст. При сохранении в локальных данных все html-теги удаляются, никакое дополнительное форматирование не производится.

Поля вакансии

Headhunter API выдает большое количество информации по вакансиям (включая подробную информацию о работодателе), нужность тех или иных полей зависит от конкретного применения. Я отобрал только самые на мой взгляд интересные.

Основные настройки

Параметры поиска вакансий задаются в файле config.yaml в секции query. Подробные комментарии описывают допустимые значения для каждого поля и значения по умолчанию.

Общие параметры задаются в секции general и определяют, какие выходные данные будут созданы в результате работы.

Пример вывода графиков по зарплатам

Исходные тексты и инструментарий

Исходные тексты проекта HH Inspector выложены в Github репозитории ^[4]. Комментарии и предложения приветствуются.

Для работы программы нужен Python 3.13.
Для управления зависимостями используется uv, для проверки кода и форматирования - ruff и pyright, для тестирования - pytest. Работу с настройками упрощает Pydantic settings, анализ и подготовку данных для графиков - pandas.

Документация по API Хэдхантер

• Документация на сайте ^[5]hh.ru ^[3] с примерами запросов ^[5]

• Github репозиторий ^[6]hh.ru ^[3] с документацией ^[6]