DeepPavlov для разработчиков: #2 настройка и деплоймент

Всем привет! В первой статье ^[1] из нашего цикла мы узнали, что такое DeepPavlov, какие модели библиотеки готовы к использованию без предварительного обучения и как запустить REST серверы с ними. Перед тем, как приступить к обучению моделей, мы расскажем о различных возможностях деплоймента моделей DeepPavlov и некоторых особенностях настройки библиотеки.

Договоримся, что все скрипты запуска библиотеки выполняются в environment Python с установленной библиотекой DeepPavlov (про установку см. первую ^[1] статью, про virtualenv можно прочитать здесь ^[2]). Примеры из этой статьи не требуют знания синтаксиса Python.

Режимы взаимодействия с NLP моделями DeepPavlov

На данный момент DeepPavlov поддерживает 4 способа взаимодействия с NLP моделями (как предобученными, так и созданными пользователями):

• REST сервер (режим riseapi) — основной инструмент интеграции моделей, о нём подробно рассказывалось в предыдущей статье ^[1]. Документация ^[3].
• TCP или UNIX сокет сервер (режим risesocket) — если необходима низкоуровневая интеграция. Документация ^[4].
• Бот в Telegram (режим telegram) — демонстрационный режим, позволяет взаимодействовать с моделью через Telegram. Документация ^[5].
• Командная строка (режим interact) — демонстрационный и отладочный режим, позволяет взаимодействовать с моделью через командную строку. Модель в режиме взаимодействия через командную строку инициализируется следующей командой:

python -m deeppavlov interact <config_path>

Параметр <config_path> (обязательный во всех четырёх режимах) в качестве значения может принимать либо полный путь к файлу конфига модели, либо имя файла конфига без расширения. В последнем случае, конфиг модели должен быть зарегистрирован в библиотеке.

Конфиги всех поставляемых с DeepPavlov моделей зарегистрированы в библиотеке. Перечень поставляемых моделей можно найти в разделе MODELS документации ^[6] DeepPavlov, их конфиги можно найти тут ^[7].

Использование GPU

В любом из вышеперечисленных режимов инициализируются NLP модели, в основе которых лежат нейронные сети. Это делает их достаточно требовательными к вычислительным ресурсам. Повысить производительность работы моделей можно за счёт использования GPU. Для этого вам понадобится графическая карта nVidia с достаточным объёмом видеопамяти (зависит от запускаемой модели) и поддерживаемая версия фреймворка CUDA ^[8]. Всю необходимую информацию по запуску моделей DeepPavlov на GPU вы сможете найти здесь ^[9].

Файлы настроек библиотеки

Все настройки библиотеки содержатся в трёх файлах:

• server_config.json — настройки REST и socket серверов, а так же коннектора к Telegram
• dialog_logger_config.json — настройки логирования запросов к моделям
• log_config.json — настройки логирования библиотеки

По умолчанию файлы настроек находятся в <deep_pavlov_root>/utils/settings, где <deep_pavlov_root> — это директория установки DeepPavlov (обычно это lib/python<X.X>/site-packages/deeppavlov в virtual environment). С помощью команды

python -m deeppavlov.settings

вы можете узнать точный путь к директории с файлами настроек. Также вы можете задать путь к удобной вам директории, указав его в переменной окружения DP_SETTINGS_PATH. После первого запуска вышеуказанной команды (сервера с любой обученной моделью DeepPavlov) файлы из директории по умолчанию будут скопированы в директорию из DP_SETTINGS_PATH. Команда

python -m deeppavlov.settings -d

сбрасывает настройки путём копирования файлов настройки из директории по умолчанию поверх файлов в DP_SETTINGS_PATH.

Из настроек DeepPavlov следует обратить внимание на:

• server_config.json, параметр model_args_names:
  Из прошлой статьи ^[1] мы помним:
  — аргументы REST API DeepPavlov именованные;
  — любая модель в DeepPavlov идентифицируется именем её конфига.
  Так вот, имена аргументов каждой модели по умолчанию берутся из её конфига.

  Структуру конфигов моделей мы подробно разберем в следующих статьях, сейчас лишь отметим, что имена аргументов в REST API можно переопределить следующим образом:

  model_args_names: [“arg_1_name”, ..., “arg_n_name”]

  Последовательность имён аргументов соответствует последовательности, в которой аргументы определены в конфиге модели, пустая строка в качестве значения параметра model_args_names соответствует именам по умолчанию.

• log_config.json:
  Обратите внимание на то, что для логирования uvicorn используется логгер, который настраивается отдельно. Про структуру конфига модуля logging Python можно прочитать здесь ^[10].

Запуск предобученных моделей в Docker

Любую предобученную модель DeepPavlov можно запустить в контейнере Docker в режиме REST сервиса. Подробные инструкции находятся в наших репозиториях на DockerHub: для CPU — здесь ^[11], для GPU — здесь ^[12]. API моделей в контейнерах полностью соответствуют описанию из предыдущей статьи.

DeepPavlov Cloud

Чтобы упростить работу с предобученными NLP моделями из DeepPavlov, мы начали предоставлять их в режиме SaaS. Для использования моделей необходимо зарегистрироваться в нашем сервисе ^[13] и получить токен в разделе Tokens личного кабинета. Документация по API находится в разделе Info. Под одним токеном можно отправить до 1000 запросов к модели.

На текущий момент сервис запущен в Альфа версии и его использование предоставляется бесплатно. Далее набор и формат предоставления моделей будет расширяться в соответствии с запросами пользователей. Форму для запросов можно найти внизу страницы Demo ^[14].

Сейчас в DeepPavlov Cloud доступны следующие модели:

• Named Entity Recognition (multilingual) — распознавание именованных сущностей;
• Sentiment (RU) — классификация тональности текста;
• SQuAD (multilingual) — ответ на вопрос к тексту фрагментом данного текста.

Заключение

В этой статье мы познакомились с особенностями конфигурирования и деплоя моделей DeepPavlov, узнали о Docker образах DP и возможности свободного доступа к моделям DP как к SaaS.

В следующей статье мы обучим простую модель DeepPavlov на своём датасете. И не забывайте, что у DeepPavlov есть форум ^[15] – задавайте свои вопросы относительно библиотеки и моделей. Спасибо за внимание!

Автор: Moryshka

Источник ^[16]