vSphereTools: Как мы создавали открытый инструмент для автоматизации работы с vSphere

^[1]

В нашем блоге на Хабре мы много рассказываем о внедрении подходов DevOps и разработанных нами инструментах автоматизации разработки и тестирования. Сегодня речь пойдет о том, как мы решали проблему взаимодействия с VMware vSphere.

Немного истории

В vSphere работают все наши виртуальные машины — как сборочные, так и тестовые серверы.

Пару лет назад до появления нашей собственной системы Continuous Integration ^[2] большая часть наших сборок была перенесена на инструмент TeamCity. На тот момент у нас не было тестовых и деплойных конфигураций, однако необходимость их развития становилась все более явной.

На середину 2014 года нам было известно два решения для автоматизации работы с виртуальными машинами: использование собственного API VMware ^[3] для работы с vSphere (библиотека VIX API) и применение библиотеки pysphere ^[4]. У каждого из этих инструментов были недостатки.

У VIX API был слишком высокий для нас порог вхождения:

• Инструмент представлял собой набор сложных и плохо документированных C-библиотек.
• Всю интеграцию с нашими CI-системами пришлось бы писать самостоятельно на C.

Библиотека pysphere вообще была фактически недокументированной и с рядом проблем:

• инструмент написан под Python 2.7;
• отсутствовал интерфейс командной строки;
• продукт представлял собой набор разрозненных классов, хаотично раскиданных по скриптам пакета;
• проект только развивался и содержал множество багов.

Однако если сравнивать pysphere с VIX API, то у первого были и свои преимущества:

• Он работает гораздо быстрее за счет использования http rest api для доступа к функциям vSphere.
• Экспертиза в Python у нас в компании гораздо выше, так что порог вхождения для использования этого инструмента был ниже.
• Отзывы о нашей самописной библиотеке PT.VIX поверх VIX API не выдерживали никакой критики в плане поддержки и надежности ее работы.

Поэтому было решено использовать эту библиотеку и на ее базе создать собственное решение.

Проект vSphereTools

Прежде чем начать программировать, мы составили требования к набору инструментов автоматизации.

• продукт должен был поддерживать работу из консоли с широким набором команд;
• иметь понятное API для возможности его импорта как обычной python-библиотеки;
• быть встроенным в TeamCity в качестве метараннеров, доступных для выбора в шагах конфигураций.

Концептуальная модель взаимодействия vSphereTools с самой «Сферой» представлена ниже:

^[5]

Все довольно просто: инициатор, которым может быть пользователь или скрипт, отправляет команды, полученные через командную строку, инструменту vSphereTools, который переправляет данные библиотеке pysphere. Дальше запрос попадает в vSphere, где обрабатывается и отправляется виртуальной машине, которая выдает то, что нам нужно («стейты», атрибуты и т.п.)

Требования к окружению для vSphereTools были минимальны:

• нужен служебный пользователь для доступа к vSphere;
• с машины, на которой запускается vSphereTools, должен быть доступен сервис vcenter, а также ESX, на котором работает целевая виртуальная машина.
• на целевой «виртуалке» должны быть также установлены инструменты VMware Tools;
• на машине, на которой запускаются vSphereTools, должен быть установлен Python 2* версий 2.7 или старше.

Полная документация с примерами доступна в открытом сообществе DevOpsHQ ^[6]. В итоге скрипты vSphereTools ^[6] реализуют множество функций от старта и остановки виртуальных машин до копирования локального файла внутрь нужной виртуалки или запуска на ней конкретной программы.

В настоящий момент метараннеры и скрипты vSphereTools используются при разработке и тестировании практических всех крупных продуктов Positive Technologies — например, MaxPatrol SIEM ^[7], PT Application Firewall ^[8] и Application Inspector ^[9] и во многих других проектах.

Ограничения и возможные доработки

Как у любого инструмента у нашего продукта vSphereTools есть и свои ограничения:

• Последняя доступная в индексе версия pysphere 0.1.8, а именно она лежит в основе vSphereTools.
• Новые методы для vSphereTools приходится реализовывать только силами DevOps-отдела компании.
• Новые версии VMware vSphere возможно не будут поддерживать старый API.
• В настоящий момент наши скрипты работают только с Python 2* (2.7 и выше).

Поэтому мы планируем и ряд доработок. Например, хотим переписать vSphereTools на VMware vCloud Suite SDK for Python for vSphere 6.0. Документация ^[10] этого инструмента уже доступна, также есть и python-api для него — библиотека pyvmomi ^[11].

P. S. Рассказ о проекте vSphereTools был представлен в рамках DevOps-митапа, который состоялся осенью в Москве.

По ссылке ^[12] представлены презентации 16 докладов, представленных в ходе мероприятия. Все презентации и видео выступлений будут добавлены в таблицу в конце этого топика-анонса ^[13].

Автор: Тимур Гильмуллин ^[14]

Автор: Positive Technologies

Источник ^[15]