Всем привет. Уже в этом месяце в ОТУС стартует курс "Python QA Engineer" ^[1]. В преддверии старта данного курса делимся с вами переводом интересного материала.

Почти все основные языки программирования имеют фреймворки для BDD тестирования ^[2], и Python ^[3] не исключение. И по факту, у него их несколько! Итак, как их сравнить и какой из них лучший? Попробуем разобраться.

behave

behave ^[4] один из самых популярных BDD фреймворков питона. Несмотря на то, что он официально не является частью проекта Cucumber ^[5], его функционал достаточно схож с фреймворками Cucumber.

Источники:

• Python Testing 101: behave ^[4]
• Behavior-Driven Python ^[6]
• Проект behave ^[7] на GitHub
• Проект behave-parallel ^[8] на GitHub
• Документация behave ^[9]

Логотип

Плюсы:

• Полностью поддерживает язык Gherkin;
• Функционал среды и фикстуры (fixture) делают легкими установку и удаление;
• Есть интеграция с Django и Flask;
• Популярен у BDD питонистов;
• Хорошая документация и руководства;
• Есть поддержка PyCharm Professional Edition ^[10].

Минусы:

• Нет поддержки параллельного исполнения, для этого нужен отдельный фреймворк behave-parallel ^[8];
• behave – это standalone фреймворк;
• Обмен поступками (steps) между feature-файлами может принести много хлопот.

pytest-bdd

pytest-bdd ^[11] – это плагин для pytest ^[12], который позволяет пользователями писать тесты в виде feature-файлов Gherkin вместо тестовых функций. Поскольку он интегрирован в pytest, он может работать с любыми другими pytest плагинами, такими как pytest-html ^[13] для создания красивых отчетов и pytest-xdist ^[14] для параллельного тестирования. Он также использует фикстуры pytest для инъекции зависимостей.

Источники:

• Python Testing 101: pytest-bdd ^[11]
• Python Testing 101: pytest ^[12]
• Проект pytest-bdd ^[15] на GitHub
• Документация для pytest-bdd ^[16]
• pytest.org ^[17]

Логотип

Плюсы:

• Полностью совместим с pytest и его основными плагинами;
• Можно пользоваться всеми преимуществами комьюнити pytest;
• Фикстуры – отличный способ управлять контекстом между поступками;
• Тесты могут быть отфильтрованы и выполнены вместе с другими тестами pytest;
• Определениями поступков и хуков можно легко делиться с помощью conftest.py;
• Табличные данные могут лучше обрабатываться для data-driven тестов ^[18];
• Отличная онлайн документация и туториалы;
• Есть поддержка PyCharm Professional Edition ^[10].

Минусы:

• Модули определения поступков должны иметь явные объявления для feature-файлов (через “@scenario” или функцию “scenarios”);
• План сценариев поведения должен обрабатываться по-другому.

radish

radish ^[19] – это BDD фреймворк с изюминкой: он добавляет новый синтаксис в язык Gherkin. Особенности языка, такие как циклы сценариев, предварительные условия сценариев и константы делают Gherkin в radish более программным для тестовых кейсов.

Источники:

• Проект radish ^[20] на GitHub;
• radish-bdd.io ^[19]
• Документация radish ^[21]

Логотип

Плюсы:

• Расширения языка Gherkin дают возможность тестировщикам писать тесты лучше;
• Сайт, документация и логотип – все на месте;
• Feature-файлы и определения поступков получаются очень понятными.

Минусы:

• Является standalone фреймворком с ограниченным количеством расширений;
• Пуристам BDD могут прийтись не по душе добавления в синтаксис Gherkin.

lettuce

lettuce ^[22] – еще один «овощной» BDD Python-фреймворк, который известен вот уже несколько лет. Однако его сайт и код давно не обновлялись.

Источники:

• Проект lettuce ^[23] на GitHub;
• lettuce.it ^[22].

Логотип:

Плюсы:

• Простой код;
• Проверенный и хороший.

Минусы:

• Не такой богатый функционал, как в других фреймворках;
• Похоже, у него нет активной постоянной поддержки.

freshen

freshen ^[24] один из самых первых фреймворков для BDD-тестирования на Python. Он был плагином для nose ^[25]. Однако и freshen и nose больше не поддерживаются, и на странице их документации ясно сказано использовать другие фреймворки.

Рекомендации

Ни один из приведенных фреймворков не идеален, однако у многих из них есть существенные преимущества. В целом, я бы порекомендовал использовать pytest-bdd, поскольку он имеет все преимущества сильных сторон pytest. Я считаю, что pytest – это один из лучших фреймворков для тестирования на любом языке из-за его лаконичности, фикстур, assert’ов и плагинов. 2018 Python Developers Survey ^[26] показал, что pytest является самым популярным фреймворком для тестирования и на Python. Несмотря на то, что pytest-bdd не выглядит настолько «отполированным», как behave, я считаю, что некоторые TLC из комьюнити с открытым исходным кодом в силах это исправить.
И еще немного рекомендаций:

• Используйте behave, если вам нужен надежный, чистый опыт разработки и большое комьюнити.
• Используйте pytest-bdd, если вам нужна интеграция с другими плагинами, которые уже содержат кучу pytest тестов, или если вам нужно параллельное выполнение тестов.
• Используйте radish, если вы хотите больше программного контроля над тестированием на уровне Gherkin.
• Не используйте lettuce и freshen.

А какой ваш любимый фреймворк для BDD? Пожалуйста, поделитесь в комментариях!

Автор: Николай

Источник ^[27]