Кухонные принадлежности в тестировании: или что выбрать из онлайн-ресурсов для тестирования продуктов?

в 15:29, , рубрики: онлайн сервисы для тестирования, тестирование, Тестирование IT-систем, Тестирование веб-сервисов

В тестировании ПО очень важна организация процесса: кто чем занят? Кто, что, когда тестировал? На какой сборке впервые появилась та или иная ошибка? Кто это тестировал? Какой у нас статус требований?

Пытаясь ответить на все эти вопросы, мы организовывали хранение требований и чек-листов в виде google-таблиц, но со временем поняли: пора искать специализированный инструмент. Результатами поиска и сравнения вариантов я и хочу поделиться с вами в этой статье.

В связи с удалённой рабочей командой и в целом в силу привычки мы рассматривали только веб-варианты. Отбросив по первичному анализу совсем неподходящие нам решения, на выбор остались три кандидата:

TestLink
Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

TestRail
Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Sitechco
Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Получаем в результате: Triple Threat Match. Кто кого — увидим в честном бою.

Для начала, мы в команде определили критерии отбора:

  • Стоимость лицензии: желательно бесплатно, или хотя бы, недорого;
  • Поддерживаемые окружения: в команде используются Google Chrome, Mozilla Firefox, Safari — отказываться или менять браузеры никто не готов;
  • Функционал управления тестами: здесь нам важнее всего было удобное создание тестовых наборов, ведение статистики прохождения и наглядной отчётности;
  • Наличие элементов тест-менеджмента: очень хочется от инструмента возможностей планирования своих задач, контроля за планами и сроками;
  • Юзабилити: если кому-то в команде что-то не понравится, то тратить своё время и “вникать” вряд ли будем. Всё должно быть понятно сразу.

По этим критериям и разберём каждого из кандидатов.

Стоимость

Пойдём по мере убывания:

  1. TestRails нам предлагает исключительно платные лицензии, в зависимости от их условий стоить она будет от 69$ до 8999$, серьезная плата для серьезного продукта. Дабы не покупать кота в мешке, нам предлагают воспользоваться тестовой версией на 30 дней, которая будет бесплатной — по ней и проводили анализ. В нашем случае (до 15 пользователей) TestRails будет стоить 1399€ или 2149$.
  2. Sitechсo для локальной установки обходится в 12000 рублей, SaaS использование бесплатно. Учитывая работу по https-протоколу и не слишком строгих, в плане безопасности, заказчиков, нас веб-версия вполне устроила.
  3. TestLink бесплатный при условии установки его к себе на сервер. Пришлось повозиться, но стартовало. По цене однозначный лидер.

Поддерживаемые окружения

Что касается совместимости, все браузеры заявлены в поддержке TestRails и TestLink, но IE не поддерживается в Sitechco:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Учитывая наш набор окружений, это не критично, но для многих пользователей (особенно, тестирующих какое-нибудь банковское ПО в урезанных окружениях) может быть.

Функционал управления тестами

Самым главным критерием в выборе системы для нас, естественно, является ее функционал. Мы совместно проработали список необходимых “фич”:

  • Создание тестов и чек-листов;
  • Контроль прохождения тестирования;
  • Импорт и экспорт тестов (желательный формат — таблицы);
  • Отчёты о проведении тестирования и по оценке качества ПО;
  • Деление прав пользователей;

Из желательных, но не обязательных, в список вошли:

  • Интеграция с Redmine;
  • Ведение требований с анализом тестового покрытия;
  • Внешний API для авто-тестов;
Создание тестов и чек-листов

В TestRail создание тестов реализовано c помощью Test Suite, в которые помещаются Тесты.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Добавление производится быстро, по принципу создания Test Case и отдельного описания, с возможностью разделения на секции и прикрепления, при необходимости, файлов. Внутри теста можно подробно расписывать шаги, но мы в большинстве случаев ограничились понятными заголовками.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Sitechco реализовало тестовые наборы в виде Чек- и Чит-листов. Сами Чек-листы просты, ничего лишнего или заумного: тест, проверка, приоритет, ну и различные дополнения: прикрепление требований, трудозатратность, иерархия в виде групп и мастер-группы.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Важную, как по мне, роль имеют чит-листы, с уже существующим набором тестов. Сэкономит время на создание своих и будет полезно на будущее. Эти элементы играют роль конструктора: написал стандартные чит-листы и вставляешь их в чек-листы по мере необходимости. Удобно, когда есть много стандартных проверок, например, нам надо разные поля проверять и на юзабилити гайдлайны, и на XSS-/SQL-инъекции. Данные повторяются, копипастить — зло, но нужен статус прохождения в разных контекстах и для разных полей.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Создание тестов в TestLink напоминает чем-то формы создания в TestRail. По аналогии тестовые наборы создаются в Test Suite, в которые вкладываются тесты.

Смотрится довольно запутанно и при этом примитивно:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Одни и те же тесты можно будет добавлять в разные сценарии, что в нашем случае выполняет похожую функцию, как и чит-листы в Ситечко. Но чтобы тесты были атомарными и маленькими (с наглядным результатом для отчёта) в TestLink показалось слишком много телодвижений. Ну ОЧЕНЬ много.

Контроль результатов

Разработчики TestRail предложили своим клиентам несколько вариантов отчетности:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Что позволяет собрать информацию о тестировании по багам, результатам, запускам и пользователям. Но! Каждый отчет необходимо обрабатывать, что очень неудобно и заставляет делать лишние движения для получения информации, плюс затрачивается время на формирование отчета:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Хотя в этом есть свой плюс — присутствует возможность рассылки отчетности на несколько е-mail-ов. Что касается самого типа отчета, то отображается графическое представление результатов и перечень всех тестов с соответствующим значением.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Sitechco позволяет формировать отчеты автоматически, не производя лишних действий для его получения. 4 основных вида отчета дают полную информацию о тестировании проекта.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Отчет по запускам отображает весь список Чек-листов, по которым производилось тестирование, присутствует возможность просмотра общей и подробной информации. По результатам прохождения возможно увидеть отчет по 5 последним запускам Чек-листа, плюс, позволяет настроить отчет под себя. Форма группового отчета показывает в графической форме представление результата:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

TestLink заставил попотеть и помучатся с запуском тестов для прохождения. Долго не поддавалась система, что уже не понравилось. После совместных разбирательств, мы догадались, как это сделать. Вариант отчета разработчики предложили в таком виде, который показался нам недостаточно информативным:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Хотя вариантов отчетов очень много, но все однотипные и в неприемлемом, во всяком случае для нас, формате.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Импорт и экспорт тестов (желательный формат — таблицы)

В TestRail возможен экспорт в 3 форматах: xml, CSV и Excel. Но как ни странно, при попытке получить отчет в Exсel мне выдавалось в формате CSV.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

В импорте всё выглядит проще и представлено в форме выбора файла с ПК в формате xml. Также присутствуют возможности добавления в уже существующий список тестов и создание нового.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Sitechco не теряет своих амбиций и представил своим пользователям экспорт данных в формате xls. Но, здесь тоже своя загвоздка, открытие файла возможно только в Microsoft Office.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

А вот импорт был очень даже интересным. Не пришлось ничего сохранять в отдельный файл — вставка из файла на ПК или Google Docs произошла успешно и без лишних телодвижений, простым копипастом нужных строк таблицы.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Экспорт в TestLink представлен только в одном формате — xml. Есть возможность скачивания как полного списка тест кейсов, так и отдельных папок.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Импорт поддерживается в аналогичном формате — xml. Представлено в виде загрузки отдельного файла с ПК для общего списка и для папки в отдельности.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Деление прав пользователей

Итак, начнём по порядку. TestRail предлагает нам на выбор 4 роли:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Роли легко редактируются, при помощи выставления чек-боксов для разрешения действий:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Также порадовала функция создания отдельных групп пользователей, что позволяет разбить пользователей по отдельным спискам:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

В “кухонном” друге я обнаружил 5 ролей пользователей:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Долго пытался понять кто и что может, но ответ был “на поверхности” — в справке присутствует подробное описание, что упрощает задачу. Единственное, что хотелось бы — создавать свои списки, но видимо в веб-версии это не предусмотрено.

TestLink предлагает своим пользователям воспользоваться уже встроенными вариантами:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Также присутствует возможность создавать свои списки пользователей, с выставлением прав:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

У меня сложилось мнение, что TestLink и TestRail имеют в некоторых моментах идентичную модификацию в настройках. Но вот в TestRail поработали над удобством использования, а TestLink не радует удобством.

Интеграция с Redmine

Наша компания использует Redmine и логично, что мы искали систему, поддерживающую интеграцию с данным баг-трекером. Под список выбора попадают все три претендента. Постараюсь описать подробнее по каждому.
Testrail. Интеграция, как уже говорили другие пользователи ранее: “проста и гениальна” одновременно:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Данная настройка подходит для большей части онлайн баг-трекеров. При заведении бага форма, как мне показалось, не была продумана до конца и потому содержала минимальное кол-во полей.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Возможно, разработчики не захотели усложнять себе жизнь, а возможно было сделано на скорую руку. Но лично мне не сильно понравилось, мы заполняем больше полей при заведении ошибок, и неудобно после заведения ошибки из TMS заходить и редактировать её в Redmine. Сама ссылка на баг отображается рядом с тестовыми данными, что не затрудняет восприятие, а при нажатии можно посмотреть информацию подробнее — это очень удобно:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Но главным минусом интеграции через TestRail является авторизация только одного пользователя, что в следствии очень неудобно при разборе багов программистом. Появляются лишние вопросы и излишняя суета.

Настройки интеграции в Sitechco довольно просты и осуществляется пошагово. Запутаться сложно. Изначально выбирается проект, ссылка на сам баг-трекер и администраторский доступ к нему.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

По началу всё обычно, а вот дальше — явный плюс: возможность настройки полей, которые будут отображаться в форме заведения дефекта. Несомненно нужная штука!

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Все мои настройки имели влияние на формы для заполнения. Ничего не скажешь, добротно продуманно и для людей.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

В отчетах тоже ничего сверхъестественного, список багов через запятую, данные ссылочные и отображают статус бага в данный момент.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

TestLink. Интеграция по аналогии с TestRail, потому сильно распыляться не буду, так как сама интеграция мне не понравилась изначально.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Уж очень неудобно заводить баги в таком формате, живя в мире развивающихся технологий.

Ведение требований с анализом тестового покрытия

Следующий важный нам пункт — связи с проектными требованиями. У нас на проекте они ведутся не детально, но статус по ним должен быть прозрачным, своевременным, и раньше мы использовали google-табличку, в которой всё время забывали что-то актуализировать.

Поклацав всех трёх наших кандидатов, я не заметил очевидного в TestRail, так что по этому пункту он из игры выбывает.
В Sitechco пункт “Требования” есть в главном меню, но заставил меня покорпеть, прежде чем я смог сделать его активным (через настройки проекта, как оказалось).

Дальше попадаем в список требований, которые можем создавать или импортировать из таблиц.

Окно создания не содержит ничего лишнего: название и описание. Не хватает только добавления вложенных файлов — возможно, придётся пользоваться ссылками на сторонние файлхостинги.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Меня порадовал также импорт требований, видимо создано по аналогии с импортом тестов, также ничего сложного и заумного. Представлено в виде окна, с выбором каталога для импорта и самим полем. Присутствует также справка:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Создав/импортировав требования, мы можем осуществить связку между каждым тестом (проверкой в чек-листе, а не всем чек-листом) и требованием, работает эта связка по принципу многий ко многим:

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Давайте посмотрим как обстоят дела в TestLink. Производитель предлагает набор функций для работы с требованиями: создать, импортировать, экспортировать, создать тестовые наборы и скопировать требования.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Операции по созданию требований довольно просты, имеют возможность прикрепления файлов, что более чем покрывало все мои желания к виду требований. Но пользоваться было не очень неудобно — как и почти всё в TestLink.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Сам импорт как и экспорт поддерживается в формате CSVXMLDocBook. Видимо весь проект Testlink ориентирован на формат CSV.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Требования прикрепляются к Test Case и помогают в процессе тестирования, дабы проверить полноту покрытия требований проверками и не допущения пробелов во время тестирования.

Юзабилити:

О простоте работы я немного сказал вначале, хотелось бы продолжить разговор на эту тему и раскрыть следующие особенности. Возможность использования горячих клавиш для создания тестов и групп в чек-листах реализована только в Sitechco.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Такие же моменты, как описание групп пользователей и простота использования отмечаются у всех трех продуктов. Но на фоне всех стандартных требований, очень понравилось то что TestRails позволяет самостоятельно создать адрес проекта, а testlink шагнул еще дальше и предложил собственный сервер хранения данных. Sitechco же, отличилось консервативностью в этом плане и не стало баловать дополнительными наворотами, видимо уповая на широчайший функционал и простоту использования.

Специальные предложения:

Чего-то сверхъественного мне обнаружить не удалось. Единственное, что мне бросилось в глаза, так это планировщик задач Ситечка, которые чем-то напоминает Todoist, в силу отображения количества задач на мне и возможности планировать на будущее.

Кухонные принадлежности в тестировании: или что выбрать из онлайн ресурсов для тестирования продуктов?

Что самое главное, как сказал наш тест-менеджер: “Я теперь смогу вас контролировать” и ехидно улыбнулся. Оказывается, что данная вкладка позволяет также просматривать какой из чек-листов на данный момент запущен, какой был завершён. “Паливо”- подумал я и попытался поискать данную функцию в TestRail и TestLink. Увы! Данный функционал поддерживается только в Sitechco, а считать это плюсом или минусом — мы с начальством придерживаемся разных точек зрения.

В силу развития всяческих мобильных фишек я также ожидал, что откопаю подобные вещи (мобильные версии, мобильные приложения), но, к сожалению, ни один из соперников не имел данного функционала в своём вооружении. Проводить тестирование с кучей вкладок неудобно, согласитесь. Потому было бы “в кассу” производить отметки о результатах на планшете и при этом не загромождать пространство на столе.

Как говорит одна из телеведущих украинского канала, Ольга Фреймут, в своих проверках: “Ну що? Поговоримо?” (Ну что? Поговорим?)

  1. TestLink. Собственно чего я ожидал от бесплатного сервиса? Все догадки подтвердились. Поставить галочку, что бесплатный, есть базовый набор функций — только и того. Извини, дружище, ты в нокауте, всё как-то замудрено и не увидел изюминки.
  2. TestRails. Да, ничего не скажешь, штука мощная, во своими плюсами и своими минусами. Но в силу отсутствия мультиязычности и не отличающийся такой уж и “дешевизной”, я так и не смог себе это позволить. Не один я ведь буду работать, потому эгоизм свой пришлось “удалить из настроек”.
  3. Sitechco . Просто и со вкусом, ничего заумного или сложного для понимания. Мне, возможно показалось, но компания только недавно начала появляться на арене IT и недооценивает свои возможности, либо специальная цена продукта в силу экономического кризиса стран.
Критерии сравнения Sitechco TestLink TestRails
Основные
стоимость лицензии $0-$500 - $69-$8,999
браузеры кроме iE все все
функционал
автосохранение/контроль версий да да да
шаблоны да нет нет
печать/ссылка на отчет да да да
импорт/экспорт да да/нет да/да
мобильная версия нет нет нет
окружения/сборки/требования да/да/да нет/да/да нет/да/нет
подсказки да нет да
Элементы тест-менеджмента:
тест план да да нет
тест кейсы да да да
поддержка автотестов нет нет нет
чек-листы да да нет
Разграничение ролей пользователей есть есть есть
поддержка аттача файлов(файловое хранилище) нет нет нет
е-мейл нотификации есть нет есть
Работа с Чек-листами
настройка полей в ЧЛ (разные типы ЧЛ, отдельно настройка тестового окружения, например) есть нет нет
удобство редактирования (субъективная оценка) удобно не удобно не особо удобно
связь с требованиями да да нет
Отчётность
по сборкам да да нет
по окружениям да нет нет
по тестерам да нет нет
по дате выполнения да нет да
по результату да да да
какое-либо отображение статуса тестируемого продукта есть есть есть
отчётность по разным ЧЛ сразу да да да
отчётность по покрытию требований да да нет
отчётность по результатам тестирования требований да да нет
Юзабилити
простота да да да
хоткеи да нет нет
описание групп пользователей да да да

Основывайтесь на свои предпочтения, я постарался объективно сравнить этих трёх бойцов, но пока не определился с 2 победителями: кухонной утварью или штукой бизнес-класса. Оба кандидата имеют свои плюсы и минусы, чем по-своему привлекают. В любом случае, вопрос будет решать фин. директор основываясь на выделенный бюджет, ну а мне остаётся только ждать.

Автор: Favorsky

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js