В тестировании ПО очень важна организация процесса: кто чем занят? Кто, что, когда тестировал? На какой сборке впервые появилась та или иная ошибка? Кто это тестировал? Какой у нас статус требований?

Пытаясь ответить на все эти вопросы, мы организовывали хранение требований и чек-листов в виде google-таблиц, но со временем поняли: пора искать специализированный инструмент. Результатами поиска и сравнения вариантов я и хочу поделиться с вами в этой статье.

В связи с удалённой рабочей командой и в целом в силу привычки мы рассматривали только веб-варианты. Отбросив по первичному анализу совсем неподходящие нам решения, на выбор остались три кандидата:

TestLink

TestRail

Sitechco

Получаем в результате: Triple Threat Match. Кто кого — увидим в честном бою.

Для начала, мы в команде определили критерии отбора:

• Стоимость лицензии: желательно бесплатно, или хотя бы, недорого;
• Поддерживаемые окружения: в команде используются Google Chrome, Mozilla Firefox, Safari — отказываться или менять браузеры никто не готов;
• Функционал управления тестами: здесь нам важнее всего было удобное создание тестовых наборов, ведение статистики прохождения и наглядной отчётности;
• Наличие элементов тест-менеджмента: очень хочется от инструмента возможностей планирования своих задач, контроля за планами и сроками;
• Юзабилити: если кому-то в команде что-то не понравится, то тратить своё время и “вникать” вряд ли будем. Всё должно быть понятно сразу.

По этим критериям и разберём каждого из кандидатов.

Стоимость

Пойдём по мере убывания:

1. TestRails нам предлагает исключительно платные лицензии, в зависимости от их условий стоить она будет от 69$ до 8999$, серьезная плата для серьезного продукта. Дабы не покупать кота в мешке, нам предлагают воспользоваться тестовой версией на 30 дней, которая будет бесплатной — по ней и проводили анализ. В нашем случае (до 15 пользователей) TestRails будет стоить 1399€ или 2149$.
2. Sitechсo для локальной установки обходится в 12000 рублей, SaaS использование бесплатно. Учитывая работу по https-протоколу и не слишком строгих, в плане безопасности, заказчиков, нас веб-версия вполне устроила.
3. TestLink бесплатный при условии установки его к себе на сервер. Пришлось повозиться, но стартовало. По цене однозначный лидер.

Поддерживаемые окружения

Что касается совместимости, все браузеры заявлены в поддержке TestRails и TestLink, но IE не поддерживается в Sitechco:

Учитывая наш набор окружений, это не критично, но для многих пользователей (особенно, тестирующих какое-нибудь банковское ПО в урезанных окружениях) может быть.

Функционал управления тестами

Самым главным критерием в выборе системы для нас, естественно, является ее функционал. Мы совместно проработали список необходимых “фич”:

• Создание тестов и чек-листов;
• Контроль прохождения тестирования;
• Импорт и экспорт тестов (желательный формат — таблицы);
• Отчёты о проведении тестирования и по оценке качества ПО;
• Деление прав пользователей;

Из желательных, но не обязательных, в список вошли:

• Интеграция с Redmine;
• Ведение требований с анализом тестового покрытия;
• Внешний API для авто-тестов;

Создание тестов и чек-листов

В TestRail создание тестов реализовано c помощью Test Suite, в которые помещаются Тесты.

Добавление производится быстро, по принципу создания Test Case и отдельного описания, с возможностью разделения на секции и прикрепления, при необходимости, файлов. Внутри теста можно подробно расписывать шаги, но мы в большинстве случаев ограничились понятными заголовками.

Sitechco реализовало тестовые наборы в виде Чек- и Чит-листов. Сами Чек-листы просты, ничего лишнего или заумного: тест, проверка, приоритет, ну и различные дополнения: прикрепление требований, трудозатратность, иерархия в виде групп и мастер-группы.

Важную, как по мне, роль имеют чит-листы, с уже существующим набором тестов. Сэкономит время на создание своих и будет полезно на будущее. Эти элементы играют роль конструктора: написал стандартные чит-листы и вставляешь их в чек-листы по мере необходимости. Удобно, когда есть много стандартных проверок, например, нам надо разные поля проверять и на юзабилити гайдлайны, и на XSS-/SQL-инъекции. Данные повторяются, копипастить — зло, но нужен статус прохождения в разных контекстах и для разных полей.

Создание тестов в TestLink напоминает чем-то формы создания в TestRail. По аналогии тестовые наборы создаются в Test Suite, в которые вкладываются тесты.

Смотрится довольно запутанно и при этом примитивно:

Одни и те же тесты можно будет добавлять в разные сценарии, что в нашем случае выполняет похожую функцию, как и чит-листы в Ситечко. Но чтобы тесты были атомарными и маленькими (с наглядным результатом для отчёта) в TestLink показалось слишком много телодвижений. Ну ОЧЕНЬ много.

Контроль результатов

Разработчики TestRail предложили своим клиентам несколько вариантов отчетности:

Что позволяет собрать информацию о тестировании по багам, результатам, запускам и пользователям. Но! Каждый отчет необходимо обрабатывать, что очень неудобно и заставляет делать лишние движения для получения информации, плюс затрачивается время на формирование отчета:

Хотя в этом есть свой плюс — присутствует возможность рассылки отчетности на несколько е-mail-ов. Что касается самого типа отчета, то отображается графическое представление результатов и перечень всех тестов с соответствующим значением.

Sitechco позволяет формировать отчеты автоматически, не производя лишних действий для его получения. 4 основных вида отчета дают полную информацию о тестировании проекта.

Отчет по запускам отображает весь список Чек-листов, по которым производилось тестирование, присутствует возможность просмотра общей и подробной информации. По результатам прохождения возможно увидеть отчет по 5 последним запускам Чек-листа, плюс, позволяет настроить отчет под себя. Форма группового отчета показывает в графической форме представление результата:

TestLink заставил попотеть и помучатся с запуском тестов для прохождения. Долго не поддавалась система, что уже не понравилось. После совместных разбирательств, мы догадались, как это сделать. Вариант отчета разработчики предложили в таком виде, который показался нам недостаточно информативным:

Хотя вариантов отчетов очень много, но все однотипные и в неприемлемом, во всяком случае для нас, формате.

Импорт и экспорт тестов (желательный формат — таблицы)

В TestRail возможен экспорт в 3 форматах: xml, CSV и Excel. Но как ни странно, при попытке получить отчет в Exсel мне выдавалось в формате CSV.

В импорте всё выглядит проще и представлено в форме выбора файла с ПК в формате xml. Также присутствуют возможности добавления в уже существующий список тестов и создание нового.

Sitechco не теряет своих амбиций и представил своим пользователям экспорт данных в формате xls. Но, здесь тоже своя загвоздка, открытие файла возможно только в Microsoft Office.

А вот импорт был очень даже интересным. Не пришлось ничего сохранять в отдельный файл — вставка из файла на ПК или Google Docs произошла успешно и без лишних телодвижений, простым копипастом нужных строк таблицы.

Экспорт в TestLink представлен только в одном формате — xml. Есть возможность скачивания как полного списка тест кейсов, так и отдельных папок.

Импорт поддерживается в аналогичном формате — xml. Представлено в виде загрузки отдельного файла с ПК для общего списка и для папки в отдельности.

Деление прав пользователей

Итак, начнём по порядку. TestRail предлагает нам на выбор 4 роли:

Роли легко редактируются, при помощи выставления чек-боксов для разрешения действий:

Также порадовала функция создания отдельных групп пользователей, что позволяет разбить пользователей по отдельным спискам:

В “кухонном” друге я обнаружил 5 ролей пользователей:

Долго пытался понять кто и что может, но ответ был “на поверхности” — в справке присутствует подробное описание, что упрощает задачу. Единственное, что хотелось бы — создавать свои списки, но видимо в веб-версии это не предусмотрено.

TestLink предлагает своим пользователям воспользоваться уже встроенными вариантами:

Также присутствует возможность создавать свои списки пользователей, с выставлением прав:

У меня сложилось мнение, что TestLink и TestRail имеют в некоторых моментах идентичную модификацию в настройках. Но вот в TestRail поработали над удобством использования, а TestLink не радует удобством.

Интеграция с Redmine

Наша компания использует Redmine и логично, что мы искали систему, поддерживающую интеграцию с данным баг-трекером. Под список выбора попадают все три претендента. Постараюсь описать подробнее по каждому.
Testrail. Интеграция, как уже говорили другие пользователи ранее: “проста и гениальна” одновременно:

Данная настройка подходит для большей части онлайн баг-трекеров. При заведении бага форма, как мне показалось, не была продумана до конца и потому содержала минимальное кол-во полей.

Возможно, разработчики не захотели усложнять себе жизнь, а возможно было сделано на скорую руку. Но лично мне не сильно понравилось, мы заполняем больше полей при заведении ошибок, и неудобно после заведения ошибки из TMS заходить и редактировать её в Redmine. Сама ссылка на баг отображается рядом с тестовыми данными, что не затрудняет восприятие, а при нажатии можно посмотреть информацию подробнее — это очень удобно:

Но главным минусом интеграции через TestRail является авторизация только одного пользователя, что в следствии очень неудобно при разборе багов программистом. Появляются лишние вопросы и излишняя суета.

Настройки интеграции в Sitechco довольно просты и осуществляется пошагово. Запутаться сложно. Изначально выбирается проект, ссылка на сам баг-трекер и администраторский доступ к нему.

По началу всё обычно, а вот дальше — явный плюс: возможность настройки полей, которые будут отображаться в форме заведения дефекта. Несомненно нужная штука!

Все мои настройки имели влияние на формы для заполнения. Ничего не скажешь, добротно продуманно и для людей.

В отчетах тоже ничего сверхъестественного, список багов через запятую, данные ссылочные и отображают статус бага в данный момент.

TestLink. Интеграция по аналогии с TestRail, потому сильно распыляться не буду, так как сама интеграция мне не понравилась изначально.

Уж очень неудобно заводить баги в таком формате, живя в мире развивающихся технологий.

Ведение требований с анализом тестового покрытия

Следующий важный нам пункт — связи с проектными требованиями. У нас на проекте они ведутся не детально, но статус по ним должен быть прозрачным, своевременным, и раньше мы использовали google-табличку, в которой всё время забывали что-то актуализировать.

Поклацав всех трёх наших кандидатов, я не заметил очевидного в TestRail, так что по этому пункту он из игры выбывает.
В Sitechco пункт “Требования” есть в главном меню, но заставил меня покорпеть, прежде чем я смог сделать его активным (через настройки проекта, как оказалось).

Дальше попадаем в список требований, которые можем создавать или импортировать из таблиц.

Окно создания не содержит ничего лишнего: название и описание. Не хватает только добавления вложенных файлов — возможно, придётся пользоваться ссылками на сторонние файлхостинги.

Меня порадовал также импорт требований, видимо создано по аналогии с импортом тестов, также ничего сложного и заумного. Представлено в виде окна, с выбором каталога для импорта и самим полем. Присутствует также справка:

Создав/импортировав требования, мы можем осуществить связку между каждым тестом (проверкой в чек-листе, а не всем чек-листом) и требованием, работает эта связка по принципу многий ко многим:

Давайте посмотрим как обстоят дела в TestLink. Производитель предлагает набор функций для работы с требованиями: создать, импортировать, экспортировать, создать тестовые наборы и скопировать требования.

Операции по созданию требований довольно просты, имеют возможность прикрепления файлов, что более чем покрывало все мои желания к виду требований. Но пользоваться было не очень неудобно — как и почти всё в TestLink.

Сам импорт как и экспорт поддерживается в формате CSVXMLDocBook. Видимо весь проект Testlink ориентирован на формат CSV.

Требования прикрепляются к Test Case и помогают в процессе тестирования, дабы проверить полноту покрытия требований проверками и не допущения пробелов во время тестирования.

Юзабилити:

О простоте работы я немного сказал вначале, хотелось бы продолжить разговор на эту тему и раскрыть следующие особенности. Возможность использования горячих клавиш для создания тестов и групп в чек-листах реализована только в Sitechco.

Такие же моменты, как описание групп пользователей и простота использования отмечаются у всех трех продуктов. Но на фоне всех стандартных требований, очень понравилось то что TestRails позволяет самостоятельно создать адрес проекта, а testlink шагнул еще дальше и предложил собственный сервер хранения данных. Sitechco же, отличилось консервативностью в этом плане и не стало баловать дополнительными наворотами, видимо уповая на широчайший функционал и простоту использования.

Специальные предложения:

Чего-то сверхъественного мне обнаружить не удалось. Единственное, что мне бросилось в глаза, так это планировщик задач Ситечка, которые чем-то напоминает Todoist ^[1], в силу отображения количества задач на мне и возможности планировать на будущее.

Что самое главное, как сказал наш тест-менеджер: “Я теперь смогу вас контролировать” и ехидно улыбнулся. Оказывается, что данная вкладка позволяет также просматривать какой из чек-листов на данный момент запущен, какой был завершён. “Паливо”- подумал я и попытался поискать данную функцию в TestRail и TestLink. Увы! Данный функционал поддерживается только в Sitechco, а считать это плюсом или минусом — мы с начальством придерживаемся разных точек зрения.

В силу развития всяческих мобильных фишек я также ожидал, что откопаю подобные вещи (мобильные версии, мобильные приложения), но, к сожалению, ни один из соперников не имел данного функционала в своём вооружении. Проводить тестирование с кучей вкладок неудобно, согласитесь. Потому было бы “в кассу” производить отметки о результатах на планшете и при этом не загромождать пространство на столе.

Как говорит одна из телеведущих украинского канала, Ольга Фреймут, в своих проверках: “Ну що? Поговоримо?” (Ну что? Поговорим?)

1. TestLink. Собственно чего я ожидал от бесплатного сервиса? Все догадки подтвердились. Поставить галочку, что бесплатный, есть базовый набор функций — только и того. Извини, дружище, ты в нокауте, всё как-то замудрено и не увидел изюминки.
2. TestRails. Да, ничего не скажешь, штука мощная, во своими плюсами и своими минусами. Но в силу отсутствия мультиязычности и не отличающийся такой уж и “дешевизной”, я так и не смог себе это позволить. Не один я ведь буду работать, потому эгоизм свой пришлось “удалить из настроек”.
3. Sitechco . Просто и со вкусом, ничего заумного или сложного для понимания. Мне, возможно показалось, но компания только недавно начала появляться на арене IT и недооценивает свои возможности, либо специальная цена продукта в силу экономического кризиса стран.

Критерии сравнения	Sitechco	TestLink	TestRails
Основные
стоимость лицензии	$0-$500	-	$69-$8,999
браузеры	кроме iE	все	все
функционал
автосохранение/контроль версий	да	да	да
шаблоны	да	нет	нет
печать/ссылка на отчет	да	да	да
импорт/экспорт	да	да/нет	да/да
мобильная версия	нет	нет	нет
окружения/сборки/требования	да/да/да	нет/да/да	нет/да/нет
подсказки	да	нет	да
Элементы тест-менеджмента:
тест план	да	да	нет
тест кейсы	да	да	да
поддержка автотестов	нет	нет	нет
чек-листы	да	да	нет
Разграничение ролей пользователей	есть	есть	есть
поддержка аттача файлов(файловое хранилище)	нет	нет	нет
е-мейл нотификации	есть	нет	есть
Работа с Чек-листами
настройка полей в ЧЛ (разные типы ЧЛ, отдельно настройка тестового окружения, например)	есть	нет	нет
удобство редактирования (субъективная оценка)	удобно	не удобно	не особо удобно
связь с требованиями	да	да	нет
Отчётность
по сборкам	да	да	нет
по окружениям	да	нет	нет
по тестерам	да	нет	нет
по дате выполнения	да	нет	да
по результату	да	да	да
какое-либо отображение статуса тестируемого продукта	есть	есть	есть
отчётность по разным ЧЛ сразу	да	да	да
отчётность по покрытию требований	да	да	нет
отчётность по результатам тестирования требований	да	да	нет
Юзабилити
простота	да	да	да
хоткеи	да	нет	нет
описание групп пользователей	да	да	да

Основывайтесь на свои предпочтения, я постарался объективно сравнить этих трёх бойцов, но пока не определился с 2 победителями: кухонной утварью или штукой бизнес-класса. Оба кандидата имеют свои плюсы и минусы, чем по-своему привлекают. В любом случае, вопрос будет решать фин. директор основываясь на выделенный бюджет, ну а мне остаётся только ждать.

Автор: Favorsky

Источник ^[2]