Как я Android для тестирования выбирал

в 14:25, , рубрики: android, мобильное тестирование, Песочница, тестирование, метки: , ,

Как я Android для тестирования выбирал

Задача:

По производственной необходимости возникли два следующих вопроса: как определить эффективность существующего набора устройств для тестирования приложения под Android и как правильно сделать выбор следующего устройства для тестирования.

Теория:

После небольших размышлений я принялся рыть интернет в поисках решения этой проблемы, но готового решения так и не нашел (это было около полугода назад). Зато нашлось достаточно теории и описания опыта в этом направлении.

Три наиболее полезные ссылки с описаниями стратегий по выбору устройств для тестирования расположены в конце статьи.

Все описанные там стратегии можно свести к общей теории, заключенной в следующих трех пунктах:

  1. Использовать существующую статистику (важно использовать актуальные устройства).
  2. Учитывать параметры и характеристики устройств.
    Параметры, которые могут быть учтены:

    • размер экрана
    • PPI (pixels per inch)
    • разрешение экрана
    • версия Android
    • быстродействие (CPU, RAM)
    • особенности конструкции, такие как тип ввода данных (клавиатура, сенсорный, трекбол и так далее), наличие камер...
    • браузер
    • производитель
    • поддерживаемые службы (геолокация)
    • цена
  3. Учитывать бюджет

Далее, в зависимости от проекта, каждый выбирает для себя определяющие факторы или их комбинации.

Параметры, которые учитывают практически все блоггеры — это версия Android, PPI и разрешение экрана. Для web-проектов важным, наряду с перечисленными параметрами, является браузер. Для тяжелых нативных приложений не менее важным является быстродействие… и так далее…

Наиболее логичной и простой стратегией мне показалась теория popular and cheap (популярные и дешевые).

Практика. Этап 1:

Вооруженный знаниями, я приступил к действиям.
Проектом, для которого были применены полученные знания пользуется приблизительно 1000 моделей мобильных устройств ежедневно более 2 миллионов раз. Причем имелась статистика по количеству посещений для каждого устройства.

Этап сбора данных об устройствах оказался самым трудозатратным. Я собрал информацию в интернете о 123 популярных устройствах, дополняя документ версиями Android, CPU, размерами экранов, разрешениями и PPI для каждого устройства. Эта работа заняла около недели.

Оказалось, что 123 из 1000 устройств покрывают 80% посещений, и на этом я решил остановиться.

Этап анализа данных был наиболее интересным. Отметив уже имеющиеся устройства (их было 7) для тестирования в таблице, я приступил у группировкам по различным параметрам.

Группировка по major.minor версии Android показала, что для тестирования покрыты все группы начиная с 4.2 до 2.2 (76% посещений) и только устройства с версией Android 2.1 (2.95% посещений) и 1.x (0.28% посещений) не покрыты. В целом, результат неплохой.

Как я Android для тестирования выбирал

Анализ по разрешениям показал, что второе по популярности разрешение 480x320 с 18.61% посещений никогда не проверялось. В тоже время самая популярная группа с разрешением 800x480 (27.56%) покрыта 3 устройствами.

Как я Android для тестирования выбирал

Анализ по версиям Android и разрешениям экранов дал более интересные результаты. Три самые популярные группы 2.3 и 800x480 (15.30%), 2.3 и 480x320 (11.83%), 4.1 и 1280x720 (10.75%) вообще не покрыты. При этом суммарное покрытие набором устройств для тестирования составляло всего 8% посещений.

В результате был выдвинут ряд предложений, которые смогли значительно увеличить покрытие посещений по основным параметрам устройств.

На этом мои изыскания в этой области приостановились.

Спустя полгода...

Недавно я вернулся к этому вопросу, работая над новым проектом. Если честно, перспектива собирать информацию об устройствах меня не радовала.

Один коллега сохранил мне кучу времени, поделившись ссылкой choosedevice.com. Это оказалось готовое автоматизированное решение. В этом проекте уже собрана информация более чем по 200 устройствам, но только по 4 параметрам: api level (os version), размер экрана, PPI и разрешение экрана. Видно, что этот проект еще молод и сейчас находится в стадии beta тестирования.

Действия. Этап 2:

Вот какой получился опыт при работе с этим сервисом:

  1. Зашел на сайт, используя свой google account.
  2. Отметил устройства, используемые для нового проекта.
  3. Сделал экспорт мобильных устройств из google analytics.
  4. Подгрузил эту статистику в choosedevice.

Все это заняло 10 минут, и я получил общую статистику по мобильным устройствам.

Как я Android для тестирования выбирал

Дальше я использовал панель поиска для группировки устройств.

Как я Android для тестирования выбирал

Система подсчитала покрытие посещений пользователей по выбранному параметру и выдала рекомендуемые устройства.

Группировать можно также по двум параметрам. Ниже представлен результат работы сервиса по ppi/resolution.

Как я Android для тестирования выбирал

Вывод:

Android устройство действительно необходимо выбирать с умом. ChooseDevice поможет сделать это качественно.

Полезные ссылки:

stephanierieger.com/strategies-for-choosing-test-devices/
devblog.xing.com/qa/how-to-choose-the-right-mobile-test-devices/
mobilephonedevelopment.com/archives/1600

Еще полезные ссылки от google:

developer.android.com/about/dashboards/index.html
developer.android.com/guide/practices/screens_support.html

ChooseDevice:

choosedevice.com

Автор: gmaksimenko

Источник

Поделиться