- PVSM.RU - https://www.pvsm.ru -
Всем привет!
Я Катя, тестирую мобильные приложения в Badoo. Сегодня я расскажу о том, почему тестировать бета-версии так важно, как мы проводим мануальное тестирование таких версий и что интересного мы обнаружили в ходе проверки iOS 12 Beta.
Каждый год в сентябре Apple выпускает новую версию iOS, и на каждой WWDC представители компании хвастаются, что пользователи iOS устанавливают обновления гораздо быстрее, чем пользователи Android.
Причина этого не только в том, что iOS крута сама по себе, но и в том, что в Apple знают, как заставить юзеров обновиться:
Кстати, в бета-версии был раздражающий баг. Уведомление об обновлении всплывало всякий раз при разблокировке экрана или закрытии центра уведомлений; доступных апдейтов при этом не было.
Вот почему наши пользователи обновляются со скоростью звука — и мы должны быть к этому готовы.
Как видно из графика, в августе прошлого года бета-версия iOS 11 была установлена лишь у 1,05% наших пользователей, а к концу октября этот показатель достиг почти 60%.
Пример из личной практики
В сентябре 2017 года я обновила версию своего устройства до iOS 11, и приложение электронной почты, которой я активно пользуюсь, перестало присылать push-уведомления. Да, вам не померещилось: ПЕРЕСТАЛО. ПРИСЫЛАТЬ. ПУШИ. Таким образом, чтобы узнать, пришло ли мне письмо или нет, приходилось открывать приложение и проверять папку «Входящие». Это жутко раздражало, так что я написала о проблеме в техподдержку, и её решили. Это заняло три недели! После выхода фикса уведомления вернулись, но зато пропал счётчик на иконке. С растущей волной недовольства я сообщила и об этом баге. Короче говоря, я начала пользоваться новым приложением (старым тоже пользуюсь, но уже не на постоянной основе).
Мобильное ПО постоянно меняется, и нам нельзя отставать. Вот почему, когда выходит новая бета-версия iOS, мы должны её тестировать. Почти сразу.
Начиная с какой бета-версии стоит проводить тестирование?
В этом году мы начали с Beta 6. «Почему не с первой?» — Спросите вы. Дело в том, что бета-версии на самом старте очень «сырые», а активно тестировать нестабильную версию довольно бессмысленно. Вам может встретиться множество различных ошибок, которые уже в скором времени исправит Apple. Мы видели это своими глазами: между версиями 5 и 9 было решено множество проблем.
Пример. На экране с превью видеозаписей у нас случались краши. Такая проблема существовала в Beta 5 и исчезла усилиями Apple в Beta 6.
Шаг 0. Установите на своём устройстве бета-версию ОС.
Ознакомьтесь со списком устройств, поддерживающих iOS 12 [2]. Самый старый и наименее производительный iPhone — 5s, самый новый и наиболее производительный — XS Max. Так что, если вы ещё этого не сделали, обновите свою коллекцию гаджетов. Кроме того, советую вам регулярно проверять рейтинг наиболее часто используемых устройств для вашего приложения.
После того как устройство выбрано, можете устанавливать бету. Вот [3] доступная инструкция.
Шаг 1. Начните с новых функций ОС.
По ссылке [4] вы найдёте их список. Внимательно прочтите его и отметьте функции, применимые к вашему приложению. В нашем случае они касались уведомлений, продолжительности работы и улучшения производительности.
Шаг 2. Мануальная регрессия.
В принципе, мануальная регрессия всего приложения — не моё любимое занятие, но в бета-версиях даже она в радость. Постоянные зависания и краши — словно глоток свежего воздуха, как погружение в атмосферу стартапа.
Советы
Шаг 3. Нефункциональное тестирование.
Обычно для нефункционального тестирования мы задействуем инструменты Xcode. Тем не менее, если у вас установлена бета-версия iOS 12, для отслеживания расхода энергии (Energy Log) и мониторинга состояния системы (Activity Monitor) вам придётся использовать бета-версию Instruments. Скачав Xcode отсюда [5], вы можете использовать Instruments в обычном режиме.
Процессор:
iOS 12 Beta
iOS 11
Память:
iOS 12 Beta
iOS 11
Батарея:
iOS 12 Beta
iOS 11
Как показало наше исследование, значительных изменений в работе процессора, памяти и батареи с переходом на iOS 12 Beta не произошло.
Шаг 4. Удостоверьтесь, что ваши автотесты проходят на новой бете.
В частности, установите бета-версию Xcode на агенты и обновите Facebook WebDriverAgent. Подробнее об этом пункте читайте в следующей статье.
Шаг 5. Включите проверку на iOS 12 Beta в ваш процесс тестирования.
Советую включать проверку на iOS 12 Beta сразу, как только бета-версия станет стабильной. Мы [6] включали такие проверки в тестирование фича-бранчей, их интеграции, а также в релизное тестирование.
Вот лишь самые достойные представители:
rawValue
. Вылет происходил, когда во время исполнения программы не находилось соответствующего значения в операторе switch. Данный баг (см. гифку ниже) исправили наши разработчики (нам ещё нужны, кстати [7]).
Отмечу, что мы тестировали Badoo на приложениях, скомпилированных при помощи:
Другие приложения тестировались из любопытства с приложением, скомпилированным при помощи старой версии Xcode 9 на последней iOS 12 Beta (6—12).
Тестирование бета-версий невероятно полезно — оно помогает оградить пользователей от очень неприятных багов. Некоторые баги встречались в самой iOS и уже исправлены Apple, но большая их часть исправлялась нашими доблестными разработчиками. И теперь, после ретеста фиксов, мы можем быть уверены в том, что пользователи iOS 12 смогут насладиться приложением Badoo в полной мере.
Кроме того, очень приятно видеть, как фиксятся баги в других приложениях. Многие приложения, которыми я пользуюсь, все еще имеют специфичные для iOS 12 баги, хотя официальный релиз состоялся в сентябре. Было бы здорово разработчикам поторопиться с фиксами, так как после активной фазы обновления в этом месяце большинство пользователей окажется под ударом.
В общем, ребята, тестируйте беты — это полезно как с позиции вашего личного роста, так и для ваших пользователей.
Автор: katya_sp
Источник [8]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/testirovanie/295314
Ссылки в тексте:
[1] понизить версию: https://9to5mac.com/2017/10/04/downgrade-from-ios-11-back-to-ios-10/
[2] поддерживающих iOS 12: https://9to5mac.com/2018/06/04/ios-12-supported-devices/
[3] Вот: https://www.imore.com/how-download-ios-developer-beta
[4] ссылке: http://www.apple.com/uk/ios/ios-12-preview/
[5] отсюда: https://developer.apple.com/download/
[6] Мы: https://habr.com/company/badoo/blog/334034/
[7] кстати: https://events.badoo.com/habr1
[8] Источник: https://habr.com/post/425955/?utm_campaign=425955
Нажмите здесь для печати.