RoboHornet: новый подход к тестированию производительности браузеров

Синтетические тесты производительности вызывают много нареканий — меряют не то и не так, а результат тестирования часто имеет мало отношения к реальной скорости работы. Или ещё хуже — тест превращается в маркетинговый инструмент и неизменно показывает лучший результат в каком-то одном браузере. RoboHornet ^[1] задуман, как тест, лишённый этих недостатков. Созданный в Google, 24 сентября он был опубликован на Гитхабе — его разработка будет вестись открыто. Система расчёта результатов тоже основана на краудсорсинге. Сообщество разработчиков путём голосования определяет, какие тесты необходимо включить в RoboHornet, и какой вес будет иметь каждый тест.

RoboHornet тестирует производительность JavaScript, DOM, Canvas, SVG, Local Storage и даже анимированных GIF-ов. Сообщество тестировщиков координируют так называемые "стюарды ^[2]", среди которых — сотрудники Google, Facebook, Sencha, активные участники проектов YUI, HTML5 Boilerplate, jsPerf, jQuery и других. Идея, лежащая в основе RoboHornet, очень проста: любой популярный тест заставляет производителей стремиться к тому, чтобы их браузер показал в нём наилучшие результаты. Если создать и сделать популярным тест, который охватывает все важные аспекты работы веб-приложений, а не только JavaScript, или, например, Canvas — это будет способствовать более сбалансированному развитию браузеров.

Каждый участник сообщества концентрируется на проблемах, с которыми он сталкивается в своём приложении, и стремится написать больше тестов в этой области, поднять их вес в общей оценке. Совместными усилиями многих программистов набор тестов со временем становится всё более полным и универсальным.

RoboHornet пока в стадии ранней альфы, но стартовал довольно уверенно — среди стюардов такие авторитетные люди, как Пол Айриш и Иегуда Кац. Сайт Tom's Hardware, проводящий регулярные «заезды» браузеров Web Browser Grand Prix, уже прогнал новые тесты для всех основных браузеров ^[3] на ОС Windows 7 и 8, Ubuntu 12.04.1, OS X Mountain Lion и Android 4.1.1

Не обошлось и без критики. Несмотря на то, что под Windows 8 десятый Internet Explorer показал отличный результат, уверенно обогнав всех конкурентов, Microsoft заявила, что считает этот тест совершенно бесполезным и далёким от реального мира. По словам директора по маркетингу Internet Explorer Роджера Каприотти, опубликовавшего 25 сентября в блоге разработчиков IE критический пост ^[4], в реальных условиях преимущества IE10 ещё выше.

В доказательство своих слов он привёл демо со скромным названием RoboHornet Pro ^[5], в котором тесты, входящие в RoboHornet, запускались параллельно с работой насыщенной анимацией веб-страницы. При этом Google Chrome подвисал и переставал реагировать на действия пользователя, а IE10 оставался отзывчивым и прокурчивал анимацию плавно. Что мешает разработчикам Microsoft поучаствовать в создании правильных, годных тестов в составе сообщества RoboHornet, а не на отдельной страничке корпоративного сайта, Каприотти не уточнил.

Так как состав, содержание и вес тестов в разных релизах RoboHornet будет непрерывно меняться, в качестве основной оценки выбран так называемый индекс RoboHornet. 100 баллов соответствуют среднему результату совокупности всех текущих стабильных версий популярных браузеров на референсном железе. В качестве эталона в текущей версии выступает MacBook Pro со следующими характеристиками:

• четырёхядерный 2.2GHz Intel Core i7
• 500GB 5400-rpm HDD
• видеокарта AMD Radeon HD 6750M с 512MB памяти GDDR5
• 4GB ROM
• Разрешение экрана 1440 на 900 пикселей
• ОС: dual-boot Windows 7 Service Pack 1 + Mac OS X 10.8.1

Эталонное железо будет обновляться приблизительно раз в год. Почему была выбрана именно такая схема оценки, подробнее описано в этом документе ^[6].

Сейчас на официальном сайте RoboHornet.org ^[7] можно пройти как полный набор тестов (каждый тест прокурчивается очень много раз, чтобы исключить влияние случайных факторов, так что на среднем железе весь процесс вполне может занять 5 — 10 минут), так и подмножества, подобранные так, чтобы соответствовать типичным запросам определённых веб-приложений и фреймворков — Google Maps, YUI, jQuery и других. Проголосовать за важные, по вашему мнению, тесты или предложить свои можно в репозитории проекта на Гитхабе ^[8].

Автор: ilya42