Всем привет, меня зовут Илья.
С 2013 года я работаю в холдинге KupiVIP.

Кроме самого интернет-магазина KupiVIP.ru у компании есть подразделение KupiVIP E-Commerce Services ^[1] (далее KupiVIP ECS), которое занимается созданием и развитием интернет-магазинов для fashion-брендов. Холдинг также поддерживает сервис “Надежная покупка” ^[2], целью которого является повышение доверия покупателей к интернет-магазинам и онлайн-торговле в целом.

С 2013 года “Надежная покупка” проводит A/B-тесты своего сервиса на сайтах, созданных подразделением KupiVIP ECS (www.mexx.ru ^[3], www.tom-tailor-online.ru ^[4], www.shop.the-alba.com ^[5])

В 2013 году было проведено 6 A/B тестов. В период с конца 2014 по начало 2015 было проведено 3 A/B-теста.

Пост будет посвящен описанию проведенных тестов и полученным выводам.

Я считаю важным познакомить аудиторию Хабра Мегамозга с результатами этих тестов по следующим причинам:

• результаты A/B-тестов полезны магазинам, которые хотят повысить доверие покупателей к своему интернет-магазину и увеличить конверсию, особенно для новых посетителей сайта;
• я дам рекомендации по использованию и размещению отзывов, не важно, собираете ли вы их самостоятельно или с помощью внешних сервисов (кроме сервиса «Надежная покупка» можно найти еще 2-3 российских аналога со своей спецификой)
• я покажу реальные цифры A/B тестов 2013 и 2014/15 годов, которые получил, включая все обнаруженные позитивные и негативные результаты
• я бы хотел получить обратную связь о похожих тестах, возможно, кто-то из вас уже проводил подобную аналитику, например, исследовали лучшие места для «трастовых» (повышающих доверие) элементов на сайте (виджетов, блоков с отзывами, знаков доверия и т.д.)

О том, что такое АБ-тесты, для чего они нужны и как их проводят, можно прочитать в этой статье: http://megamozg.ru/post/8132/ ^[6]

Информацию о методике проведения A/B тестов, проверке уровня их достоверности, примеры других подобных тестов вы найдете в конце этого поста.

---

A/B тесты, проведенные в 2013 году

Впервые знак “Надежная покупка” тестировался 1,5 года назад. Тесты проводились на сайтах www.mexx.ru ^[3] и www.tom-tailor-online.ru ^[4]
Ниже краткое описание этих тестов. Тесты 2014 года я опишу более подробно.

Формат размещения

Ниже пример размещения знака “Надежная покупка” на сайте www.mexx.ru ^[3] в тестах 2013 года.
Использовался только знак “Надежная покупка”, так как на тот момент функционал отзывов отсутствовал. При клике на знак появляется pop-up с сертификатом магазина.

Страница корзины со Знаком	Попап по клику на Знак

Проверяемая гипотеза:

Размещение знака на страницах: регистрации, корзины, прочее – должно увеличить конверсию за счет повышения доверия к сервисам сайта (так называемые страницы принятия решений, где пользователь решает, двигаться ему дальше или нет)
Подробнее о том, что такое знак “Надежной покупки” можно прочитать здесь ^[7].

Результаты:

www.mexx.ru ^[3]
Период тестирования: 2 — 14 ноября 2013 (13 дней)

Без Знака			Со Знаком
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
28 688	176	0.61%	28 205	217	0.77%	+25.41%	99%

Использование знака увеличило конверсию из всех посетителей в заказы на 25%. С 0,61% для контрольной группы до 0,77% для группы с использованием знака “Надежная покупка” на корзине. Уровень достоверности составил 99%.

www.tom-tailor-online.ru ^[4]
Период тестирования: 27 августа — 9 октября 2013 (44 дня)

К сожалению, я не могу публиковать абсолютные показатели о посетителях и транзакциях по сайту бренда ТОМ TAILOR, но все же смогу показать проценты изменений:

Использование знака дало проекту увеличение конверсии на 11% (из всех посетителей в заказы). С 0.82% для контрольной группы до 0.92% для группы с использованием знака на Корзине. Уровень достоверности составил 96%.

Скриншот из личного кабинета Visual Website Optimizer (информацию о заказах скрыли по просьбе партнера).

Вывод: A/B-тесты показали существенное увеличение конверсии в корзине для групп пользователей, которые видели знак “Надежная покупка”:

+25% рост конверсии на сайте mexx.ru
+11% на сайте tom-tailor-online.ru

На основании полученных результатов наша команда стала использовать Знак на всех сайтах наших партнеров, включая проект KupiVIP.ru ^[8]. Параллельно коллеги из Надежной покупки начали развивать сам сервис отзывов.

---

Изменения сервиса “Надежная покупка” в период с 2013 по 2014 год

Сервис претерпел ряд изменений (появились отзывы и виджеты) не значительно, но изменился рынок электронной торговли (быстрая доставка по всей России, улучшился клиентский сервис) изменился покупатель (больше постоянных покупателей в интернете)

Ниже я приведу примеры виджетов, которые использовались на сайтах наших партнеров с середины 2014 года, и укажу страницы, на которых они стояли

Футер	Каталог и карточка	Корзина вариант 1	Корзина вариант 2

При клике на виджет либо в новом окне, либо в pop-up, показывается страница со всеми отзывами магазина ^[9]

Всего сервис располагает 15 виджетами, включая горизонтальные виджеты, но с учетом дизайна сайтов я тестировал те, которые были наиболее подходящими.

Внедрять новые элементы на сайты команда решила постепенно, используя главный принцип любых изменений – не навредить.
О том, что верные на первый взгляд предположения часто оказываются ошибочными, можно почитать, например, в этой статье: habrahabr.ru/company/witget/blog/229507/ ^[10]

Новые A/B тесты проводились с учетом предыдущих выводов и новых гипотез.

---

A/B тесты, проведенные в конце 2014 — начале 2015

К настоящему моменту завершились A/B тесты для трех интернет-магазинов:

1. Магазин одежды бренда TOM TAILOR (www.tom-tailor-online.ru)
2. Магазин одежды бренда MEXX (www.mexx.ru)
3. Магазин обувь бренда ALBA (www.shop.the-alba.com)

Формат размещения

На всех сайтах тестировался виджет отзывов и Знак “Надежная покупка” на следующих страницах:

• авторизации/регистрации
• на странице корзины (на сайтах KupiVIP ECS используется одностраничный процесс оформления заказа)

На сайтах брендов TOM TAILOR и ALBA также на страницах:

• каталог товаров
• карточка товара

На сайте бренда MEXX, в силу особенностей дизайна и структуры сайта, виджет тестировался в футере всех страниц (вместо страниц каталога и страницы карточки товара).

Проверяемые гипотезы

В рамках A/B-теста проверялись 3 гипотезы:

1. влияние Знака и виджета на конверсию в регистрации
2. влияние Знака и виджета на конверсию посетителя в покупателя для новых / старых / всех пользователей
3. кликабельность виджета (проверить интерес пользователей)

Результаты

Я опишу только наиболее интересные и важные на мой взгляд результаты тестов. Более полные данные (о всех вариантах с большим количеством цифр) я разместил отдельным файлом в google-документах. Ссылка на них в конце этой статьи.

www.mexx.ru ^[3]

Период тестирования: 10 ноября — 4 марта (114 дней)

Влияние на Регистрации

Страница регистрации

Правый блок: Ничего не показывали			Правый блок: Показывали виджет и Знак
Сессии	Регистрации	Конверсия	Сессии	Регистрации	Конверсия	Изменение конверсии, %	Достоверность, %
1 825	433	23.73%	1 909	517	27.08%	+14.15%	99%

Тест показал достаточно значительное увеличение конверсии в Регистрации для той страницы, где показывался виджет с отзывами и Знак Надежной покупки.

Влияние на покупки

Тестировалось два расположения сервиса “Надежная покупка” на сайте MEXX:

• виджет и Знак в правой части на странице Корзины
• виджет в футере сайта

Знак и виджет в правой части страницы корзины (аналогичное расположение для страницы регистраций)

Знак на странице корзины (покупки)

Корзина: Ничего не показывали			Корзина: Показывали Знак
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
187 252	1 296	0.69%	188 734	1 422	0.75%	+8.86%	97.5%

Виджет на странице корзины (покупки)

Корзина: Ничего не показывали			Корзина: Показывали виджет
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
187 252	1 296	0.69%	189 460	1 382	0.73%	+5.39%	90%

Виджет и Знак на странице корзины (покупки)

Корзина: Ничего не показывали			Корзина: Показывали Знак и виджет
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
187 252	1 296	0.69%	185 908	1 286	0.69%	-0.05%	uncertain

Тест показал, что использование Знака или виджета Надежной покупки повышает нам конверсию примерно на 5-8%. Уровень достоверности составил 90-95%. Но что интересно, при одновременном использовании Знака и виджета никакого улучшения уже не было – конверсия была такой же, как и без использования Знака и виджета.

Виджет в футере сайта

ФУТЕР: Ничего не показывали			ФУТЕР: Показывали виджет
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
360 447	2 595	0.72%	390 907	2 791	0.71%	-0.83%	uncertain

Использование виджета в Футере сайта не дало положительного эффекта. Конверсия оказалась одинаковой (на 0.83% ниже для варианта с виджетом, но эта разница совершенно недостоверна, поэтому можно утверждать, что статистической разницы между двумя вариантами вообще нет).

www.shop.the-alba.com ^[11]

период тестирования: 16 ноября 2014 – 27 декабря 2014 (42 дня)

На сайте бренда ALBA проводились следующее тестирование:

• Виджет с отзывами на страницах каталога и карточки товара
• Знак и виджет отзывов на странице корзины

Страницы каталога и карточки товара

каталог / карточка: Ничего не показывали			каталог / карточка: Показывали виджет
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
110 899	695	0.63%	112 156	704	0.63%	0.16%	51%

При размещении виджета на страницах товаров и каталога получилась точно такая же итоговая конверсию в заказ, что и без размещения виджета на этих страницах.

Страница корзина (все визиты, виджет отзывов)

Корзина: ничего не показывали			Корзина: показывали виджет
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
53 994	309	0.57%	53 209	354	0.67%	16.25%	95%

Страница корзина (все визиты, Знак)

Корзина: ничего не показывали			Корзина: показывали Знак
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
53 994	309	0.57%	58 209	375	0.64%	12.57%	90%

Страница корзина (все визиты, виджет отзывов и Знак)

Корзина: ничего не показывали			Корзина: показывали виджет и Знак
Сессии	Покупки	Конверсия	Сессии	Покупки	Конверсия	Изменение конверсии, %	Достоверность, %
53 994	309	0.57%	57 643	361	0.63%	9.43%	85%

На странице Корзины все варианты (различные комбинации виджета и Знака) показали более высокую конверсию, чем вариант без этих блоков. Максмальное улучшение среди всех вариантов показал вариант с виджетом, рост конверсии составил 16,25% для всех визитов.

www.tom-tailor-online.ru ^[4]

период тестирования: 31 октября 2014 – 15 декабря 2014 (46 дней)

Подробные результаты тестирования на сайте бренда TOM TAILOR предоставить не могу, т.к. по договоренности с клиентом нельзя разглашать абсолютные цифры.
Поэтому здесь просто коротко перечислю основные результаты.

Виджет на странице каталога не дал значительного улучшения: изменение на 5% при уровне значимости 75%.

На странице корзины для сайта www.tom-tailor-online.ru ^[4] получились интересные данные. Для всего трафика размещение виджета и Знака дало улучшение конверсии на 6% при уровне достоверности 70%, а вот для новых посетителей улучшение было уже 31% при уровне достоверности 95%.

Такую разницу в результатах для новых и вернувшихся пользователей на сайте www.tom-tailor-online.ru ^[4] можно объяснить тем, что на нем уже сложилось достаточно крупное ядро лояльных покупателей, которым уже не требуется дополнительного подтверждения надежности сайта. Вместе с этим бренд TOM TAILOR ведет активную рекламную кампанию, направленную на привлечение новой аудитории из разных источников, и для этой аудитории эффект уже был значительным. На других проектах не было такой большой разницы для Новых/Старых пользователей из-за различной структуры каналов трафика.

---

Кликабельность виджетов

Отдельно можно сказать несколько слов о кликабельности Знака и виджета отзывов.
(данные по сайту www.mexx.ru ^[3])

• CTR виджета на странице корзины составил 1.99%
• CTR Знака на странице корзины составил 0.32%

Очевидно, что виджет отзывов привлекает намного больше внимания, чем Знак.

Также я сравнил конверсию для тех, кто видел, но не кликал по виджету, с теми, кто кликал по нему:
(данные по www.shop.the-alba.com ^[11], из визитов в карточку товара)

• Средняя конверсия тех, кто видел, но не кликал по виджету: 1.36%
• Средняя конверсия для тех, кто кликал по виджету: 4.5%

Здесь хорошо видно, что пользователи, которые увидели полное содержание виджета (все отзывы, а не только один на виджете) с большей вероятностью совершали покупку.

---

Интерпретация результатов

Общее для всех проектов:

1. Влияние на регистрации было заметно только на проекте бренда MEXX, это может быть связано как с длительностью проведения (на www.mexx.ru ^[3] тест длился более 3 месяцев) так и с особенностью аудитории. В дальнейшем наша команда планирует отказаться от отдельной страницы регистраций, оставив только специальные посадочные страницы. «Надежная покупка» также планирует сделать специальный виджет для таких страниц и протестировать его.
2. Также заметны существенные отличия в результатах тестов 2013 и 2014-2015 гг. например, в 2013 году только Знак для проекта бренда МЕХХ дал большее повышение конверсии. Интерпретировать это можно следующим образом:
   • на тестируемых проектах существенно изменилась рекламная стратегия, фокус с количества трафика и количества покупок сместился на качественные каналы продвижения и заказы, которые выгодны магазину (т.е. отслеживается сумма чека, товары в заказе, город доставки, прочее) это сократило количество новой аудтории, для которой знаки доверия могли играть заметную роль
   • на проекте бренда MEXX в 2013 году также была активная работа с розничными магазинами. На сайт переходили люди, которые узнавали о сайте mexx.ru в розничном магазине. Эти люди были менее опытными покупателями в интернете, Знаки доверия оказывали на них большее влияние

www.mexx.ru ^[3]

1. Не получил очевидный положительный эффект от виджета отзывов, расположенного в футере всех страниц.
2. Получил рост конверсии при использовании Знака или виджета Надежной покупки на странице корзины.

www.shop.the-alba.com ^[11]

1. Не получил улучшения конверсии от размещения виджета на страницах каталога и товаров.
   Одна из очевидных причин, используемые виджеты не совсем гармонично вписывались в структуру сайта. Наша команда планирует провести повторные тесты с учетом новых виджетов, которые появятся ближе к середине 2015 года
2. Положительный эффект и от виджета и от Знака на странице корзины.

www.tom-tailor-online.ru ^[4]

1. Не получил ожидаемого эффекта на конверсию в регистрации.
   Те же планы, что и для проекта бренда MEXX — отказаться от отдельной страницы регистраций и разработать специальный виджет для таких страниц, после провести повторные тесты;
2. Получил неоднозначный рост конверсии в Корзине, а именно, для новых посетителей улучшение заметно, а для старых — уже не столь очевидно. Объяснение я давал выше, возможная причина в аудтории проекта и его рекламной стратегии.

---

Рекомендации интернет-магазинам:

Полученные результаты говорят о необходимости более доступного отображения отзывов, полученных от покупателей. Недостаточно просто иметь этот контент на сайте, размещая его на отдельной странице в футере или другой незаметной странице сайта, нужно демонстрировать вашим клиентам мнение тех, кто уже совершал покупку на вашем сайте. Виджет должны быть заметным элементом сайта, выделяться из основного дизайна, привлекать внимание.

Рекомендации:

• если у вас уже есть контент, попробуйте протестировать его размещение на страницах принятия решений (страницах, где вы ожидаете от пользователя какого-то дальнейшего действия) каталога товаров, карточки товара или страница корзины (можно размещать отзывы на страницах pre-checkout, если они у вас есть);
• для более компактного размещения контента, вы можете подготовить несколько простых виджетов (картинок) при клике на которые покупателю будут показываться все доступные отзывы;
• обязательно публикуйте все отзывы, включая негативные, не забывая при этом грамотно реагировать на них и решать проблемы, о которых вам сообщил покупатель;
• если вы еще не собираете обратную связь от клиентов, то вам обязательно нужно начать это делать

Обязательно тестируйте решения разных сервисов, включая ваши собственные идеи, один из таких сервисов может существенно увеличить оборот вашего магазина. Например, для среднего магазина со следующими месячными показателями:

• 100 000 посетителей
• 1% конверсия
• 1000 заказов
• 5000 рублей средний чек

рост конверсии на 10% даст общий прирост продаж в 500 000 рублей ежемесячно. Существенная сумма, чтобы найти подходящее для вас решение и протестировать его.

---

Планы по развитию сервиса от “Надежной покупки”

В качестве примера того, что можно будет потестировать в ближайшем будущем, я представлю тезисный план от коллег.
На основании полученных данных планируется значительно доработать функционал сервиса, а именно:

• сделать набор универсальных виджетов, которые могут вписаться в любой сайт, включая виджет со всеми отзывами на странице магазина (все отзывы будут показываться на страницах магазина, без перехода на сайт Знака ^[12])
• визуально изменить страницу со всеми отзывами, сделать ее более удобной и информативной для покупателя. Добавить фильтры отзывов, поиск по отзывам и больше информации о покупателе;
• запрашивать у покупателя больше информации об опыте покупки, например, предоставить возможность покупателю применять специальные теги к своему отзыву, формализируя собственный опыт. Это позволит сделать фильтрацию отзывов не только по оценкам, но и по тематикам

---

Интересные статьи о похожих A/B-тестированиях:

Вместо заключения предлагаю вам ознакомиться с другими статьями по тестам аналогичных элементов. Если напишите в коментариях еще, добавлю к этому списку.

• Виджет с отзывами при продаже часов, заявленный рост конверсии на 58%: vertising.ru/vidzhet-s-otzyvami-klientov-mozhet-uvelichit-obemy-prodazh-na-58-29/ ^[13]
• Этот же A/B тест (с часами), но публикация на сайте Visual Website Optimizer: vwo.com/blog/ecommerce-optimization-customer-reviews-increases-sales/ ^[14]
• Еще один тест на сайте VWO: vwo.com/blog/adding-customer-reviews-increases-sales/ ^[15]
• Еще один интересый тест blog.trustpilot.com/split-test-with-customer-reviews/ ^[16]

p.s. Как и обещал, выкладываю ссылку на файл с более подробными данными:
docs.google.com/spreadsheets/d/1bjKgLFM0ph3ltgk4WdARfcEBghO5bmdCalKstYX2C-0/edit?usp=sharing ^[17]

Автор: koaxil

Источник ^[18]