- PVSM.RU - https://www.pvsm.ru -
Привет! Меня зовут Наталия Спрогис, и я руковожу направлением UX-исследований в Mail.Ru Group. Сегодня я бы хотела поговорить о тех людях, без которых мы не могли бы помогать нашим проектам. Поиск участников UX-исследований — краеугольный камень успеха всего мероприятия. И, судя по количеству вопросов «А как вы ищете респондентов?», которые получают наши исследователи на любой конференции, актуальная тема. Давайте попробуем разобраться: кого нужно звать, сколько их должно быть и как их можно найти. Речь в первую очередь пойдет о рекрутинге для качественных исследований, в частности для юзабилити-тестирований.
Пожалуй, самое главное — это определиться с тем, кто именно нужен для исследования. Это не менее важно, чем составить грамотный сценарий. Если вы покажете свой продукт программисту из соседнего отдела и своей маме, то получите совершенно разные результаты. Причем, хоть мы и предполагаем, что у мамы проблем будет больше, это совершенно не значит, что проблемы окажутся те самые, которые вам действительно нужно исправлять. Потому что и ваша мама, и сосед-программист могут просто быть не вашими пользователями.
Не отталкивайтесь от демографии. Часто, когда мы впервые работаем с каким-нибудь продуктом и обсуждаем с менеджером аудиторию для теста, получаем примерно такой портрет пользователя: «женщины 60%, преимущественно в возрасте 25–35 лет, пользователи Mail.Ru». Несмотря на то что это ценные и полезные данные, это не может быть профилем для исследования. Представьте, что мы решили протестировать дизайн страницы создания письма в веб-почте Mail.Ru. И позвали на тест пользователей, имеющих ящик на Mail.Ru, распределенных по полу и возрасту согласно данным статистики. Скорее всего, окажется, что кто-то из них вообще не пишет письма, а лишь получает рассылки, кто-то пользуется только мобильным клиентом, а у кого-то этот ящик не является основным. Опыт этих людей будет для нас бесполезен. Это не значит, что нужно вообще игнорировать знания о демографии, просто эти критерии не должны быть основными.
Идем от задач исследования. Основным параметром для подбора респондентов должен стать опыт в исследуемом продукте или функционале. По этой характеристике нам могут быть интересны три группы:
Предположим, что мы хотим протестировать новый дизайн онлайн-телепрограммы на проекте Кино Mail.Ru. Нам важно позвать пользователей текущей версии проекта, чтобы удостовериться, что они могут комфортно выполнять привычные сценарии. Также нам могут быть интересны пользователи конкурентных онлайн-телепрограмм. Помимо этого, хорошо взглянуть на людей, которые смотрят программу в газетах и журналах, т. е. не имеют опыта в использовании подобных онлайн-сервисов.
Не просто «опыт в продукте». Для удачного рекрутинга необходимо конкретизировать, что вы понимаете под «пользователем продукта». Чем подробнее вы опишете, какие именно пользователи вам подойдут для этого теста, тем больше у вас шансов получить интересные результаты. В первую очередь подумайте об активности (частоте захода, длительности сессии, использовании разнообразного функционала) и об особенностях использования продукта. Например, в описанном выше примере про тестирование телепрограммы мы подумали о том, что важно позвать людей с разными телеинтересами. Например, у тех, кто регулярно смотрит сериалы, могут быть одни сценарии и требования к интерфейсу: прочитать описание пропущенной серии, найти, когда будет повтор. А у тех, кто смотрит спортивные трансляции, — совершенно другие (трансляции бывают в ночное время, важно не пропустить, когда будет интересная, иметь напоминания).
Аккуратнее с неопытными пользователями. Часто нам важно увидеть, как с нашим продуктом взаимодействуют совершенно неопытные пользователи. Ведь этим мы имитируем момент первого знакомства с проектом новой аудитории. Так вот, «неопытную» аудиторию нужно подбирать тоже вдумчиво. В идеальном варианте это должны быть не просто люди, которые не пользуются текущим продуктом. А люди, у которых потенциально в нем есть потребность. Например, в свое время у нас сорвался тест регистрации в Одноклассниках. Участница отказалась от выполнения заданий. Выяснилось, что она сознательно не регистрируется ни в одной соцсети, так как боится контроля «Большого Брата», и не готова этого делать даже на тесте. Это, конечно же, крайний случай. Но если вы позовете людей, не имеющих вообще никакого интереса в предметной области, скорее всего, их выполнение заданий будет механическим. А значит, они принесут вам сильно меньше знаний. Например, для тестирования сервиса «Разбери ящик» в Почте Mail.Ru, позволяющего автоматически сортировать входящие рассылки, мы сознательно звали людей, страдающих от того, что их почта завалена многочисленными подписками. Пользователи разбирали собственные ящики, а не созданные для них тестовые. Поэтому мы на живых примерах видели, действительно ли сервис решает их проблемы с рассылками, а не просто проверяли механически понятность каждой формы.
Другие частые параметры. То, какие еще требования к участникам исследования у вас будут, всегда зависит от конкретных задач. Помимо опыта и демографии, часто встречается:
Периодически любой исследователь сталкивается с заказчиком, который говорит: «Да наш продукт абсолютно для всех! Давайте не будем тратиться и протестируем на коллегах». Эта идея кажется очень заманчивой, коллеги или друзья могут помочь вам без вознаграждения, рекрутировать их несложно. В конце концов, среди них даже бывают люди, которые подходят нам по параметрам опыта использования. Такие тесты вполне имеют право на жизнь, особенно как промежуточные, но нужно помнить о следующих опасностях:
Несмотря на это, лучше звать коллег и друзей, чем не тестировать вообще. Такие тесты обычно быстры и дешевы, что, несомненно, является их плюсом. Главное — старайтесь подобрать людей, максимально приближенных к аудитории продукта, а также не обращайте слишком много внимания на слова и оценки, концентрируйтесь на проблемах и поведении (что, в принципе, актуально для любого теста).
Вопрос, который тревожит многих: сколько нужно брать респондентов, чтобы результатам исследования можно было верить?
Гуру юзабилити Якоб Нильсен более 20 лет назад начал популяризировать идею, что для любого юзабилити-теста достаточно пяти человек (Jakob Nielsen and Thomas Landauer [1], 1993). Это утверждение прочно засело во многих головах. Кто-то начал всегда брать по пять человек, независимо от задачи. Другие стали скептически воспринимать все юзабилити-исследования, ведь они основываются на изучении такой маленькой выборки.
Давайте разберемся, откуда взялось волшебное число пять. Как показывает практика, после первых нескольких участников юзабилити-тестирования количество новых обнаруженных проблем снижается. Нильсен постулирует, что выборка из пяти человек позволяет обнаружить 85% проблем интерфейса (Why You Only Need to Test with 5 Users [2]). То есть брать больше людей может быть просто нецелесообразно.
На самом деле те 85%, о которых говорит Нильсен, относятся к наиболее серьезным и частотным проблемам (число справедливо для проблем, затрагивающих 31% аудитории). Если мы возьмем любой интерфейс, то в нем, скорее всего, кроется ряд частотных проблем, с которыми сталкивается много пользователей (например, проблемы при регистрации в игре), а также разнообразные менее частотные, но, возможно, достаточно критичные проблемы. Например, проблемы, с которыми сталкивается 15% аудитории, на пяти людях будут обнаружены уже с вероятностью 50%. Увеличение размера выборки повысит шансы найти менее частотные проблемы. Джеф Сауро, активно занимающийся вопросами статистической значимости в юзабилити, подробно разбирает этот вопрос в своей статье Why you only need to test with five users (explained) [3].
Несмотря на популярность утверждения о пяти респондентах, многие исследователи предпочитают брать больше участников исследования. Джеф Сауро в 2012 году провел опрос около сотни читателей своего блога. Он попытался выяснить, сколько респондентов в реальности приглашают на исследования в различных компаниях. Опрос показал, что более 81% исследований базируются на выборках больше, чем пять человек (медиана 10) (How many users do people actually test? [4]).
Когда пяти человек достаточно. На небольших выборках хорошо тестировать прототипы и концепты — когда важно найти наиболее критичные проблемы, а объем функционала, который можно включить в тест, невелик. Правда, нужно помнить, что после внедрения потребуются дополнительные тесты, так как при тестировании прототипов выявляются только самые очевидные проблемы. Также выборки по три-пять человек хорошо работают в итеративных тестах: когда мы тестируем функционал, отправляем на доработку, а потом тестируем снова. Это вообще очень эффективный метод аудита для систем, у которых есть постоянная команда исследователей. Так в каждой итерации мы имеем возможность посмотреть, исправлены ли ранее найденные проблемы, и найти что-то новое.
Когда нужно больше людей.
Не переборщите. Приведя много аргументов в пользу увеличения выборки, хочу предостеречь от того, чтобы вы не ударились в обратную крайность. Помните, что мы говорим о качественном лабораторном исследовании. Редко для подобных проектов реально требуется больше 24 человек. В среднем 10–12 людей бывает достаточно, чтобы покрыть основные группы аудитории и найти большую часть проблем. Например, параметры демографии редко когда служат поводом сильно увеличить выборку.
«Несерьезные исследования». Хотя мы поняли, что не всегда достаточно пяти респондентов, UX-исследования продолжают быть преимущественно качественными. Часто результаты исследования встречают скептицизм со стороны внешних людей. Ведь дорогостоящие изменения продукта предлагается делать на основании разговора с десятком человек. На этот счет мне очень нравится аргумент, вычитанный в одной книге и звучащий примерно так: «Если вы спросите десять человек, что стоит изменить в дизайне этой двери, то, скорее всего, получите десять разных ответов. Если вы попросите десять человек выйти через эту дверь, то увидите, понятно ли по ней, нужно ее тянуть или толкать». Дело в том, что UX-исследования изучают не мнения людей, а их поведение. Если нам важно узнать мнения, то десятком пользователей не обойтись, ведь «сколько людей, столько и мнений». Если же мы хотим найти проблемы взаимодействия с продуктом, то небольшое количество людей позволяет выявить поведенческие проблемы и особенности, характерные для массы пользователей.
«А если ваш респондент — дурак?» Когда пользователь с трудом справляется с какой-то задачей или показывает неграмотность в каком-то аспекте, у команды, наблюдающей за тестом, часто возникает вопрос: «А может, это именно он такой идиот, а остальные нормальные?» Ответ прост: все моменты спорного поведения нужно проверять на других людях. Когда оказывается, что «тупит» не один, а много людей, сомнения исчезают. Так, на одном из тестов для команды сервиса постинга ссылок в соцсети стало шоком, что многие пользователи не умеют копировать ссылки из браузера. Чтобы поделиться статьей в соцсети, участники теста пытались копировать полный текст статьи, делились скриншотами или просто копировали название, говоря: «Ну, друг потом сам в интернете найдет». Первый подобный человек еще вызвал сомнения: возможно, такая неопытность характерна именно для него. Но после пятого пользователя все сомнения пропали.
Мы поняли, сколько и каких пользователей мы хотим пригласить на наше исследование. Но как же мы будем их искать? Какие есть варианты и что в них особенного?
Этот способ удобнее всего для самих исследователей, так как снимает с них массу головной боли. Однако и тут есть свои подводные камни. Во-первых, на него придется выбивать довольно большой бюджет, ведь работу агентства надо оплачивать. Кроме того, вы точно столкнетесь с проблемой «ходоков». Рынок маркетинговых исследований существует давно. И в этой отрасли сформировался целый пласт людей, которые пытаются зарабатывать на жизнь хождением на опросы, фокус-группы и т. д. Для этих людей самое главное — это получить вознаграждение. Часто они врут о своем опыте, чтобы подстроиться под квоты. А на самом тесте пытаются вести себя так, чтобы понравиться вам (и тогда вы позовете их еще раз). В результате они могут начать усиленно хвалить или усиленно ругать ваш продукт, ведь целей исследования они не понимают. Не так уж важно, каким образом они пытаются подстроить свое поведение. Главное, что оно становится неестественным. Способам бороться с этими людьми можно посвятить отдельную статью. Вот несколько советов:
Если вы делаете онлайн-исследование, вы можете обратиться к рекрутингу через панели. В этих сервисах есть огромный пул зарегистрированных пользователей, которые регулярно отвечают на онлайн-опросы или проходят онлайн-тесты. Ваша задача — составить скринирующий опросник, по которому будут набраны участники тестирования. Так же как и с агентством, важно хорошо составить набор этих вопросов, ведь участники панели тоже могут пытаться подстроиться под требования. Иногда полезно даже включать заведомо ложные варианты ответов (например, несуществующий продукт) и отсекать тех, кто его выбрал. Помните, что для участников панели ваше исследование — это почти работа. Ведь они проходят по несколько опросов в день. Среди этих пользователей также встречаются «халтурщики», которые пытаются «прокликать» ваш опрос и получить вознаграждение. Их можно вычислить по слишком высокой скорости выполнения заданий, отсутствию ответов на открытые вопросы и т. д. Несмотря на эти особенности, панели позволяют провести рекрутинг быстро, получить большую базу ответов и географический охват.
Вы можете рекрутировать пользователей самостоятельно. Важно понимать, что это трудоемкая задача. Даже когда вы найдете людей, готовых прийти, много сил и времени уйдет на обзвон для уточнения критериев, согласование удобного времени, объяснения и напоминания и т. д.
Для простых и быстрых тестов, занимающих не более 15 минут, можно проводить рекрутинг и исследования сразу же в местах большого скопления людей. Это могут быть кафе или торговые центры. Такой вариант подходит, если у вас достаточно широкая аудитория. Например, в торговом центре мы выясняли у молодежи ассоциации с разными вариантами названия для одного проекта. Если продукт позволяет, то можно искать места скопления именно вашей целевой аудитории. Например, небольшие игровые исследования мы проводили в компьютерных клубах. Чтобы слышать меньше отказов, приготовьте небольшое вознаграждение (деньги или сувенир).
Каким бы образом вы ни искали респондентов, есть ряд организационных моментов, о которых надо помнить. Порой даже мелочи могут сорвать интервью.
Поиск респондентов для исследования — это всегда чуть ли не самая хлопотная часть всего мероприятия. Но это та часть, где точно нельзя «халтурить», и тот самый случай, где лучше меньше, да лучше. Совершенно нормально, когда исследователь стремится скинуть с себя заботы о договоренностях по времени и напоминания респондентам на секретаря или агентство. Но никогда не пренебрегайте этапом планирования того, кто вам нужен, и проверкой респондентов. И тогда ваши исследования принесут команде проекта новые знания.
Автор: Mail.Ru Group
Источник [5]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/ux/151012
Ссылки в тексте:
[1] Jakob Nielsen and Thomas Landauer: http://www.useit.com/alertbox/20000319.html
[2] Why You Only Need to Test with 5 Users: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
[3] Why you only need to test with five users (explained): http://www.measuringu.com/five-users.php
[4] How many users do people actually test?: http://www.measuringu.com/blog/actual-users.php
[5] Источник: https://habrahabr.ru/post/304720/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.