- PVSM.RU - https://www.pvsm.ru -
Привет, я Саша, скрам-мастер из Туту.ру в команде туров. Не так давно мы проводили пользовательское интервью для нашей новой фичи — Джарвела. Хочу поделиться с вами ошибками и открытиями, которые помогли нам провести это интервью так, что оно затронуло и изменило краеугольную основу фичи. Это помогло продукту и прокачало нашу команду, надеюсь, будет полезно и интересно и для вас. Но чтобы понять суть наших открытий, вас нужно познакомить с Джарвелом и провести по нашему пути.
Некоторое время назад у нас появилась идея — создать виртуального ассистента, который будет помогать пользователям выбрать идеально подходящий под их запросы тур, который:
Хм… ассистент… и тут мы вспомнили про искусственный интеллект Тони Старка — Jarvis. А так как мы занимаемся туризмом и путешествиями, т.е. темой travel, то имя родилось само собой — Джарвел (Jarvis + travel).
www.filmpro.ru/materials/26976 [1]
Раскрою один из главных секретов внутренней кухни. Для того, чтобы сформировать выдачу из актуальных предложений, нам нужно отправить запросы туроператорам, и вот это дело весьма медленное. Изначально, когда только разрабатывали идею ассистента, мы понимали, что поиск сразу в несколько стран (а именно этим занимается Джарвел, подбирая подходящий тебе тур не только по одной стране, а по всем тебя интересующим) может занять достаточно продолжительное время. Тогда мы придумали решение, которое, казалось, хорошо подходит для прототипа: давайте осуществлять не настоящие поиски, а искать по собственному кэшу (т.е. будем искать по результатам недавних поисков других пользователей на сайте). Подобный поиск идет в разы быстрее, и клиент не будет ждать. А для сохранения актуальности, мы будем использовать кэш не старше часа. В дальнейшем мы планировали работать над системой кэша, наполнять ее более сложными алгоритмами, увеличивать время хранения, вводить коэффициенты актуальности и т.д. С этим есть только одна проблема. Если никто, допустим, за последний час не искал туры в Доминикану на интересующие тебя даты, то Доминиканы в выдаче Джарвела ты не увидишь. Зная это, мы все равно ориентировались на то, что мы тогда считали главным удобством клиента, — быстрой выдаче, мгновенных ответах Джарвела. А полноту выбора мы бы потом тоже обеспечили. Поэтому — кэш.
N.B. Это решение еще выстрелит.
Ассистент, начиная с прототипа, разрабатывался итеративно: мы собирали и анализировали метрики, проводили коридорные тестирования среди других команд разработки, устраивали демонстрации со сбором обратной связи для коллег и заказчиков И вот однажды на подобное интервью в конце спринта мы пригласили неайтишника Колю, сотрудника нашего ресепшна. И… это было фиаско, братан. Коля попросту не заметил ни одного из наших нововведений, а со многим старым, из того, что мы внедрили ранее, Коля взаимодействовал абсолютно противоположным образом — совсем не так, как мы запланировали.
Тогда мы задумались.
www.meme-arsenal.com/create/template/747344 [2]
А что, если Коля не меньшинство, а большинство наших будущих пользователей?
Нет, повторюсь, мы собирали метрики, анализировали, проводили исследования и понимали, что есть некоторые проблемы.
Правда, было одно «но», которое мы не учитывали, и благодаря Коле осознали: все эти люди, которых мы опрашивали, были айтишниками, такими же как мы, а их взгляд со временем мог стать сильно зашоренным…
Поэтому мы приняли решение, что пришло время обратиться к пользователям другого типа: неайтишникам и тем, кто покупает туры оффлайн. Ведь одна из наших целей — показать, что покупать туры онлайн так же удобно, как и оффлайн.
Мы решили не нанимать стороннего специалиста по глубинным интервью со своей пользовательской базой (с ним ранее работали коллеги из соседних команд).
Мы сами хотели проникнуться духом Джарвела, чтобы разработчики, тестировщики, аналитики и дизайнеры увидели вживую людей-пользователей, услышали и прониклись их болями, стали думать чуть больше как пользователи, а не как создатели.
В Туту.ру работают не только айтишники, у нас, конечно же, много отделов: и HR, и бухгалтерия, и юристы, и кадровое делопроизводство, и маркетинг и т.д. Ранее у команды уже был опыт использования внутренних ресурсов: мы опрашивали тутушников-родителей при разработке тем для отдыха с детьми. Родители горели и участвовали очень активно.
А мы хоть и проводили ранее некие подобия интервью, но все же, по сути, пока были не самыми опытными интервьюерами. Но если зовем «своих тутушников», а не пользователей из внешнего мира, то снижается боязнь от этой неопытности.
v1rt.ru/memy/nelzya-prosto-tak-vzyat-i-voyti [3]
Поэтому для пользовательского интервью мы использовали внутритутушные ресурсы:
а) уже зарекомендовавших себя в предыдущих опросах родителей (из них мы выделили «неайтишников»);
б) сотрудников отделов, которые не относятся к разработчикам: просто ходили по офису и предлагали пройти интервью.
Таким образом мы следовали кредо компании: старались достигать большего меньшими средствами.
Параллельно с формированием списка интервьюируемых мы начали подготовку опросника и проработку формата интервью. В основу этого процесса легла книга Роберта Фитцпатрика «Спроси маму: Как общаться с клиентами и подтвердить правоту своей бизнес-идеи, если все кругом врут?»
www.ozon.ru/context/detail/id/140446253 [4]
Вкратце: меньше болтай о себе (лучше вообще не болтай), дай клиенту рассказать о своей жизни в контексте, иди от проблемы, определяй мотив, ориентируйся на прошлое клиента, а не на его заявления о том, что будет в будущем. Если клиент говорит, что ему чрезвычайно нужна та или иная функция, уточни, как он обходится без нее сейчас, что предпринимает для решения этой боли. Из ответа поймешь не только образ мыслей и действий клиента, но и то, действительно ли подобная фича является ключевой и болевой, а не просто хотелкой, без которой жилось, живется, да и вообще она особо не нужна.
Готовься к встрече заранее и заранее планируй, какие три важнейших ответа хочешь получить от любой конкретной категории людей. Обязательно задай вопрос, на который страшно услышать ответ. Без такого вопроса, ты просто тешишь самолюбие, а не проводишь реальное исследование.
Никогда не довольствуйся ответом, что все хорошо. Ищи и стремись к приземленному: к дальнейшим шагам, вопросам, контактам. Пустые комплименты — идеальный фундамент для воздушных замков самообмана, которые могут привести к созданию продукта, который никому не нужен.
Итак, нужно было определиться с ключевыми вопросами. Для нас это:
1. Легко ли клиенту взаимодействовать с Джарвелом?
2. Получает ли он то, зачем пришел?
3. Какие тематики важны людям?
И тот самый вопрос, который нужно задать, но получить ответ на него страшно:
4. А нужен ли Джарвел вообще? Точно?
Задавание этих вопросов напрямую не привело бы нас к настоящим ответам пользователей. Мы посчитали, что если не будем мешать и просто позволим интервьюируемым взаимодействовать с продуктом и попросим комментировать происходящее, то легко найдем ответы на первые два вопроса (легко ли взаимодействовать; получает ли то, зачем пришел). Соответственно, тут все на мази.
С третьим вопросом, про нужные тематики, было сложнее. Простого ответа от пользователя (например, «А было бы здорово, если бы вы добавили вопрос про звездность») на самом деле недостаточно. Как по книжке — тут важно провалидировать ценность подобной информации через прошлый опыт клиента. Поэтому мы договорились, что во время интервью будем собирать все подобные хотелки, а потом попросим ребят рассказать о своем последнем опыте покупки туров. Именно так мы сможем узнать реальные запросы и желания клиента. Во время рассказа мы должны будем «вернуть» клиенту его хотелку и спросить: «Вася, скажи, а вот тогда, когда ты ездил в Турцию, как ты определял звездность отеля, в который поехал?» Если хотелка шла действительно из потребностей Васи, то он расскажет, как подбирал отели со звездностью. В противном случае Вася ответит: «Да я как-то на это не смотрел, важнее было, что отель рядом с морем». «Ага», — ответим мы, отметим эту хотелку, но уже оставим ее с более низким приоритетом.
Что же касается последнего «страшного» вопроса, тут мы решили, что если после этапа «тыкания», расспросим клиента о последнем опыте, вернем ему его хотелки, то это позволит ему немного абстрагироваться от Джарвела и сконцентрироваться на себе. И вот уж тогда мы спросим его: «Вась, а как ты будешь планировать свой будущий отпуск?». Если в ответ мы не услышим ничего о Джарвеле, значит, сейчас в потребность клиента он не попал.
1. Девайсы
Джарвел пока живет только на мобильной версии сайта, поэтому мы выдавали нашим опрашиваемым телефон и выводили изображение на экран, чтобы ребята могли взаимодействовать с Джарвелом напрямую, а мы могли бы видеть все их действия
2. Видеозапись
Мы организовали видеозапись всех интервью, т.к.:
а) Считая владельца продукта, скрам-мастера, дизайнера и аналитиков, у нас в команде получается 8 человек. Чтобы интервьюируемый чувствовал себя комфортно, рекомендуют, чтобы со стороны интервьюеров было не более 2-3 человек. Поэтому у нас была ротация опрашивающих. Видеозапись была нужна, если бы что-то интересное нужно было посмотреть всем.
б) К тому же видеозапись незаменима при расшифровке интервью, при прояснении непонятных деталей.
www.vibe.com/photos/roll-safe-memes [5]
3. Окружение
Все три вопроса из методологии, о которых мы говорили ранее, по сути, сконцентрировали на том, удобен ли пользователям UX (user experience) ассистента. И помня о кэше, чтобы обеспечить максимально полное взаимодействие со всеми фичами Джарвела, мы приняли решение: давайте перед самими интервью каждый час запускать на сайте множественные поиски в разные страны и на разные даты при помощи наших автоматических тестов. Тем самым мы наполним кэш и у пользователей будет большой выбор… Мы ошиблись, и это изменило всё.
Когда я переносил с этого черновика информацию на чистовик, то забыл пункт про поиски. В финальном документе их тоже не оказалось и во время самого интервью тоже.
Используя все написанное выше, мы провели интервью. Могу сказать, что сильно прокачиваешься в проведении интервью, в цепкости и внимательности даже после одного-двух раз. Но собрать информацию — это только полдела, теперь предстояло ее проанализировать. Мы создали документ, куда слили все комментарии/информацию от всех пользователей и разделили эту информацию по шагам. Здесь для прояснений, конечно, очень пригодились видеозаписи. Потом мы выделили болевые точки и собрали частоту их появления у интервьюируемых. И вот именно тут выстрелила забывчивость, благодаря которой мы сделали главный вывод: «у нас очень куцая выдача или полное ее отсутствие». Ведь я забыл перенести информацию о необходимости запуска автотестов с черновика в наш финальный вариант, и в итоге их так и не запустили. А это в свою очередь позволило нашим клиентам столкнуться с нашей реальной выдачей, а команде понять, насколько все в реальности плохо. У 80% наших опрошенных в том или ином виде возникали проблемы с выдачей, причиной же являлся тот подход, который мы изначально выбрали для поисков — поиск по предложениям, сохраненным в кэше. По результатам интервью мы выяснили: пользователям удобно взаимодействовать с Джарвелом, их радуют и им приносят пользу вопросы, которые позволяют контролировать выдачу и выявляют их хотелки, визуализация и работа сразу с несколькими странами позволяет увидеть и задуматься о странах, о которых раньше и не думал. Однако все это не имеет смысла, если выдача пуста или состоит из нескольких неинтересных предложений. А вот что делать с этим — непонятно.
www.drive2.ru/l/524851876592616104 [6]
Не все, с чем сталкиваешься, можно изменить,
но ничего не изменить, пока не встанешь с этим лицом к лицу.
Джеймс Болдуин
От признания того, что несомненно присутствует, приходит некая свобода.
После того признания приходит знание того, как действовать.
Грегори Бейтсон
Интервью проходили в понедельник и во вторник, а уже к среде у нас была готова аналитика с этим неоспоримым фактом. Мы провели встречу, на которой приняли решение, что должны сконцентрироваться на проблеме куцей выдачи и к пятнице собрать техническую аналитику, выработать варианты решения, и поставить все точки над i.
В итоге мы полностью пересмотрели весь алгоритм работы поиска и порядок вопросов Джарвела. Мы поняли, что никуда не можем уйти от долгих поисков, но:
а) можем ускорить поиск, исключив из него нерелевантные для клиента страны. То есть, построить общение клиента с Джарвелом так, чтобы отсеять те страны, которые не попадают под желания клиента еще до того, как запустится поиск;
б) превратить сам процесс ожидания при поиске во что-то, приносящее клиенту пользу. Тут мы вспомнили об Инстаграме, Википедии и экранах загрузок компьютерных игр, таких как Neverwinter Nights с его подсказками по управлению или Bayonetta со свободной зоной отработки комбо-ударов. И решили объединить эти идеи в одну, создав ленту с интересными фактами, которые можно лайкать и в дальнейшем подготавливать человека к последующим вопросам. Например, перед выбором звездности рассказать, что две звезды в Турции не равны двум звездам в Таиланде.
Это история об интервью, которое мы как команда решились провести самостоятельно, и это интервью трансформировало предельное основание нашей фичи, хотя первоначально мы готовились собрать проблемы, которые касались только UX. Мы ошиблись, пытаясь добиться максимальной аутентичности в одном аспекте, и не обращая внимание на то, что обманываем искусственно воссозданной через автотесты выдачей пользователей и в конечном итоге себя.
Вывод: пользовательские интервью даже в малом формате, даже среди своих коллег, могут принести огромную пользу, прокачать команду в понимании людей и подсветить слепые пятна, если проводить их в условиях, максимально приближенных к реальным, и не только в области того аспекта, что вы исследуете, а в целом. Выбирайте вопросы, на которые хотите получить ответ, но не давайте им нарушать «реальность» пользовательского опыта. Будьте максимально аутентичны, общайтесь с пользователями самостоятельно и результаты могут вас удивить.
Спасибо большое за прочтение. Если у вас есть вопросы — задавайте их в комментариях, с радостью отвечу. И посмотрите на Джарвела 1.0 (пока только на мобилках).
Автор: Snaxser
Источник [8]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/agile/320763
Ссылки в тексте:
[1] www.filmpro.ru/materials/26976: https://www.filmpro.ru/materials/26976
[2] www.meme-arsenal.com/create/template/747344: https://www.meme-arsenal.com/create/template/747344
[3] v1rt.ru/memy/nelzya-prosto-tak-vzyat-i-voyti: https://v1rt.ru/memy/nelzya-prosto-tak-vzyat-i-voyti/
[4] www.ozon.ru/context/detail/id/140446253: https://www.ozon.ru/context/detail/id/140446253/
[5] www.vibe.com/photos/roll-safe-memes: https://www.vibe.com/photos/roll-safe-memes
[6] www.drive2.ru/l/524851876592616104: https://www.drive2.ru/l/524851876592616104/
[7] memesmix.net/meme/rbh3d3: http://memesmix.net/meme/rbh3d3
[8] Источник: https://habr.com/ru/post/455584/?utm_campaign=455584&utm_source=habrahabr&utm_medium=rss
Нажмите здесь для печати.