Мы продолжаем рассказывать о продуктовых гипотезах. В предыдущей статье мы привели примеры и рассказали, как правильно формулировать идеи по развитию продукта. В этой статье мы расскажем, как тестировать продуктовые гипотезы.

Как не потратить время зря

Как выбрать гипотезу для тестирования

Как тестировать продуктовые гипотезы

Как не потратить время зря

Гипотеза должна быть конкретной, основанной на предварительном исследовании целевой аудитории и, что очень важно, команда должна договориться о том, что будет исследоваться — определить инструменты измерения.

Задайте себе следующие вопросы:

• Ваш ожидаемый эффект конкретен и измерим?
• Можете ли вы четко объяснить, почему изменение приведет к ожидаемому эффекту?
• Тестируете ли вы на правильной целевой аудитории?
• Оценили ли вы свое “насколько сильно” на основе базового уровня и/или на основе сопоставимых изменений?

Касаемо последнего вопроса про базовый уровень. Подготовка и создание интервью, даже без учета существенной стоимости платной публикации, требует временных ресурсов, как минимум со стороны самого руководителя. Не лучше ли это время и ресурсы потратить на встречи с крупными клиентами?

“Мы ищем не истину или фундаментальное понимание, а причинно-следственную связь между предложенным действием и экономически желаемым результатом. Если для этого нового изменения нет четко определенной и понятной меры или метрики, это не тестируемая бизнес-гипотеза. И если она не записана и не согласована, то это не бизнес-гипотеза”, — считает эксперт по инновациям Майкл Шраге.

Как выбрать гипотезу для тестирования

Как мы уже писали выше, очень важно при выборе идей для тестирования использовать критическое мышление. Не все гипотезы требуют тестирования. В то же время нередко необходимо формулировать гипотезы, чтобы решать существующие или появившиеся проблемы (отток клиентов, жалобы пользователей на неудобный интерфейс) вносить инновации в продукт (новые и полезные функции, которые повысят вовлеченность пользователей) найти новые рынки (наступило ли время для выхода на рынок соседней страны?).

Как создают софт в DAR: гипотезы и их тестирование

Гипотез должно быть много:

“Количество проведенных экспериментов в неделю прямо пропорционально скорости роста компании”, — считает евангелист Growth Hacking Юрий Дроган.

Конечно, если направить все ресурсы команды на тестирование гипотез, то не останется времени на разработку самого продукта, но даже небольшим командам необходимо проводить эксперименты, чтобы с минимальными затратами выбрать направление работы.

Формулировать более качественные гипотезы поможет теория работ (Jobs to be done). Методология направлена на выявление основных потребностей и целей, которые движут потребителями при выборе того или иного продукта.

Jobs to be Done. Часть 1: почему продукты “нанимают на работу”

Для выбора приоритетных для тестирования гипотез эксперты советуют сопоставлять появившиеся идеи с картой развития продукта. Одним из самых популярных инструментов для приоритизации у продакт-менеджеров является метод MoSCoW. 

• Must-have — обязательные гипотезы, которые необходимо протестировать, так как они тесно связаны с нашими текущими целями проекта.
• Should-have — желательные гипотезы, которые также связаны с нашими текущими целями проекта, но не являются первоочередными.
• Could-have — возможные гипотезы, которые можно отложить на более поздний этап для тестирования.
• Won’t-have — необязательные гипотезы низкого приоритета, которые мы можем протестировать позже, если у нас будет больше времени.

Также можно применить систему RICE (Reach — Охват, Impact — Влияние, Confidence — Уверенность и Effort — Усилие).

• Насколько много клиентов охватит наше изменение и насколько сильно оно на них повлияет?
• Насколько уверена команда в своих измерениях охвата и влияния?
• Сколько усилий уйдет на тестирование гипотезы?

В идеальном мире мы уверенно тестируем изменения, которые охватывают большую часть наших клиентов, используя минимальное количество ресурсов.

Как тестировать продуктовые гипотезы

Итак, идеи команды превратились в продуктовые гипотезы, все договорились о том, как замерять результаты. Приступаем к тестированию. Существует достаточно много способов валидировать продуктовую гипотезу, мы перечислим некоторые из них.

Одним из самых популярных является A/B или сплит-тестирование. В этом случае клиентам показывают две версии продукта — одна с изменениями (по нашей гипотезе), одна без. И предлагают выбрать, что нравится больше. Целевая аудитория тоже разделена на две группы — контрольную и тестовую. Такой способ тестирования лучше всего подходит для проверки изменений в пользовательском опыте.

Деньги любят эксперименты: что такое MVP

Хорошим способом проверить гипотезу может быть презентация прототипа клиентам. Это позволяет с минимальными затратами получить отзывы от пользователей и внести необходимые изменения на их основе, не затрачивая времени на разработку. В целом, создание MVP позволяет сэкономить множество средств, выбрав наиболее актуальное направление для разработки и отказавшись от неактуальных.

Эксперты рекомендуют не тратить более рабочего дня на запуск проверки одной гипотезы — имеется в виду работа по подготовке тестирования (создание опроса, лендинга …).Также рекомендуется максимально ограничивать ресурсы на тестирование — вместо создания полноценного дизайна можно набросать “на коленке” и записать видео для рекламы на телефон, не привлекая ресурсы крупного продакшена.

Автор текста и вижуала: Алишер Ахметов