Какая структура поможет вам определить приоритетность гипотез

Обновлено: 29.10.2024

За последние 10 лет нам посчастливилось получить огромное количество контента, практики и опыта, которые помогли нам создавать и разрабатывать лучшие продукты, услуги и бизнес. Одной из основных концепций, широко заимствованных из этого массива работ, является гипотеза — тактическое, проверяемое утверждение, используемое, чтобы помочь нам сформулировать наши идеи таким образом, чтобы поощрять эксперименты, обучение и открытия. Идея состоит в том, что мы пишем наши идеи не как требования, а как наши лучшие предположения о том, как создать ценность, и с четкими критериями успеха, чтобы сказать нам, была ли наша идея ценной, и мы представили ее убедительно.

Хотя существует множество шаблонов, тот, который я преподаю последние несколько лет, выглядит следующим образом:

Мы верим,
[этот результат] будет достигнут, если
[эти пользователи] получат [преимущество]
с помощью [этого решения/функции/идеи].

Мне нравится этот шаблон, потому что его заполнение — это первая проверка гипотезы. Если вы и ваша команда не можете заполнить этот шаблон таким образом, который, по вашему мнению, является хорошим признаком того, что вам не следует работать над этой идеей. Но если вы придумали несколько хороших идей, в конечном итоге вы создадите новую задачу для команды.

Так много гипотез, так мало времени (обнаружения)

Если у вас есть только одна гипотеза для проверки, становится ясно, на что тратить время, необходимое для исследовательской работы. Если у вас много гипотез, как вы решаете, на что потратить свои драгоценные часы открытий? Какие гипотезы следует проверить? Какие из них должны быть лишены приоритета или просто выброшены? Чтобы помочь ответить на этот вопрос, я составил канву расстановки приоритетов гипотез. Этот относительно простой инструмент и дополнение к Lean UX Canvas может помочь в объективном разговоре с вашей командой и заинтересованными сторонами, чтобы определить, какие гипотезы привлекут ваше внимание, а какие нет. Давайте внимательно посмотрим на холст.

Когда следует использовать этот холст?

Если вы знакомы с канвой Lean UX, канва расстановки приоритетов гипотез (HPC) вступает в игру между вставкой 6 (написание гипотез) и вставкой 7 (выбор самой важной вещи для дальнейшего изучения). Если вы не знакомы с ним, HPC вступает в игру, как только вы соберете запас гипотез. Вы определили возможность или проблему, которую нужно решить, заявили о своих предположениях и выдвинули идеи, как извлечь выгоду из этой возможности или решить проблему.

Какие гипотезы работают с этим холстом?

HPC предназначен для работы с любой выдвинутой вами гипотезой. Он может работать с тактическими гипотезами на уровне функций, а также с гипотезами бизнес-моделей и всем, что между ними.

Как мы используем холст?

Холст представляет собой простую матрицу. Горизонтальная ось измеряет вашу оценку риска каждой гипотезы. Это командная деятельность, и коллективное мнение собравшихся людей о том, насколько рискованна эта идея для системы, продукта, услуги или бизнеса. Проблема с оценкой риска заключается в том, что каждая гипотеза отличается. Из-за этого ваша оценка риска будет зависеть от рассматриваемой вами гипотезы. Например, вам может потребоваться интегрировать современные технологии с устаревшей серверной системой. В данном случае риск технический. Возможно, вы переосмысливаете то, как потребители делают покупки в вашем магазине, что может быть рискованным для вашего покупателя. Возможно, вы подумываете о выходе на соседний рынок после того, как много лет сосредоточились на другой целевой аудитории. Риск здесь заключается в жизнеспособности и устойчивости рынка. Каждую гипотезу необходимо рассматривать индивидуально.

Вертикальная ось измеряет воспринимаемую ценность. Ключевое слово здесь «воспринимается». Поскольку это гипотеза, догадка, мы представляем, что ценность наших идей будет именно такой, воображаемой. Только после запуска масштабируемой, устойчивой версии идеи мы узнаем, соответствует ли она нашим ожиданиям. На данный момент мы можем только догадываться, какое влияние эта идея окажет на наш бизнес, если мы ее хорошо спроектируем и реализуем.

Мы берем каждую гипотезу, созданную для решения конкретной бизнес-задачи, и сопоставляем ее с матрицей HPC. После завершения этого процесса мы оцениваем, где оказалась каждая гипотеза.

Вставка 1 — Тест

Любую гипотезу, попадающую в эту ячейку, мы должны проверить. Основываясь на том, что мы знаем прямо сейчас, это гипотеза, которая может оказать значительное влияние на наш бизнес. Однако, если мы ошибемся, это также может нанести ущерб нашему бренду, нашему бюджету или нашим рыночным возможностям. Наше время открытия всегда драгоценно. Это гипотезы, которые заслуживают времени, внимания, экспериментов и изучения.

Врезка 2 — Отправка и измерение

Гипотезы с высокой ценностью и низким риском не требуют исследовательской работы.Эти идеи имеют высокий уровень доверия и, основываясь на нашем опыте и знаниях, имеют хорошие шансы положительно повлиять на бизнес. Мы строим эти идеи. Однако мы не просто устанавливаем и забываем эти решения. Мы отправляем их, а затем измеряем их производительность. Мы хотим, чтобы они соответствовали нашим ожиданиям.

Вставка 3. Не тестировать. Обычно не строят.

Возможно, это наименее четкий квадрант, потому что сюда могут попасть идеи, которые имеют ценность, несмотря на отметку «низкая ценность» в матрице. Чтобы было ясно, гипотезы во вставке 3 не проверяются. В большинстве случаев они также не строятся, однако будут случаи, когда в эту коробку попадут идеи, которые нам нужны для построения успешного бизнеса, но это не будет отличать нас на рынке. Например, если вы собираетесь заниматься какой-либо коммерцией в Интернете, вам понадобится платежная система. В большинстве случаев то, как вы собираете оплату, не будет выделять вас на рынке. Идеи такого типа часто заканчиваются в ячейке 3. Это ставки на столе. Нам нужно, чтобы они работали, но сами по себе они не принесут нам успеха. В этих случаях мы создаем их, следим за тем, чтобы они хорошо работали для наших клиентов, но не проводили обширных исследований перед запуском.

Блок 4 — Отменить

Гипотезы, которые, по нашему мнению, имеют низкую ценность и высокий риск, отбрасываются. Мы не только не делаем на них открытия, но и не строим. Это идеи, возникшие в ходе мозгового штурма, но мы не поняли, что они не добавят той ценности, которую мы ищем.

В конечном итоге ценность HPC будет реализована, если и как ваша команда будет его использовать. Выньте его для вращения. Предполагается, что это будет командная работа. Дайте мне знать, как это работает для вас, что можно улучшить и считаете ли вы это полезным или нет.

В процессе разработки продукта разные команды тестируют разные идеи по улучшению. Однако запуск эксперимента требует ресурсов и времени. Очевидно, что проверить абсолютно все идеи сразу невозможно, и важно понимать, какие из гипотез наиболее важны и в какой последовательности они будут проверяться.

В этой статье мы расскажем, какую логику мы используем для определения приоритетов гипотез и как это помогает нам создать дорожную карту гипотез.

Основные параметры приоритезации гипотез

< /p>

Сложность реализации гипотез

Это просто. Чем сложнее процесс разработки и реализации гипотезы, тем больше требуется времени и денег.

Объем трафика

Для получения репрезентативных результатов требуется определенный объем данных. Важно смотреть на объем трафика на конкретном этапе воронки, где мы собираемся проверить гипотезу, а не на общий объем трафика продукта. Очень важно заранее оценить, сколько времени потребуется для проверки гипотезы, потому что один эксперимент может занять несколько месяцев.

Тип показателя

Эксперименты могут подтверждаться различными показателями. Не каждый эксперимент подтверждается коэффициентом конверсии. Такие метрики, как время на сценарий/время на страницу/количество просмотренных страниц и подобные, не требуют накопления, поскольку эти метрики не имеют бизнес-цикла. Если метрика эксперимента — конверсия/доход/средний чек, то эти метрики имеют бизнес-цикл, но обычно не слишком длинный. Однако если наш эксперимент был направлен на проверку таких показателей, как пожизненная ценность, то это более сложная задача, и вам придется подождать достаточно долго, прежде чем приступить к анализу.

Потенциал роста

Это, пожалуй, самый неоднозначный параметр, фигурирующий в оценке приоритета. Его даже можно назвать накопительным, и обычно он отвечает на следующие вопросы:

как сформировалась гипотеза? Исследование пользователей, запросы в службу поддержки, анализ данных, результаты предыдущих A/B-тестирований или просто идея?
были ли подобные функции протестированы ранее?
на какой сегмент аудитории мы пытаемся повлиять с помощью этого эксперимента?

Основываясь на этих 4 параметрах, мы можем определить приоритет обширного списка гипотез. Давайте попробуем это на примере.

Рассмотрим таблицу подробнее. Мы описываем гипотезу так, чтобы все члены команды знали, что и где проверяется. На основе полученных знаний мы расставляем приоритеты той или иной гипотезы. Когда все приоритеты расставлены, находим среднее между всеми количественными оценками. Гипотеза с наивысшим SCORE является наиболее важной, а затем по убыванию. Согласно этой логике, наши гипотезы будут иметь следующий приоритет.

< /p>

Теперь гипотезы имеют приоритет и могут быть выполнены.

Важные моменты, которые следует учитывать:

Логика и методология определения приоритетов должны быть обсуждены с командой, чтобы процесс был ясным и прозрачным.
Вектор развития продукта может время от времени меняться, и дорожная карта гипотезы тоже должна меняться.
Дорожная карта может содержать гипотезы, которые чем-то похожи друг на друга

Очевидно, что приоритизация гипотез — важный процесс. Этот документ — отличный способ согласовать всех членов команды и вместе принимать решения на основе имеющихся у вас данных. Представленный формат легко адаптируется к различным командам и продуктам, и вы можете легко добавлять различные требования, которые считаете необходимыми.

< /p>

Когда речь идет об улучшении вашего цифрового опыта, A/B-тест — один из лучших способов получить исчерпывающие ответы о предпочтениях ваших клиентов. Если вы хотите попробовать другой процесс оформления заказа или новый рекламный текст, стоит подумать, следует ли вам сначала протестировать его.

Проблема в том, что у большинства людей есть куча идей, но A/B-тестирование обходится дорого — с точки зрения времени и ресурсов для проведения теста, а также доступного трафика для тестирования. Поэтому вам нужно проводить тесты с наибольшим потенциалом и максимальной отдачей.

Но как расставить приоритеты среди сотен гипотез, чтобы решить, какую из них следует делать в первую очередь (или не делать вообще)? Существует множество фреймворков приоритизации, которые вы могли бы использовать, но все они имеют свои плюсы и минусы. Чтобы помочь вам принять решение, я рассмотрел основные концепции и предлагаю вам нашу собственную платформу — PXL, цель которой — строить на основе других платформ и уменьшать количество проблем, с которыми мы сталкиваемся при использовании других.

В чем проблема с существующими системами расстановки приоритетов?

Я расскажу о трех самых популярных фреймворках:

· Модель расстановки приоритетов HotWire

Структура PIE

PIE — это, пожалуй, самая распространенная платформа, созданная Крисом Говардом. Эта аббревиатура обозначает три области, которые вы будете использовать для оценки своих идей:

Потенциал: есть ли возможности для улучшения?
Важность. Какова ценность трафика, поступающего на страницу? (например, аудитория, цена за клик).
Простота. Насколько сложно будет реализовать тест?

Несмотря на то, что это наиболее часто используемый фреймворк, он открыт для многих интерпретаций, что приводит к его самому большому падению. Как можно объективно определить потенциал идеи? Вы можете подумать, что тест может полностью изменить ваши коэффициенты конверсии, но насколько? Больше, чем следующая тестовая идея у вас есть? Если бы мы могли точно оценить потенциал, нам не понадобились бы системы расстановки приоритетов.

Аналогичным образом вопрос о том, насколько «просто» реализовать A/B-тестирование, может дать вам разные ответы в зависимости от того, кого вы спросите. На мой взгляд, в этой системе подсчета очков слишком много догадок, чтобы определить реальную ценность теста.

Оценка ICE

Еще одна популярная система — ICE Score, созданная Шоном Эллисом. Эта структура также разделена на три отдельные переменные, по которым вы будете оценивать идею:

Воздействие. Каково потенциальное влияние, если тест пройдет по плану?
Уверенность. Насколько вы уверены, что ваша идея сработает?
Простота. Насколько легко реализовать тест?

Несколько полезных идей для размышления, но если вы уже уверены, что идея будет успешной, зачем вам утруждать себя ее тестированием?

Опять же, здесь слишком много возможностей для интерпретации и недостаточно объективности. Критерии недостаточно конкретны, чтобы обеспечить согласованность ваших оценок. Не говоря уже о том, что если вы придумали идею A/B-тестирования, которую хотите реализовать, слишком легко настроить оценку в соответствии с вашими личными предубеждениями и интуицией.

Еще один ледовый счет

То же имя, но немного другая концепция. Эта оценка ICE также состоит из трех основных рейтинговых факторов (вы чувствуете тему?)

Воздействие. Какова потенциальная выгода для компании?
Стоимость. Сколько будет стоить внедрение теста?
Усилия: какие ресурсы и время необходимы для этого теста?

В этой структуре у нас есть несколько более конкретные критерии наряду с бинарным вариантом оценки 1 или 2 в зависимости от того, является ли ответ "высоким" или "низким". Небольшой масштаб помогает избежать ошибки центральной тенденции (когда мы склонны группировать ответы вокруг среднего, модального или медианного числа).

Эта шкала также помогает нам быть более точными. Как сказал Джаред Спул, «каждый раз, когда вы увеличиваете масштаб, чтобы увидеть данные с более высоким разрешением, это, вероятно, означает, что данные ничего не значат».

Несмотря на то, что масштаб явно улучшился, он все еще не идеален. Ограниченные факторы приоритизации означают, что у вас могут появиться идеи с одинаковыми оценками. И если это так, куда вы пойдете дальше?

Модель расстановки приоритетов HotWire

Полин Марол и Жозефина Фуше из Hotwire поделились своей моделью расстановки приоритетов на предыдущем мероприятии CXL Live:

Также на основе бинарной модели каждый компонент получает 1 или 0 баллов. От того, где вы вносите изменения в стратегию, эта модель учитывает многое.

Уровень детализации в сочетании с бинарным подходом помогает устранить субъективность. Поскольку факторов так много, вы сможете использовать этот подход для определения приоритетности большого количества различных идей для тестирования.

Вдохновленные таким уровнем детализации и спецификации, мы приступили к созданию собственной модели расстановки приоритетов и, опробовав различные подходы с клиентами, усовершенствовали нашу структуру.

Введение в платформу PXL

Поскольку нам нужна была структура, обеспечивающая максимальную объективность, мы создали собственную структуру расстановки приоритетов. Просто нажмите на ссылку, чтобы получить собственную настраиваемую таблицу.

Принимая во внимание то, чего не хватало в существующих платформах, и дополняя те из них, у которых есть потенциал, вот что мы разработали:

<Р>

Объективность лежит в основе этой модели, и для ее оценки требуются данные. Она раскрывает суть того, что значит "легко реализоваться", и вместо того, чтобы делать предположения о потенциальном воздействии вашей идеи, эта модель дает количественную оценку потенциала.

Структура приоритизации PXL требует от вас:

Вы вносите изменения в верхнюю часть страницы? Изменения в верхней части страницы обычно оказывают большее влияние, поскольку они более заметны.
Будет ли эта идея работать на странице с высоким трафиком? Если это страница с высоким трафиком, выигрышные изменения могут оказать большее влияние на вашу прибыль.
Могут ли люди заметить изменение менее чем за 5 секунд? Спросите своих коллег, заметят ли они какую-либо разницу между вашим предполагаемым элементом управления и вариантом — если это займет больше 5 секунд, это, вероятно, окажет меньшее влияние, а если оно не будет замечено, не говоря уже об изменении поведения пользователя, оно, скорее всего, окажется безрезультатным. тест.
Добавляет или убирает что-либо со страницы? Такие изменения, как добавление полезной информации об оплате или удаление ненужных шагов, естественно, будут иметь большее влияние.

У идей, основанных на мнениях, меньше шансов на успех, поэтому стоит провести исследование. Вот почему наша структура придает вес идеям, полученным на основе данных.

Обнаружили ли вы проблему с помощью пользовательского тестирования?
Обнаружили ли вы проблему с помощью качественных отзывов, таких как опрос?
Подтверждается ли ваша гипотеза тепловыми картами и отслеживанием мыши?
Вы обращаетесь к результатам цифровой аналитики?

Поскольку все они подкреплены данными, вы не будете тратить время на обсуждение необоснованных идей или основанных исключительно на мнении.

Мы также накладываем ограничения на «простоту реализации», устанавливая скобки для разных оценок. Вы захотите, чтобы ваш разработчик тестов участвовал в обсуждении. Со временем люди становятся лучше в оценке, поэтому вы, вероятно, обнаружите, что оценки становятся более точными, чем больше тестов вы проводите.

Как работает система оценивания

Хотя наша система является бинарной, мы также хотели взвесить различные критерии в порядке их важности. Некоторые переменные, скорее всего, окажут влияние или будут успешными, поэтому мы даем им более высокую оценку.

Например, заметность изменения будет оцениваться как 2 или 0 (в отличие от 1 или 0 для менее важных критериев).

Разработайте инфраструктуру PXL вокруг себя

Все компании разные. То, что может быть успешным для одной компании, может быть совершенно бессмысленным для другой.

Вот почему мы создали эту модель с гибкостью, чтобы вы могли адаптировать ее к своим конкретным потребностям. Например, ваш маркетинг может быть основан в первую очередь на SEO. С нашей структурой вы можете добавить критерии, которые оценивают влияние вашей идеи на ваш SEO-рейтинг, что, в свою очередь, повлияет на ранжирование некоторых идей тестирования копирования.

Начните тестировать лучшие идеи сегодня

Если вы хотите запустить успешную программу A/B-тестирования, важно правильно расставить приоритеты для своих идей, чтобы они были объективными и основывались на фактах, а не на мнениях. Вы можете получить свою собственную копию нашего фреймворка и сохранить копию, чтобы настроить ее. Это совершенно бесплатно и избавит вашу команду от бесчисленных споров о том, какой A/B-тест проводить первым.

Пип Лайя

Пип Лайя — основатель Speero. Он известный чемпион по оптимизации конверсии и был номинирован как самый влиятельный эксперт по CRO в мире. Проработав в Speero пять лет, он основал CXL, где обучаются маркетологи, работающие с данными. Последние 20 лет Пип работал в сфере веб-разработки, маркетингового консалтинга, продаж B2B, поисковой оптимизации, оплаты за клик и SaaS.

Каждая новая идея начинается с гипотезы. Вы придумываете объяснение, почему это может сработать, а затем проверяете его с помощью бережливого эксперимента.

Похоже, это довольно простой и бесспорный способ создания продуктов, верно?

Но вот проблема: когда все внимание сосредоточено на одной гипотезе, это может лишить нас возможности исследовать другие возможности. В результате мы склонны улавливать каждый незначительный сигнал, чтобы оправдать его (предвзятость подтверждения).

Это не обязательно касается продуктов на ранних стадиях. На этом этапе любой сигнал лучше, чем ничего. Однако если вы создаете продукт в масштабе, это может привести к принятию необратимых решений.

Итак, как избежать этой ловушки?

Хорошее решение – заставить себя выдвигать дополнительные гипотезы с разных точек зрения ДО начала проверки:

Контргипотеза
Альтернативная гипотеза
Гипотеза второго порядка

Вместе с основной гипотезой я называю это 4-гипотезной структурой.

Контргипотеза

"Почему идея может не сработать или, что еще хуже, оказать негативное влияние?"

Контргипотеза действует как проверка на вменяемость. Ваша цель — выступить в роли адвоката дьявола против своей идеи, чтобы проверить, насколько сильна она. Если вы можете объяснить, почему ваша идея может потерпеть неудачу, и существуют доказательства, подтверждающие это обоснование, вы можете пересмотреть приоритет идеи.

Вы также почувствуете, насколько "рискована" эта идея. Другими словами, есть ли шанс, что это может повредить вашему продукту?

Уровень риска должен определять ваш выбор метода проверки:

Если риск высок, вы можете начать с дымового тестирования, закрытого бета-тестирования или мелкомасштабного A/B-тестирования.

Если риск низкий или отсутствует, вы можете провести полное A/B-тестирование или запустить его напрямую.

Цель контргипотезы не в том, чтобы помешать вам проверить новые идеи. Наоборот, он предназначен для того, чтобы помочь вам определить приоритетность высококачественных идей и уверенно их тестировать.

Даже если эксперимент не удался, что случается в 86 % случаев, у вас будет потенциальное объяснение, на котором можно будет основывать следующую идею.

Альтернативная гипотеза

"Может ли идея сработать, но не по той причине, по которой я думал?"

Мы часто сосредотачиваемся на проверке того, работает ли идея, а не на том, почему она работает. Однако последнее не менее, если не более важно.

Возможно, вы спросите: "Если идея работает, почему она так важна?"

Ну, нет… если это единственная идея, которая у вас когда-либо возникнет. Но я сомневаюсь, что это так.

Успешные продукты создаются на основе непрерывного комплексного обучения. Каждая проверенная гипотеза должна способствовать развитию вашей более широкой продуктовой стратегии. Если вы приписываете свой прошлый успех эксперимента неправильной причине (форма предвзятости выжившего), ваши будущие решения пострадают.

Однако не всегда легко проверить, почему идея работает. Вот почему вы должны протестировать его с разных точек зрения, например, сочетая поведенческие (что делают пользователи) и поведенческие (что говорят пользователи) методы, прежде чем сделать его частью вашей долгосрочной стратегии продукта.

Гипотеза второго порядка

"Может ли идея сработать, но привести к непредвиденным последствиям?"

Помимо основного результата, которого вы надеетесь достичь, идея может также привести к эффектам второго или третьего порядка:

Повышение цен может повредить привлечению клиентов и их удержанию.
Настройка процесса адаптации продукта для одной группы пользователей может навредить опыту другой.
Новая функция может повысить ценность продукта, но усложнить его.

Если вы не предвидите возможные эффекты второго порядка перед экспериментом, вы не будете знать, что измерять. В результате эти эффекты останутся незамеченными, и вы не сможете принять целостное решение, учитывающее чистое влияние идеи. Это часто приводит к ситуации, когда вы «выиграете битву, но проиграете войну».

Пример: приложение для личных финансов

Представим, что вы менеджер по продукту в приложении для управления личными финансами.

У вас есть идея ввести «умное бюджетирование» в качестве опции по умолчанию вместо ручного бюджетирования, чтобы увеличить процент пользователей, достигших своих ежемесячных целей экономии — показатель, тесно связанный с удержанием. Вы считаете, что лучший способ проверить эту идею — провести A/B-тестирование среди новых пользователей.

Основная гипотеза

Большинство пользователей не знают, как устанавливать реалистичные и достижимые бюджеты. Использование машинного обучения для установки бюджетов на основе демографических данных и данных о расходах пользователей даст лучшие результаты.

Контргипотеза

Пользователи могут не понимать, что означает разумное бюджетирование. Если они не доверяют этому, они не будут его использовать. –> Будет полезен дополнительный опрос, чтобы понять, как пользователи воспринимают эту функцию.

Основной ИИ может оказаться недостаточно хорошим. –> Сначала нам нужно запустить моделирование, чтобы убедиться, что оно работает лучше, чем составление бюджета вручную.

Альтернативная гипотеза

Может ли эксперимент сработать, потому что процесс настройки интеллектуального бюджета проще? –> Нам нужно разбить воронку, чтобы измерить «Начало настройки» > «Завершено», % и «Настройка завершена» > «Сохранение достигнутой цели», %, чтобы выявить причину.

Гипотеза второго порядка

Может быть, интеллектуальное бюджетирование оптимизируется для более низких целей, поэтому их будет легче достичь? Однако попадание в них больше не будет давать того же значения. –> Нам нужно измерить уровень удержания пользователей, достигших своих целей по сбережениям, чтобы увидеть, ослабевает ли корреляция.

Как видите, эти четыре типа гипотез помогают выявить дополнительные соображения при планировании, чтобы вы могли извлечь максимальную пользу из эксперимента.

Потребуется некоторая практика, чтобы научиться думать «против» своим блестящим идеям, но как только это станет вашей второй натурой, каждый ваш эксперимент будет приносить в 2–3 раза больше пользы.

Читайте также: