Содержание
Вдумчивое тестирование
Но возможность проверить всю эту информацию — вот где на помощь приходит AB-тестирование. Я не могу что-то изменить, а потом посмотреть: ну, ну, знаешь, какое влияние это оказало? Потому что простой взгляд на мою аналитику мало что мне скажет. AB-тестирование поможет мне точно определить, повлияло ли это изменение на моих посетителей.
И помните: даже если мы провели исследование и обнаружили проблемную область, это не обязательно означает, что мое решение найдет отклик у посетителей. Поэтому мне действительно нужно провести AB-тестирование, чтобы еще больше проверить его.
Задавать вопросы
Другое дело, что люди часто говорят, что AB проверяет все. AB тестирует это, AB тестирует то. Но это означает, что я фактически не провожу никаких исследований. Я просто выбираю что-то наугад. Я могу привлечь любую группу дизайнеров, любую группу людей, и у них будет сотня разных предложений, которые мне следует реализовать на веб-сайте. Означает ли это, что мне нужно пройти AB-тестирование всех этих вещей? Потому что AB-тестирование требует времени, усилий и развития. Я хочу быть уверен, что все, что я тестирую, основано на каких-то исследованиях. Я ищу повторяемый и устойчивый процесс. И единственный способ достичь этого процесса — делать множество разных вещей. Я действительно пытаюсь провести все эти исследования.
Вы обнаружите, что многие инструменты AB-тестирования сообщают, что только 15–20% тестов, которые они запускают на своих платформах, дают положительные результаты. Это безумие. от 15 до 20%. Это Optimizely, VWO, Google Optimize до этого, вы знаете, очевидно, что он сейчас проходит или уже проходит, но идея в том, что многие тесты на самом деле работают не очень хорошо. И причина этого в том, что они не основаны на исследованиях. Они не экранируются. Это просто случайные эксперименты, о которых люди просто думают. Давайте просто проверим это и посмотрим, как оно работает.
Я хочу сказать, что если вы собираетесь добавить элемент на свой веб-сайт, вам нужно убедиться, что он действительно протестирован. Причина в том, что, опять же, вы не хотите добавлять на свой веб-сайт что-то, что могло бы повлиять на производительность, что могло бы повлиять на ваших посетителей, не обязательно выясняя, принесет ли это положительный результат, положительный результат принесет вам. . .
Подкорректируйте свою статистику
Третий момент, который я хочу отметить, это то, что вы хотите освежить свою статистику. Так что вам не нужно высшее статистическое образование. У меня определенно нет образования в области статистики, я вам это могу сказать. Но вам нужно понять некоторые основные принципы.
Ваш тест длился достаточно долго?
Прежде всего, вы хотите убедиться, что ваш тест продлится достаточно долго. Я немного рассказал об этих сенсационных тематических исследованиях. Если вы покопаетесь в данных этих сенсационных тематических исследований, то обнаружите, что они часто не существовали достаточно долго и не дали значительных результатов. Итак, вы хотите убедиться, что вы избегаете ложноположительных и отрицательных результатов, чтобы обеспечить достижение определенного размера выборки. Иногда размер выборки составляет всего три дня.
Проведите тест хотя бы неделю.
Мы всегда рекомендуем проводить эксперимент хотя бы неделю, чтобы гарантировать, что тест пройдет весь рабочий цикл, верно? Потому что, опять же, когда я думаю о своих клиентах и когда они приходят, я хочу думать о выходных, я хочу думать обо всей неделе. Поэтому мы всегда говорим минимум неделю. Например, у нас был один клиент, у которого мы всегда видели рост конверсий 15-го числа месяца и в конце месяца, в день зарплаты. Итак, еще раз, вам нужно убедиться, что вы используете его достаточно долго, по крайней мере, неделю.
Шансы на победу составляют 85–90 %.
И когда вы думаете о шансах на победу, я всегда говорю: посмотрите на вероятность выигрыша от 85% до 90%. И причина, по которой, опять же, поскольку всегда остается вероятность того, что это на самом деле ложноположительный результат, вы хотите убедиться, что вы делаете эту вероятность еще меньше. Поэтому обязательно просмотрите всю эту статистику, рассмотрите все эти области, определите размер выборки, существует множество калькуляторов. Вы можете просто посмотреть на размер вашей выборки и выяснить, каков размер выборки, прежде чем приступить к фактическому запуску эксперимента, чтобы вы могли быть уверены, что не столкнетесь с какими-либо проблемами, когда дело дойдет до статистики эксперимента.
