Что такое A/B эксперимент и для чего оно необходимо
А/Б эксперимент представляет собой подход сопоставления нескольких или разных решений раздела, дизайна, копирайта, CTA-элемента, поля ввода, email-сообщения, маркетингового объявления а также прочего цифрового элемента. Его функция проявляется в необходимости том, чтобы определить, какой вариант результативнее функционирует в реальном использовании. Взамен предположений а также личных суждений применяется эксперимент в рамках живой посетителей, при которой первая часть получает формат A, а тестовая — версию B.
Этот подход дает возможность выбирать действия на базе информации, вместо этого не на личных предпочтений а также нерегулярных наблюдений. В аналитических публикациях, в том числе 1win зеркало, регулярно указывается, что сплит тестирование особо эффективно в тех случаях, при которых небольшие корректировки могут сказываться на действия посетителей: клики, регистрации, передачу анкет, длину сессии, лояльность, покупки, подключения или другие целевые результаты. Подход помогает проверить, на самом деле ли конкретно корректировка улучшает 1win результат.
Каким образом функционирует A/B эксперимент
Принцип A/B эксперимента довольно несложен. На первом этапе определяется элемент, который необходимо протестировать. Это способен стать заголовок, цвет CTA-элемента, порядок элементов, формулировка уведомления, построение поля ввода, картинка, стоимость, вариант предложения или позиция важного действия. После этого создаются как минимум два решения: исходный плюс обновленный. После этим поток пользователей делится по ними по предварительно заданным правилам.
Одна доля пользователей продолжает просматривать первоначальную вариацию, а другая получает новую. Инструмент накапливает показатели про действиях отдельной категории а также сравнивает результаты. Если решение B демонстрирует более сильный показатель на фоне нужном массиве сведений, эту версию можно использовать. Когда разницы не видно а также новая вариация работает хуже, изменение не принимается. Как раз в этом как раз проявляется прикладная польза теста: такой метод позволяет проверять предположения перед массового 1вин релиза.
Почему нужно сплит тестирование
А/Б эксперимент необходимо с целью снижения неопределенности. На уровне цифровых сервисах включая небольшая правка имеет шанс воздействовать на восприятие экрана. Конкретный текстовый блок может быть яснее альтернативного, короткая форма имеет шанс отправляться активнее расширенной, а намного более заметная кнопка может увеличить количество переходов. Если не использовать тестирования такие решения обычно сохраняются догадками.
Эксперимент позволяет развивать платформу постепенно. Без необходимости полной переработки всего проекта или аппа можно тестировать конкретные блоки а также фиксировать практический результат. Это сокращает угрозу неудачных изменений, сберегает затраты плюс дает возможность собирать понимание касательно поведении пользователей. Со накоплением тестов специалисты 1 win получает не набор оценок, а модель проверенных решений.
Какие блоки получается сравнивать
Сравнивать получается почти любой объект, какой влияет в отношении поведение посетителя. Как правило в большинстве случаев тестируют headline-блоки, разделы, призывы к клику, формулировки кнопок, формы регистрации, место блоков, изображения, страницы позиций, порядок шагов, инструменты отбора, меню, баннеры, уведомления, email-сообщения а также промо креативы. Важно, дабы выбранный объект оказывался связан с определенной заданной метрикой.
Когда ориентир проявляется в необходимости повышении переданных заявок, правильно проверять анкету, сообщение рядом с формы, объем строк плюс выразительность элемента действия. В случае если нужно повысить объем изучения, следует проверять меню, блоки подсказок, внутренние ссылки плюс структуру страницы. Чем точнее зависимость 1win между правкой и задачей, тем самым ценнее эффект тестирования.
Предположение в роли база теста
Всякий качественный A/B тест начинается с гипотезы. Предположение показывает, какого типа правка планируется, по какой причине это изменение может воздействовать в отношении результат плюс какой показатель может измениться. Например, получается допустить, будто упрощение анкеты создания профиля сократит количество незавершенных действий, поскольку что посетителю будет необходимо меньше времени с целью окончания действия.
Качественная гипотеза не должна должна быть чрезмерно общей. Идея типа «улучшить раздел лучше» не позволяет помогает оценить эффект. Гораздо более ценный формат: «если обновить растянутый формулировку CTA на короткий плюс точный, объем переходов повысится, поскольку что именно ожидаемый результат будет понятнее». Подобная формулировка сразу же 1вин задает предмет проверки, логику и критерий.
Исходная а также измененная группы
Внутри А/Б эксперименте контрольная аудитория видит первоначальный вариант, а тестовая — новый. Такое деление нужно ради честного анализа. Если без контроля заменить раздел и сопоставить результаты до изменения и после изменения, результат способен испортиться по причине сезонности, маркетинговой активности, смены каналов пользователей, событий, технических проблем либо других окружающих условий.
Одновременный вывод разных вариантов снижает роль внешних обстоятельств. Обе выборки оказываются на уровне похожей ситуации: один плюс же же период, те же источники пользователей, близкие платформы плюс общий фон. Следовательно расхождение по метриках с 1 win большей долей уверенности связано в первую очередь с данным изменением, но не столько с внешними внешними условиями.
Какие именно показатели используются в А/Б проверках
Критерий — это число, согласно чему оценивается эффект проверки. Выбор показателя определяется на основе цели проверки. В случае раздела с формой существенны заполнения заявок, в случае интернет-магазина — сохранения внутрь заказ и транзакции, ради контентного проекта — глубина изучения плюс период просмотра, для приложения — оформления профилей, активации, возвращаемость а также повторные 1win активности.
Важно различать ключевую а также вторичные метрики. Ключевая показывает, ради чего запускается эксперимент. Вспомогательные дают возможность оценить сопутствующие результаты. В частности, обновление элемента действия имеет шанс увеличить нажатия, но ухудшить качество дальнейших шагов. Поэтому важно смотреть не исключительно исключительно в сторону стартовый этап, однако и в сторону дальнейшее развитие: завершение формы, возвраты, уходы, сбои а также общую значимость действия.
Расчетная значимость
Математическая значимость отражает, в какой степени вероятно, поскольку наблюдаемая расхождение среди вариантами не считается оказывается случайным колебанием. В случае если конкретный вариант слегка превосходит альтернативный после нескольких десятков сессий, такой результат пока не подтверждает показывает победу. При ограниченном объеме данных результат способен резко измениться, когда 1вин выборка будет шире.
С целью корректного вывода необходимо нужное количество данных. Чем скромнее предполагаемая разница в паре решениями, настолько объемнее наблюдений нужно накопить. В случае если корректировка должно повысить результат только около пару %, тесту нужно будет значительно больше времени плюс трафика. Статистическая значимость позволяет не принимать поспешные выводы на результатах временных скачков.
Размер выборки и продолжительность эксперимента
Объем группы сказывается в отношении достоверность результата. В случае если проверка получает очень ограниченный объем людей, выводы имеют шанс стать ненадежными. Например, пять дополнительных переходов у первой группе могут показываться в виде рост, однако при крупном масштабе станут обычной погрешностью. Поэтому перед старта разумно рассчитывать, какое количество пользователей 1 win либо событий необходимо ради оценки предположения.
Продолжительность теста тоже сохраняет значение. Чрезмерно сжатый период проверки имеет шанс не отражать расхождения в паре будними и праздничными сутками, дневной по времени плюс поздней посещаемостью, отличающимися потоками пользователей. Как правило тест должен охватывать целый круг активности посетителей. Но при этом условии чрезмерно продолжительный период проверки также нежелателен, если внешние обстоятельства успевают заметно поменяться.
Зачем нельзя корректировать проверку по ходу период проведения
Распространенная из типичных проблем — вносить правки по ходу проверку после начала. Если по ходу середине проверки изменить формулировку, аудиторию, оформление, условия показа или цель, показатели перемешаются. После этого окажется непросто выяснить, какой фактор конкретно сказалось на результат. Тест снизит чистоту, при этом результаты станут спорными 1win.
Перед запуском необходимо определить гипотезу, форматы, критерии, распределение аудитории плюс критерии окончания. Вслед за запуска правильнее не стоит менять условия при отсутствии важной необходимости. Если найдена неточность внутри конфигурации либо технический проблема, лучше остановить тест, починить проблему а также запустить новый тест, чем пробовать объяснять смешанные наблюдения.
Синхронное тестирование нескольких правок
Порой формируется желание оценить одновременно ряд решений: новый заголовок, другую кнопку, сокращенную анкету плюс обновленный последовательность блоков. Такой подход может показать итоговый эффект, при этом не сможет покажет, какой именно фактор воздействовал по части результат. Когда новая страница выиграла, будет неочевидно, какой элемент повлияло лучше прочего.
Ради корректной сравнения чаще всего меняют единственный существенный фактор в 1вин одну проверку. Если требуется проверить многие вариаций, применяется мультивариантное тестирование. Этот формат труднее, предполагает значительного объема посещений плюс корректной расшифровки. В случае большинства целей A/B проверка с одной конкретной ясной гипотезой обеспечивает более понятный плюс практичный итог.
Варианты A/B экспериментов в UI
В UI-средах А/Б эксперимент часто используется ради оптимизации доступности шагов. Например, можно сравнить пару вариации формы: объемную с набором строк а также краткую с малым набором сведений. В случае если краткая форма усиливает количество завершенных оформлений профиля без потери качества форм, ее можно оценивать более удачной.
Другой случай — проверка надписи элемента действия. Нейтральная надпись может оказаться менее очевидной, по сравнению с конкретное название шага. Также проверяют позицию элементов действия, очередность смысловых секций, подачу 1 win hint-элементов, использование шкалы выполнения, формат вывода ошибок плюс количество шагов на протяжении процессе. Отдельный такой объект влияет по части степень того, в какой степени легко окончить заданное шаг.
сплит проверка в содержании
Внутри содержании эксперимент помогает выяснить, какие именно заголовки, анонсы, схемы и типы сильнее сохраняют внимание. Можно проверять отличающиеся интро, длину текста, последовательность объяснений, добавление перечней, оформление блоков, представление преимуществ а также стиль подачи трудной темы. Вместе с этом существенно измерять не исключительно исключительно переходы, а также также последующее взаимодействие.
Headline способен усилить число нажатий, однако если контент не будет отвечает интересам, повысится часть быстрых выходов. Поэтому контентные тесты обязаны принимать во внимание качество контакта: длительность изучения, прокрутку, переходы внутри ресурса, возвращения и совершение нужных событий. Хороший итог — представляет собой не только исключительно привлечение интереса, а соответствие ожидания плюс контента.
A/B тестирование на уровне email-кампаниях
В email-рассылках нередко тестируют темы рассылок, имя отправителя, начальные предложения, момент отправки, объем письма, позицию элементов действия и формулировки условий. Часть подписчиков открывает контрольную формат email, второй сегмент — вторую. Затем этим анализируются open rate, переходы, unsubscribes, негативные сигналы а также следующие действия на ресурсе.
Важно не стоит сводить анализ значением просмотров письма. Тема рассылки может оказаться яркой плюс привлекать интерес, при этом в случае если формулировка не совпадает содержанию, клики и уверенность могут ослабнуть. Следовательно корректный тест рассылки оценивает полную последовательность: open-событие, клик, активность сразу после перехода а также ответ получателей касательно письмо.
