Что представляет собой А/Б тестирование и для чего этот метод необходимо
А/Б эксперимент представляет из себя подход проверки двух или разных версий страницы, интерфейса, сообщения, элемента действия, анкеты, email-сообщения, рекламного сообщения а также прочего цифрового блока. Его функция заключается в необходимости задаче, дабы понять, который версия лучше показывает себя при реальном использовании. Вместо предположений плюс субъективных мнений применяется тест на реальной группы пользователей, где контрольная доля просматривает формат A, тогда как другая — версию B.
Подобный принцип помогает выбирать решения на результатах показателей, но без опоры на личных вкусов либо единичных выводов. Внутри экспертных публикациях, включая 1 win, часто подчеркивается, что сплит проверка особо полезно там, где небольшие изменения способны влиять по части поведение пользователей: нажатия, оформления профилей, заполнение форм, объем сессии, лояльность, заказы, оформления подписок либо иные целевые действия. Метод дает возможность увидеть, действительно ли именно изменение повышает 1win результат.
Как проводится А/Б эксперимент
Принцип A/B проверки достаточно понятен. Сначала выбирается объект, который требуется оценить. Объектом проверки имеет шанс быть заголовок, оттенок кнопки, последовательность блоков, текст сообщения, построение анкеты, картинка, цена, вариант условия или расположение важного шага. После этого готовятся как минимум двух решения: первоначальный плюс обновленный. Вслед за этого трафик распределяется по вариантами согласно заранее заданным параметрам.
Первая часть пользователей продолжает видеть исходную версию, и тестовая видит обновленную. Платформа собирает сведения о реакциях любой категории и сопоставляет метрики. Когда версия B дает более высокий результат с учетом достаточном массиве наблюдений, такой вариант можно запускать. Когда разницы не наблюдается либо тестовая версия функционирует слабее, изменение не принимается. Как раз в данной логике как раз проявляется прикладная ценность эксперимента: он позволяет тестировать идеи до момента полного 1вин внедрения.
Зачем используется А/Б тестирование
A/B эксперимент нужно ради снижения неясности. В онлайн продуктах включая незначительная деталь способна влиять на оценку интерфейса. Конкретный текстовый блок имеет шанс стать яснее другого, короткая заявка может отправляться активнее длинной, при этом заметно более выразительная CTA способна усилить количество переходов. При отсутствии тестирования такие результаты обычно сохраняются догадками.
Метод дает возможность оптимизировать платформу поэтапно. Без необходимости масштабной реконструкции всего сайта а также аппа можно оценивать конкретные объекты а также измерять фактический результат. Такой подход снижает угрозу неудачных правок, сокращает расход время и средства а также позволяет накапливать данные касательно поведении пользователей. Со временем команда 1 win получает не случайный набор мнений, а систему проверенных решений.
Какие блоки допустимо проверять
Сравнивать получается практически разный объект, что влияет по части реакции посетителя. Чаще всего оценивают headline-блоки, вторичные заголовки, обращения на переходу, тексты CTA-элементов, формы регистрации, место блоков, визуалы, карточки позиций, очередность действий, инструменты отбора, навигацию, визуальные блоки, подсказки, рассылки а также рекламные материалы. Важно, для того чтобы выбранный объект был объединен с конкретной задачей.
Когда задача проявляется в увеличении переданных заявок, разумно тестировать форму, сообщение около этого блока, число полей плюс выразительность кнопки. В случае если необходимо повысить объем изучения, имеет смысл оценивать переходы, блоки подсказок, связанные линки плюс структуру материала. Если прямее связь 1win в паре правкой а также задачей, тем полезнее результат проверки.
Предположение в качестве база эксперимента
Любой хороший A/B эксперимент начинается на основе предположения. Проверяемая идея показывает, какое именно изменение рассматривается, из-за чего оно имеет шанс сказаться в отношении показатель а также какой показатель обязан измениться. К примеру, допустимо допустить, будто упрощение заявки регистрации уменьшит количество отказов, так как что именно человеку будет необходимо значительно меньше минут для выполнения шага.
Хорошая формулировка не должна может казаться слишком широкой. Формулировка типа «улучшить страницу удобнее» не позволяет позволяет измерить результат. Намного более полезный пример: «когда поменять растянутый надпись CTA на короткий а также точный, объем нажатий увеличится, так как ведь шаг станет понятнее». Эта идея непосредственно 1вин указывает предмет эксперимента, логику плюс показатель.
Исходная а также измененная выборки
В А/Б тестировании исходная группа видит старый вариант, тогда как тестовая — измененный. Это разделение нужно с целью честного анализа. В случае если только обновить страницу а также сравнить метрики до изменения плюс после, итог способен стать неточным из-за периодичности, промо активности, перестройки каналов трафика, событий, служебных проблем или других сторонних факторов.
Синхронный запуск разных решений сокращает влияние внешних обстоятельств. Обе группы остаются на уровне близкой ситуации: тот же и же одинаковый отрезок, те же потоки трафика, схожие девайсы и общий контекст. Поэтому различие внутри результатах с большей 1 win большей вероятностью соотносится именно с данным корректировкой, и не не только с внешними случайными обстоятельствами.
Какие критерии применяются в сплит проверках
Метрика — представляет собой значение, согласно которого проверяется результат проверки. Выбор критерия определяется от задачи эксперимента. Ради лендинга с размещенной заявкой существенны отправки форм, для интернет-магазина — переносы к покупку и покупки, в случае контентного проекта — объем изучения а также время просмотра, для аппа — оформления профилей, запуски, возвращаемость а также дальнейшие 1win активности.
Необходимо отделять основную и вспомогательные критерии. Главная отражает, для какого результата проводится тест. Дополнительные дают возможность оценить сопутствующие эффекты. К примеру, обновление элемента действия способно усилить нажатия, при этом уменьшить результативность последующих действий. Следовательно важно оценивать не только на начальный этап, однако еще на следующее поведение: выполнение анкеты, повторные визиты, выходы, сбои плюс итоговую эффективность действия.
Расчетная достоверность
Расчетная существенность демонстрирует, насколько реалистично, будто полученная отличие в паре вариантами не считается оказывается статистическим шумом. Если конкретный вариант незначительно превосходит другой после нескольких десятков единиц посещений, подобный итог еще не означает означает преимущество. На фоне малом массиве данных показатель может резко сдвинуться, когда 1вин выборка станет объемнее.
Для корректного итога необходимо нужное объем наблюдений. Насколько меньше ожидаемая отличие в паре вариантами, тем больше наблюдений необходимо собрать. Когда корректировка должно повысить метрику только около малое число процентов, эксперименту потребуется повышенный объем длительности а также пользователей. Математическая существенность дает возможность избегать принимать быстрые выводы на основе временных скачков.
Масштаб выборки и длительность эксперимента
Масштаб группы воздействует на качество итога. Если тест видит чрезмерно мало пользователей, результаты могут стать неточными. Например, несколько лишних переходов в одной выборке могут выглядеть в виде увеличение, однако на значительном масштабе окажутся обычной колебанием. Следовательно до старта разумно рассчитывать, какое количество пользователей 1 win а также действий нужно ради оценки идеи.
Продолжительность теста дополнительно получает роль. Чрезмерно быстрый период проверки способен не успеть показывать отличия среди будними плюс выходными днями, дневной и поздней активностью, несколькими потоками посещений. Чаще всего проверка нужен чтобы включать целый круг поведения пользователей. При этом очень затянутый период проверки также неоптимален, в случае если сторонние факторы начинают заметно поменяться.
По какой причине не стоит корректировать проверку по ходу период проведения
Распространенная в числе распространенных проблем — вносить правки внутрь эксперимент вслед за начала. Когда внутри середине эксперимента изменить сообщение, группу, оформление, параметры демонстрации а также метрику, наблюдения перемешаются. В таком случае окажется сложно выяснить, какой фактор конкретно повлияло в отношении эффект. Проверка снизит прозрачность, а заключения станут сомнительными 1win.
Перед начала нужно установить проверяемую идею, варианты, критерии, разбивку выборки а также критерии остановки. После начала правильнее не стоит корректировать тест при отсутствии серьезной необходимости. В случае если выявлена неточность на уровне конфигурации либо технический дефект, разумнее закрыть тест, починить ошибку и начать другой эксперимент, чем стараться объяснять смешанные данные.
Одновременное сравнение разных изменений
В отдельных случаях возникает стремление проверить за один раз несколько изменений: другой заголовок, другую CTA, упрощенную анкету плюс измененный последовательность блоков. Этот метод способен выдать итоговый результат, но не сможет покажет, какого типа именно блок сказался на показатель. В случае если обновленная вариация оказалась лучше, сохранится непонятно, что повлияло эффективнее остального.
С целью корректной проверки как правило изменяют отдельный существенный фактор за 1вин один этап. Когда нужно сравнить многие вариаций, применяется многофакторное эксперимент. Оно многоуровневее, требует значительного трафика плюс корректной интерпретации. Ради большинства сценариев A/B тест с одной конкретной точной гипотезой показывает более понятный плюс ценный результат.
Варианты A/B тестирования на уровне UI
Внутри дизайнах сплит тестирование нередко применяется ради повышения понятности шагов. Например, допустимо сравнить две версии анкеты: расширенную с полным количеством элементов ввода и упрощенную с минимальным малым числом данных. Если короткая форма повышает объем успешных регистраций без одновременного потери ценности обращений, такую форму можно считать более удачной.
Другой сценарий — тестирование формулировки элемента действия. Общая формулировка может быть менее очевидной, относительно прямое описание действия. Кроме того тестируют расположение кнопок, последовательность смысловых секций, дизайн 1 win подсказок, наличие шкалы выполнения, способ показа предупреждений а также количество этапов на протяжении процессе. Каждый этот элемент влияет в отношении то, как просто завершить заданное действие.
A/B проверка на уровне контенте
В материалах проверка позволяет определить, какие именно названия, описания, структуры а также варианты лучше привлекают вовлечение. Можно проверять отличающиеся первые абзацы, длину материала, последовательность аргументов, присутствие маркированных блоков, оформление блоков, описание преимуществ либо стиль объяснения сложной задачи. Вместе с этом необходимо измерять не исключительно только клики, а также еще дальнейшее действие.
Заголовок имеет шанс усилить количество кликов, при этом когда материал не сможет соответствует интересам, увеличится доля уходов. Из-за этого редакционные проверки должны принимать во внимание качество взаимодействия: период чтения, скролл, перемещения на уровне сайта, возвраты и совершение заданных результатов. Качественный эффект — это не просто лишь захват интереса, но согласование ожидания плюс контента.
сплит тестирование на уровне email-кампаниях
Внутри email-рассылках нередко сравнивают subject-строки писем, имя отправителя, стартовые предложения, период доставки, объем сообщения, расположение CTA-элементов плюс описания офферов. Один сегмент подписчиков открывает одну формат email, второй сегмент — другую. Затем этого анализируются open rate, переходы, unsubscribes, жалобы а также дальнейшие события в пределах платформе.
Важно не нужно сводить анализ метрикой open rate. Тема email способна оказаться выразительной плюс получать внимание, однако в случае если тема не сможет отвечает содержанию, переходы плюс лояльность способны уменьшиться. Следовательно качественный почтовый эксперимент анализирует цельную цепочку: открытие, нажатие, активность после перехода и реакцию подписчиков по отношению к сообщение.
