Что означает A/B эксперимент и почему такой подход необходимо
сплит тестирование представляет формат способ сравнения нескольких а также разных вариантов страницы, дизайна, текста, кнопки, анкеты, email-сообщения, маркетингового креатива либо иного цифрового элемента. Основная функция состоит в том задаче, чтобы понять, какая формат эффективнее функционирует в реальном использовании. Взамен предположений и субъективных мнений задействуется тест на живой аудитории, когда первая доля видит версию A, тогда как другая — формат B.
Подобный метод дает возможность выбирать действия с опорой на базе показателей, но не на индивидуальных мнений а также случайных замечаний. В аналитических источниках, среди них 1вин, регулярно указывается, будто сплит тестирование особенно ценно в ситуациях, при которых небольшие правки могут воздействовать на реакции аудитории: клики, создания аккаунтов, передачу анкет, объем изучения, возвращаемость, заказы, оформления подписок а также прочие нужные результаты. Эксперимент помогает увидеть, на самом деле ли конкретно изменение усиливает 1win результат.
По какому принципу работает A/B проверка
Логика А/Б эксперимента относительно несложен. Сначала берется элемент, что нужно протестировать. Объектом проверки имеет шанс оказаться заголовок, оттенок элемента действия, порядок блоков, формулировка подсказки, структура анкеты, изображение, тариф, формат условия либо позиция ключевого действия. После этого создаются не менее пары решения: контрольный а также обновленный. Вслед за этого трафик распределяется между версиями согласно предварительно заданным условиям.
Первая группа аудитории остается просматривать старую страницу, а тестовая открывает обновленную. Система фиксирует показатели касательно поведении отдельной группы и сравнивает показатели. Если версия B показывает более высокий эффект на фоне значительном количестве наблюдений, такой вариант допустимо использовать. В случае если разницы нет либо новая вариация показывает себя хуже, правка отклоняется. Как раз в данной логике а также заключается прикладная польза эксперимента: такой метод помогает тестировать идеи перед массового 1вин внедрения.
Почему необходимо A/B тестирование
сплит проверка важно с целью снижения неопределенности. На уровне веб сервисах в том числе малая деталь может сказываться в отношении восприятие интерфейса. Один заголовок имеет шанс оказаться понятнее иного, короткая форма имеет шанс проходиться регулярнее длинной, при этом более видимая кнопка действия способна усилить число переходов. При отсутствии эксперимента такие результаты нередко выглядят предположениями.
Подход помогает улучшать сервис поэтапно. Взамен полной переделки всего проекта или сервиса получается проверять отдельные блоки и записывать реальный эффект. Это уменьшает вероятность слабых правок, сберегает затраты а также дает возможность формировать данные про действиях посетителей. Со временем специалисты 1 win собирает не совокупность суждений, а модель валидированных действий.
Какого типа блоки получается сравнивать
Тестировать допустимо практически каждый элемент, что сказывается на реакции аудитории. Обычно преимущественно тестируют заголовки, вторичные заголовки, обращения для переходу, формулировки элементов действия, поля оформления аккаунта, расположение элементов, визуалы, карточки позиций, порядок этапов, сортировки, меню, баннеры, сообщения, email-сообщения а также маркетинговые объявления. Существенно, для того чтобы выбранный элемент был объединен с определенной точной метрикой.
В случае если цель состоит в увеличении заполненных форм, логично тестировать форму, формулировку возле нее, количество полей плюс выразительность элемента действия. Если необходимо повысить длину просмотра, следует оценивать меню, секций рекомендаций, внутрисайтовые линки плюс построение страницы. Насколько прямее связь 1win между правкой плюс метрикой, тем самым ценнее результат тестирования.
Проверяемая идея в роли база эксперимента
Каждый корректный A/B эксперимент начинается с проверяемой идеи. Гипотеза объясняет, какого типа правка планируется, почему это изменение имеет шанс воздействовать на показатель а также какой именно метрика может измениться. Например, можно предположить, будто сокращение анкеты оформления аккаунта уменьшит число незавершенных действий, так как ведь посетителю потребуется меньший объем минут ради выполнения шага.
Качественная гипотеза не должна следует быть слишком общей. Фраза вроде «сделать раздел удобнее» не помогает измерить показатель. Гораздо более ценный вариант: «если поменять длинный текст элемента действия на более короткий и понятный, объем переходов увеличится, поскольку что шаг станет очевиднее». Подобная идея сразу 1вин указывает предмет эксперимента, логику а также метрику.
Контрольная плюс измененная выборки
В А/Б эксперименте базовая часть видит первоначальный формат, и экспериментальная — обновленный. Это разделение необходимо с целью корректного сравнения. Когда без контроля заменить страницу а также сравнить показатели перед и после, эффект может исказиться вследствие сезонных факторов, маркетинговой нагрузки, смены источников посещений, событий, служебных проблем или других внешних условий.
Параллельный показ нескольких решений уменьшает влияние внешних обстоятельств. Две группы оказываются на уровне похожей среде: единый и самый же срок, схожие самые потоки посещений, похожие платформы и одинаковый окружение. Из-за этого отличие внутри метриках с 1 win повышенной степенью вероятности соотносится именно с данным правкой, и не не только с внешними обстоятельствами.
Какие именно метрики применяются внутри А/Б экспериментах
Критерий — представляет собой число, согласно чему измеряется итог теста. Выбор метрики строится от задачи эксперимента. Ради страницы с активной формой значимы заполнения обращений, в случае онлайн-магазина — переносы в корзину и заказы, для медиаресурса — длина изучения а также период просмотра, в случае сервиса — создания аккаунтов, первые действия, retention и следующие 1win события.
Необходимо различать основную плюс дополнительные метрики. Основная отражает, ради какого результата запускается тест. Вспомогательные помогают выявить вторичные результаты. К примеру, обновление CTA имеет шанс повысить переходы, но уменьшить качество следующих событий. Следовательно важно оценивать не исключительно лишь в сторону стартовый клик, однако также по дальнейшее действие: окончание формы, повторные визиты, отказы, проблемы а также общую эффективность действия.
Математическая существенность
Математическая достоверность демонстрирует, насколько реалистично, что зафиксированная отличие среди версиями не является считается статистическим шумом. Если конкретный решение немного обходит другой после ряда десятков посещений, такой результат все еще не подтверждает доказывает преимущество. На фоне ограниченном количестве наблюдений показатель имеет шанс быстро сдвинуться, если 1вин выборка станет шире.
С целью корректного вывода необходимо нужное число наблюдений. Чем ниже ожидаемая дельта в паре версиями, тем больше сведений потребуется получить. Когда правка обязано улучшить метрику всего около несколько процентов, тесту будет необходимо больше времени и посещений. Статистическая достоверность помогает избегать формировать поспешные выводы по результатах случайных скачков.
Масштаб аудитории и длительность эксперимента
Объем группы сказывается на качество итога. Когда эксперимент получает чрезмерно ограниченный объем посетителей, результаты способны оказаться сомнительными. В частности, пять лишних кликов у первой выборке имеют шанс показываться как увеличение, но при большем масштабе окажутся нормальной погрешностью. Следовательно до момента начала разумно понимать, какой объем пользователей 1 win или событий необходимо с целью подтверждения гипотезы.
Длительность теста также имеет важность. Чрезмерно быстрый тест имеет шанс не успеть учитывать расхождения между обычными и нерабочими днями, дневной а также послерабочей посещаемостью, отличающимися потоками трафика. Как правило проверка должен охватывать целый период действий посетителей. При этом условии очень затянутый период проверки также неоптимален, если внешние обстоятельства успевают ощутимо поменяться.
По какой причине нельзя менять проверку в течение время запуска
Распространенная в числе частых просчетов — добавлять правки в эксперимент после начала. Когда по ходу процессе проверки обновить формулировку, аудиторию, дизайн, условия демонстрации или метрику, показатели перемешаются. После этого будет трудно выяснить, что конкретно воздействовало по части результат. Проверка утратит корректность, а результаты будут спорными 1win.
Перед старта следует зафиксировать гипотезу, варианты, показатели, разбивку пользователей плюс параметры остановки. После старта желательно не менять условия при отсутствии критичной необходимости. Когда выявлена проблема внутри настройке а также служебный дефект, лучше закрыть эксперимент, устранить проблему и начать новый тест, чем пробовать интерпретировать некорректные показатели.
Параллельное сравнение многих корректировок
В отдельных случаях появляется желание проверить за один раз несколько правок: другой headline, альтернативную кнопку действия, упрощенную анкету плюс измененный порядок блоков. Подобный подход может выдать суммарный показатель, однако не покажет, какой именно точно элемент воздействовал на метрику. В случае если обновленная версия оказалась лучше, будет неочевидно, какой элемент сработало сильнее всего.
Ради чистой оценки как правило корректируют один важный фактор на 1вин одну проверку. Когда необходимо проверить многие вариаций, используется мультивариантное эксперимент. Такой метод сложнее, нуждается повышенного объема посещений а также внимательной оценки. В случае большинства целей А/Б эксперимент с одной ясной идеей обеспечивает гораздо более корректный плюс полезный эффект.
Примеры сплит тестирования в дизайне
Внутри UI-средах A/B эксперимент нередко задействуется с целью оптимизации понятности сценариев. К примеру, допустимо сопоставить две версии заявки: объемную с большим множеством элементов ввода плюс упрощенную с минимальным числом данных. В случае если краткая заявка повышает количество оконченных созданий аккаунтов без риска снижения результативности форм, такую форму получается признавать гораздо более результативной.
Еще один сценарий — проверка надписи CTA. Нейтральная надпись может быть менее ясной, относительно конкретное название действия. Кроме того проверяют место кнопок, очередность смысловых блоков, подачу 1 win hint-элементов, наличие индикатора прогресса, способ вывода сбоев плюс объем шагов на протяжении сценарии. Любой этот элемент влияет по части то самое, как просто окончить заданное событие.
А/Б проверка в контенте
На уровне содержании тестирование дает возможность выяснить, какого типа headline-блоки, анонсы, структуры и варианты лучше удерживают внимание. Получается проверять отличающиеся вступления, размер контента, последовательность аргументов, наличие маркированных блоков, оформление блоков, описание преимуществ либо манеру объяснения сложной задачи. Однако при этом сценарии необходимо измерять не исключительно исключительно клики, а также еще последующее взаимодействие.
Название способен повысить число переходов, однако в случае если материал не будет отвечает интересам, увеличится процент отказов. Из-за этого контентные эксперименты должны анализировать ценность чтения: длительность изучения, глубину страницы, перемещения в пределах платформы, возвращения а также выполнение заданных событий. Сильный итог — это не только лишь привлечение интереса, но совпадение ожидания плюс содержания.
A/B эксперимент внутри почтовых рассылках
Внутри почтовых рассылках нередко проверяют subject-строки рассылок, подпись автора, первые предложения, момент отправки, длину письма, позицию элементов действия плюс описания предложений. Один сегмент получателей открывает контрольную формат email, часть — тестовую. Вслед за этого сравниваются просмотры, клики, unsubscribes, жалобы а также следующие события на сайте.
Важно не нужно останавливаться показателем open rate. Заголовок письма способна оказаться яркой и привлекать реакцию, при этом в случае если она не будет отвечает наполнению, клики и доверие имеют шанс снизиться. Поэтому качественный почтовый эксперимент измеряет полную воронку: просмотр, переход, активность после клика плюс отклик получателей по отношению к рассылку.
