75%
Квиз
Да, информации и правда очень много. Давайте проверим, что все усвоилось.
| Стартовать |
Мы запустили новую фичу и измеряем, какое количество наших клиентов ей воспользуются. Это A/B тест?
Нет, для A/B теста нужно чтобы распределение по группам было случайным, а люди, которые выбрали воспользоваться фичей – это не случайное распределение.
Да. Верно! Люди, которые выбрали воспользоваться фичей – это не случайное распределение.
| Дальше |
| Проверить |
| Узнать результат |
В чем уникальное преимущество A/B тестирования?
Не верно. Сравнить две версии можно многими способами, но только A/B тест позволяет надежно изолировать одно изменение от всех остальных факторов.
Да. Верно! В этом уникальное отличие A/B теста от других способов сравнивать разные версии продукта.
Не совсем. Это прогрессивный деплой, но не A/B тест. Основная цель теста не в том, чтобы защитить нас от возможных ошибок, а в том, чтобы сравнить поведение двух групп.
| Дальше |
| Проверить |
| Узнать результат |
Мы заметили, что пользователи, которые регистрируются с помощью электронной почты и пароля приносят больше денег, чем те, кто зарегистрировался с помощью твиттера. Стоит ли нам отключить регистрацию твиттером?
Не верно. Скорее всего те же пользователи, которые регистрировались твиттером будут теперь регистрироваться другим способом и приносить ровно столько же денег, или откажутся регистрироваться, и не принесут ничего.
Не совсем. Корреляция не исключает наличия причинно-следственной связи, но делать вывод о ее наличии на основании корреляции – нельзя.
Да. Верно!
| Дальше |
| Проверить |
| Узнать результат |
Технический директор Паша говорит, что он хочет переехать на новый движок баз данных. Это чисто техническое изменение, пользователи ничего не заметят. Паша спрашивает, имеет ли смысл делать A/B тест.
Да. Верно!
Казалось бы, но нет. Хотя версии продукта и должны быть идентичными, совершенно не факт, что это на самом деле так в случае технического рефакторинга. Лучше всего это проверить тестом!
| Дальше |
| Проверить |
| Узнать результат |
Вы работаете в data-driven организации: все решения принимаются на основании метрик. На главной странице вашего сервиса устарела часть информации и немного разъехалась верстка. Можете ли вы поставить задачу на исправление этой проблемы?
Даже если мы супер data driven мы должны понимать, что далеко не все аспекты пользовательского опыта можно измерить метриками.
Даже если мы супер data driven мы должны понимать, что далеко не все аспекты пользовательского опыта можно измерить метриками.
Да. Верно!
| Дальше |
| Проверить |
| Узнать результат |
После того как мы запустили маркетинговую рассылку со скидками, саппорт получает много жалоб от пользователей, которые ей недовольны и грозятся уйти от нас.
Вполне может быть что 10% расстроится и уйдет, а из оставшихся 50% купит что-то со со скидкой и не будет писать жалобы в саппорт. Тогда рассылка очень даже полезная!
Да. Верно! Вполне может быть что 10% расстроится и уйдет, а из оставшихся 50% купит что-то со со скидкой и не будет писать жалобы в саппорт.
Не совсем. Нужно проверить не только, сколько людей отписались, но и сколько людей что-нибудь купили и никаких претензий не высказывали, чтобы понять общее влияние на финансовый результат.
| Дальше |
| Проверить |
| Узнать результат |
Ищущий
Тебе стоит еще немного прокачаться по материалу. Можешь пройти тест ещё раз, либо продолжить урок.
| Ещё раз! |
