Введение в A/B-тестирование
Узнаете, по каким правилам нужно проводить A/B-тестирование и с какими сложностями придётся столкнуться. Познакомитесь с основными инструментами и научитесь избегать ошибок. Сможете самостоятельно выбирать методы для обзорного тестирования.
Элементы статистики для построения гипотез
Поймёте, какие метрики помогают получить данные о продукте. Познакомитесь с нулевой и альтернативной гипотезами. Научитесь находить среднее, медиану и моду. Потренируетесь в проверке гипотез и построении доверительного интервала по разным параметрам.
Статистические инструменты
Поймёте, на основе чего строится оценка критериев теста. Научитесь проверять продуктовые гипотезы с помощью T-теста Стьюдента и работать с ненормальными распределителями. Узнаете, как пользоваться картой статистических тестов.
Вариации А/В-тестирования и его приложения
Научитесь выбирать нужные метрики, соответствующие цели тестирования. Разберёте частые ошибки, возникающие при интерпретации данных, и узнаете, как исключить их появление. Попрактикуетесь в подсчёте метрик и проверке гипотез на реальном датасете. Сможете проводить множественное тестирование с несколькими группами и гипотезами одновременно.
Организация массового A/B-тестирования
Узнаете, как рассчитать оптимальный размер выборки и время проведения тестирования. Поймёте, как разделить пользователей на контрольную и экспериментальную группу. Научитесь проверять множество гипотез одновременно.
Ускорение и оптимизация
Узнаете, какие эффекты могут возникать при проведении А/В-тестирования. Изучите методы ускорения и лайфхаки, которые упростят работу.
Бонус-модуль. Продвинутые подходы к A/B-тестированию
Поймёте, как находить аномалии в данных и оптимизировать тестирование. Познакомитесь с байесовским и частотным подходом, а также с методом «многорукие бандиты». Разберёте кейсы с типичными ошибками на тестированиях.
Итоговая работа. Проведение А/В-тестирования
Полученные знания вы примените на практике в итоговом проекте: исследуете качество данных; выберите метрики для тестирования; сформулируете гипотезу; проведёте A/B-тестирование; сделаете выводы по результатам теста на основе статистики.