Data-driven процессы и роль A/B-тестирования
Разберётесь, как организовать Data-driven процессы у себя в компании. Узнаете, как происходит генерация гипотез: отчёты, воронки, качественные и количественные исследования. Рассмотрите критерии оценки качества гипотез.
• Организация Data-driven процессов у себя в компании
• Процессы анализа и создания гипотез
• Генерация гипотез: отчёты, воронки, качественные и количественные исследования
Приоритизация гипотез и тесты
Узнаете, как строить дерево гипотез и разрабатывать план тестирования, проводить экспресс-анализ гипотез. Научитесь определять приоритетность гипотезы. Познакомитесь с продуктовой и маркетинговой аналитикой.
• Критерии качества гипотез
• Дерево гипотез и план тестирования
• Экспресс-анализ гипотез
• Приоритетность гипотезы
Основы A/B-тестирования
Разберётесь, какие тесты являются A/B-тестами и почему они так важны. Узнаете, что можно проверить не только два варианта.
• Тесты A/B
• Почему тесты A/B важны
• Что нужно тестировать, а что нет
• Шаги для хорошо структурированного теста A/B
Основы распределения и статистики
Рассмотрите показатели возможных распределений, коробчатую диаграмму и другие визуальные элементы для распределения.
• Среднее, медиана, квартиль, процентиль, процент против процентного пункта, центральная предельная теорема
• Показатели возможных распределений
• Коробчатая диаграмма и другие визуальные элементы для распределения
• Кейс-стади для преобразования двух групп
Инструменты для А/B-тестирования
Рассмотрите инструменты веб-оптимизации: Google Analytics и Яндекс.Метрику, VWO, Optimizely, а также мобильной и продуктовой аналитики: Amlitude, Mixpannel, Google. Узнаете о системной установке и A/B-тестировании внутренних инструментов. Разберётесь с интеграцией с базой данных.
• Веб-оптимизация
— Google Analytics и Яндекс.Метрика— VWO, Optimizely
• Мобильная и продуктовая аналитика
— Amlitude— Mixpannel— Google Analytics
• Системная установка
• A/B-тестирование внутренних инструментов
• Интеграция с базой данных
Анализ результатов A/B-тестов
Выясните, что такое р-значение и почему просто не посмотреть на одно p-значение в конце. Поговорим о правильном сегментированном анализе. Узнаете, какие существуют онлайн-А/B-калькуляторы для анализа результатов.
• P-значение
• Правильный сегментированный анализ
• Уменьшение дисперсии
• Онлайн-А/B-калькуляторы для анализа результатов
Кейс-стадия
Разберёте пройденный материал, изучите возможные ошибки и как их избежать.
• Оценка взаимозависимости
• Боязнь многомерных тестов
• Экстраполяция результатов испытаний
Итоговый проект
Вы самостоятельно проведёте A/B-тестирование, использовав на практике основные его принципы, и проанализируете результаты.