Описание

Симулятор A/B тестов продвинутая практика [2022]
karpov.courses
Александр Сахнов, Валерий Бабушкин, Николай Назаров

Расскажем всё о проведении экспериментов в компаниях.

На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.

В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.

Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.

Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.

Для кого этот курс:
1. Продакт-менеджер

2. Аналитик

Как проходит обучение:
1. Решайте настоящие задачи бизнеса

• Пройдите путь начинающего аналитика
• Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
• Получайте обратную связь от практикующих специалистов

2. Работайте с реальной инфраструктурой

• Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
• Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
• Разрабатывайте дизайн экспериментов и анализируйте результаты

Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно

Какие задачи будем решать:
1. Дизайн эксперимента

2. Анализ метрики отношений

3. Чувствительные тесты

4. Множественное тестирование

Модуль 1 – Основы статистики

• Изучим основы статистики, которых будет достаточно для прохождения курса.

Модуль 2 – Знакомство с платформой A/B-тестирования

• В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
• Выдвинем гипотезы, оценим результаты первого эксперимента.

Модуль 3 – Проверка гипотез

• Узнаем, как появилась идея проверять гипотезы.
• Создадим собственный критерий принятия решений.
• Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.

Модуль 4 – Дизайн эксперимента

• Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
• Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.

Модуль 5 – Доверительные интервалы

• Познакомимся с методом бутстрэп.
• Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.

Модуль 6 – Повышение чувствительности тестов

• Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
• Научимся сокращать размер выборки, необходимый для проведения эксперимента.

Модуль 7 – Выбор метрик

• Выбрать метрику для эксперимента не всегда просто.
• Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.

Модуль 8 – Cuped и стратификация

• Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.

Модуль 9 – Множественное тестирование

• Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
• Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.

Модуль 10 – Анализ метрик отношения

• При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
• Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.

Примечание: версия симулятора Продвинутая (Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов)