Чему вы научитесь
- Готовить метрики эксперимента в SQL: размер групп, конверсию, чек, выручку на пользователя
- Считать стандартную ошибку и доверительный интервал для доли и для среднего
- Проверять гипотезы z-тестом и t-тестом Уэлча и объяснять, что значит p-value
- Работать с выбросами: логарифм, обрезка, бутстрэп, тест Манна–Уитни
- Рассчитывать мощность, MDE, размер выборки и длительность теста
- Находить ловушки: подглядывание, много метрик, перекос сплита (SRM), эффект новизны
- Принимать решение по результату теста и обосновывать его цифрами
О курсе
Курс для аналитиков, которые считают метрики в SQL и по итогам эксперимента должны сказать, вызвана ли разница между группами изменением продукта или случайностью. В курсе разобрано, как спланировать A/B-тест, посчитать его результат и выбрать одно из трёх решений: катить новую версию, не катить или перезапустить эксперимент.
Статистика объясняется с нуля и без доказательств: разброс и стандартная ошибка, доверительный интервал, p-value, ошибки первого и второго рода, z-тест для конверсий, t-тест Уэлча для средних, логарифм, бутстрэп и тест Манна–Уитни для данных с выбросами, мощность, MDE и размер выборки. Модуль о ловушках разбирает ежедневное подглядывание в результат, множество метрик, перекос сплита (SRM), эффект новизны и дни недели. В конце курса есть типовые вопросы A/B-секции собеседования и три эксперимента, по которым нужно принять решение.
Как проходит обучение
Каждая тема начинается с короткого объяснения, графика или симуляции и примера, посчитанного вручную на пяти-шести числах. Затем та же формула применяется к данным эксперимента службы доставки еды «Сытый кот». Метрики из сырых таблиц готовятся в SQL на MySQL 8, расчёты выполняются короткими программами на Python с pandas и scipy, выводы проверяются вопросами. Устанавливать ничего не нужно.
В курсе 61 задача с автопроверкой (50 на Python и 11 на SQL) и 152 вопроса. К модулям прилагаются PDF-конспекты с формулами и разобранными примерами. В модуле о дизайне эксперимента есть PDF-шаблон плана эксперимента: пустой шаблон, заполненный пример для теста ускоренной доставки и чек-лист до запуска, во время и после теста.
Проверка автоматическая и сравнивает результат запроса или числа, которые напечатала программа. Почти все Python-задачи проверяются ещё на втором наборе данных с другими числами. На частые ошибки проверка отвечает подсказкой, после верного ответа открывается разбор. Курс самостоятельный: преподаватель решения не проверяет и консультаций не даёт.
Как курсы связаны с пакетами
Для кого этот курс
- Продуктовым и маркетинговым аналитикам, которые считают метрики в SQL и разбирают результаты экспериментов.
- Аналитикам, которые готовятся к собеседованию с секцией A/B-тестов и статистики.
- Продакт-менеджерам, которым нужно самим оценивать результаты тестов и спорить с выводами по цифрам.
- Тем, кто прошёл курсы SQL и хочет добавить к ним статистику и Python для анализа.
Начальные требования
Нужен базовый SQL: SELECT, WHERE, GROUP BY, COUNT и COUNT(DISTINCT …), соединение таблиц через JOIN и LEFT JOIN. Всё это есть в бесплатных курсах «SQL с нуля» и «JOIN в SQL простым языком». Нужно уметь считать доли и проценты.
Python заранее знать не нужно: в первом модуле есть Python-мост, а задачи на код начинаются с заготовки, которая уже читает данные. Статистику заранее знать тоже не нужно. Продуктовые метрики (DAU, воронка, retention, ARPU) в курсе только упоминаются; подробно они разобраны в курсе «SQL-собеседование аналитика». В первом уроке есть задача, по которой можно проверить себя.
Программа курса
В курс входят
- 26 уроков
- 152 теста
- 61 интерактивная задача