Продуктовая аналитика: SQL, метрики и A/B-тесты

🧭 Отправная точка

В ShopFlow число событий об успешной оплате может отличаться от числа покупателей. Одно событие payment_succeeded иногда доставляется повторно, а соединение товарных позиций с несколькими попытками оплаты увеличивает количество строк. Если считать конверсию или выручку по таким данным без проверки, результат окажется неверным.

У удержания и A/B-тестов свои ограничения. Для расчёта D7 нужен завершённый семидневный период наблюдения. В эксперименте важно сопоставить назначенные варианты оформления заказа с фактически зарегистрированными показами. Если часть записей о показах потеряна, оценка конверсии может оказаться смещённой.

В локальной лаборатории ShopFlow вы запустите HTTP-приложение магазина и получите данные о действиях пользователей, заказах и платежах в PostgreSQL. На этих данных будете писать SQL, строить отчёты в Metabase и проводить эксперименты с GrowthBook. Научитесь заранее определять правила расчёта метрик и проверять результаты по исходным записям.

🎯 Цель курса — научиться рассчитывать продуктовые метрики, находить ошибки в данных, анализировать A/B-тесты и готовить обоснованные рекомендации по изменениям продукта.

⚙️ Что вы будете делать

• 📊 Рассчитывать продуктовые метрики. С помощью SQL посчитаете конверсию, выручку и возвраты, DAU/WAU/MAU, последовательные воронки и удержание D1/D7/D30. Определите, что считать: пользователей, заказы или события, как выбирать знаменатель и задавать временное окно. На практике проверите размножение строк после JOIN и расчёт удержания по когортам с завершённым периодом наблюдения.

• 🔎 Проверять качество данных и отчётов. Сверите события с заказами и платежами, найдёте дубли, пропуски и задержки доставки. Проследите действия пользователя в разных сеансах, сравните конверсию сегментов и каналов привлечения, разберёте парадокс Симпсона. Построите отчёты в Metabase и сопоставите их с SQL-расчётами.

• 🧪 Проводить A/B-тесты. Сформулируете гипотезу о новой форме заказа, определите основную и защитные метрики, размер выборки и правило остановки. Настроите GrowthBook и Python SDK, проверите назначения вариантов и регистрацию показов. Проведёте A/A- и A/B-тесты, оцените эффект и доверительный интервал, исследуете нарушение пропорций распределения (SRM), преждевременный анализ и множественные проверки.

• 📝 Обосновывать продуктовые решения. Сопоставите эффект на конверсию с практической пользой, ошибками оплаты, отменами и возвратами. Исследуете различия между сегментами и метод CUPED для снижения разброса оценок. В итоговой работе объедините результаты расследования метрик и отдельного эксперимента в аргументированную рекомендацию.

🔥 Чем отличается курс

ShopFlow позволяет проследить каждую метрику до действий пользователя и записей в PostgreSQL. Вы сможете сравнить данные HTTP-приложения с аналитическими событиями и выяснить, на каком этапе появились расхождения.

Ошибки расчётов проверяются на конкретных данных. Например, соединение двух товарных позиций с тремя попытками оплаты создаёт шесть строк и завышает сумму товаров. В другом задании общие количества событий и оплат совпадают, хотя относятся к разным заказам. Поэтому вы будете сверять бизнес-ключи и рассчитывать денежные показатели по платёжным записям.

Конверсия среди зарегистрированных пользователей отличается от конверсии среди тех, кто начал оформление заказа. Для воронки важны последовательность действий и конкретная корзина, для удержания — день первого действия и полнота периода наблюдения. Вы будете формулировать правила расчёта заранее и проверять их на пограничных случаях.

В Metabase соберёте дашборд с показателями активности, конверсии и воронки, проверите его SQL-запросами и исследуете расхождения. В GrowthBook настроите варианты оформления заказа и сопоставите результаты с PostgreSQL. Особое внимание уделите полноте записей о назначениях и показах.

В практиках по экспериментам исследуете случаи, когда видимый рост конверсии сопровождается потерей записей о показах или ухудшением защитных метрик. Проверите полноту семидневных и четырнадцатидневных окон, а затем оцените качество данных, доверительные интервалы и практическую пользу изменения.

📚 Дополнительные бесплатные материалы

• 📄 A/B-тестирование: что это, как провести и рассчитать результат
• 📄 SQL JOIN удвоил сумму заказа: разбираем ошибку агрегации
• 📄 SQL JOIN: INNER, LEFT, RIGHT и FULL JOIN с примерами
• 📄 Retry, Rerun и Backfill: почему повторная загрузка может испортить данные
• 📄 ETL и ELT: что это, в чём разница и что выбрать

🎯 Итоговый кейс

В итоговом кейсе вы получите запрос о расхождении числа покупателей и количества оплат в ShopFlow. Уточните определения показателей и временные границы, затем сопоставите пользователей, заказы, платежи и события по идентификаторам. Проверите возможные ошибки соединений, пропуски и задержки данных. Если расхождение не воспроизведётся, зафиксируете этот результат и границы проведённой проверки.

После расследования запустите независимый A/B-тест новой формы заказа. Проверите назначение вариантов, полноту записей о показах и распределение пользователей по группам. Для основной метрики, ошибок оплаты и отмен используете завершённое семидневное окно, для возвратов — четырнадцатидневное.

В результате подготовите SQL-запросы, проверяемые расчёты и короткие отчёты по расследованию и эксперименту. Обоснуете решение: продолжить исследование, отказаться от изменения или предложить ограниченный выпуск. Для выпуска укажете ответственного, показатели контроля и порядок отката. В учебном задании фактическое переключение варианта не выполняется.

🧪 Поддержка

🤝 Вопросы по материалам курса можно задавать в комментариях Stepik. Разбирая сложную ситуацию, приложите название урока, свои действия и полученный результат — так проще понять причину ошибки и предложить следующий шаг.

✅ Практические работы проверяет преподаватель. Вы получаете обратную связь по выполненному заданию: что соответствует требованиям, что стоит исправить и на что обратить внимание при повторной проверке.

🚀 О XNova

XNova — практические курсы и учебные проекты для разработчиков, тестировщиков и инженеров. Мы разбираем технологии на работающих примерах: с кодом, наблюдаемым результатом и объяснением инженерных решений.

🔗 xnova.dev — другие курсы и материалы XNova.

📬 Контакты и сообщество

Продолжить знакомство с XNova, следить за новыми материалами или задать организационный вопрос можно здесь:

• 📣 Telegram-канал: @xnova_dev — анонсы курсов, статьи и новости проекта.
• 💬 Написать XNova: @xnova_contact — контакт для вопросов о курсах и проекте.
• ✉️ Почта: contact@xnova.dev — если удобнее написать письмом.
• 💻 GitHub: xnova-tech — открытые учебные проекты и примеры.

🔒 Доступ к разделам

⚠️ Важно! Модули курса открываются постепенно. Чтобы перейти к следующему модулю, необходимо набрать определённое количество баллов в текущем. Это вынужденная мера. Выполнять все задания не требуется, достаточно выполнить основную часть.