Фундамент прикладной статистики (Extremely A/B testing). Курс 2

Чему вы научитесь

• Понимать и отличать Частотный подход от Байесовского в A/B-тестировании
• Экспертно разбираться в тонкостях доверительных интервалов и применять их (+MOE/MDE)
• Успешно применять статистические критерии на практике и закрывать 99% кейсов в A/B
• Детально разбираться в t-критерии и применять Манна-Уитни там, где он уместен
• Поймете математическую интуицию BOOTSTRAP'а, а также использовать 6 его видов
• Валидировать результаты экспериментов с помощью синтетических A/A и A/B-тестов

О курсе

Гипотеза есть. Как её проверить?

Этот курс — про фундамент прикладной статистики для A/B-тестов. Не абстрактной, не «ради галочки», а такой, которая отвечает на очень приземлённые вопросы:

• Можно ли доверять результатам конкретного эксперимента;
• Насколько велик эффект и сколько в нём шума;
• Как формулировать H₀/H₁ так, чтобы потом не мучиться;
• Какой критерий выбрать в реальной жизни, а не в задачнике по матстату.

01

⚖️ Байесовский и частотный подход
Разложим по косточкам, чем они реально отличаются, где живут большие бигтехи и почему. Научимся интерпретировать и объяснять оба подхода, а также разберём популярные мифы.

02

📏 Глубокое погружение в доверительные интервалы
Разберём, как строятся интервалы, как их интерпретировать, чем они отличаются от «диапазона, где лежит истинный эффект», и как объяснять всё это продакту человеческим языком.

03

🗝️ Статистические критерии в практике АВ-тестирования
Отфильтруем зоопарк тестов из учебников и оставим короткий список: t-test, Mann–Whitney и Bootstrap. Поймём, когда какой критерий использовать, где у каждого из них сильные и слабые стороны, и почему тесты «на нормальность» почти никогда ничего не решают.

04

🎲 Bootstrap
В этом модуле мы разберёмся, что такое Bootstrap, зачем он нужен практикующему аналитику АБ-тестов и в чём его реальная ценность.

05

🏅 Детальное сравнение трёх методов
В этом модуле ответим на главный вопрос — как в реальной A/B-практике выбрать метод сравнения групп, не превращая аналитику в зоопарк тестов и не подменяя бизнес-вопрос статистическим.

06

💡 Синтетические тесты и валидация критериев
В этом модуле вы разберётесь с синтетическими тестами и научитесь валидировать критерии: проверять корректность метрик, устойчивость методов и надёжность результатов экспериментов.

Зачем это всё тебе

После этого курса ты перестанешь:

• Относиться к p-value как к богу из машины;
• Выбирать критерий по названию первой гугл-статьи;
• Вешать на презентации доверительные интервалы, которые сам(а) до конца не понимаешь;
• Запускать тесты, которые «что-то посчитали», но ни к каким осмысленным решениям не приводят.

И начнёшь:

• Уверенно отличать сигнал от шума и понимать, когда «значимый результат» на самом деле ничего не значит;
• Объяснять команде и руководству, почему именно нужно считать именно так и как это все интерпретировать;
• Строить честные выводы, которые выдерживают вопросы душных коллег, а не рассыпаются при первом челлендже.

Extremely A/B Testing · Курс 2
Курс 1 — Гипотезы и метрики

Для кого этот курс

Начальные требования

Как проходит обучение

Программа курса

Наши преподаватели

Сколько стоит обучение

Часто задаваемые вопросы

Расскажите о курсе друзьям