A/Б тесты для начинающих аналитиков

Каждое заметное изменение в продукте теперь проверяют A/B-тестом — но решение по тесту всё ещё принимает человек. Каждый раз, когда менеджер приносит 4.2% против 4.7% с новым баннером и спрашивает, катим ли, кто-то должен ответить за вывод. Цифра B больше цифры A — но это ещё не победа: иногда это монетка, упавшая нужной стороной.

A/B-тест — рандомизированный эксперимент, стандарт индустрии: Microsoft, Google и Booking.com проводят тысячи тестов в год. Спор «зашла ли фича» решают данные. Рабочий аппарат курса: статистическая значимость, z-тест, доверительный интервал. В 2020 году Рон Кохави (Microsoft) выпустил главную книгу дисциплины — «Trustworthy Online Controlled Experiments».

Курс разбирает A/B-тесты как процесс принятия решения. Вы научитесь планировать выборку под минимальный интересный эффект (MDE), ловить нечестный тест (перекос групп, подглядывание) и защищать перед менеджером вердикт «катить / не катить / добрать данных». Модули 1–3 проходятся в Excel и бесплатном калькуляторе. Python (statsmodels, SciPy) подключается с середины, в Colab и по желанию. Отдельный трек — подготовка к собеседованиям.

Внутри: 7 модулей, 30 уроков, 170 проверяемых заданий. Практика — прямо на Stepik: расчёты, кейсы, код на Python с автопроверкой. Финал — капстоун: незнакомый продукт от счётчиков до вердикта по чек-листу курса, плюс портфельный A/B-кейс (ноутбук + README) для собеседований.

Сквозной пример — магазин «Полка», чей баннер дал те самые 4.2% против 4.7%. Реалистичный сценарий: недобранная выборка, соблазн остановить тест на красивом p-value, метрика-предохранитель (guardrail) и менеджер, ждущий ответа в деньгах. Такой же тест, с каким вы столкнётесь на следующей неделе.