DWH с нуля: хранилище данных на PostgreSQL, dbt и Airflow

Курс-проект, а не обзор. Вы не смотрите, как хранилище собирает автор, — вы собираете его сами: от сырого CSV до витрин, на которых можно строить дашборд. Каждый слой доводится до состояния, когда данным можно верить, и каждый шаг проверяется задачами с автопроверкой на реальной базе.

Что вы сделаете за курс

• поднимете стенд одной командой: Docker Compose + PostgreSQL 16;
• спроектируете слои raw → staging → marts и объясните, что происходит на каждом;
• напишете профилирование и чистку грязных данных: дубли, строковые даты и суммы, сироты в фактах;
• перенесёте трансформации в dbt: модели, источник, тесты, документация, инкрементальная загрузка;
• поставите загрузку на расписание в Airflow: DAG, ретраи, сенсоры, бэкфилл;
• добавите контроль качества и оповещения, чтобы витрина не «тихо» ломалась;
• соберёте витрины под бизнес-вопросы и дашборд поверх них.

Стек и версии: PostgreSQL 16, dbt 1.8+, Apache Airflow 2.9+, Docker Compose, Metabase. Все версии зафиксированы, лабораторные проверены на чистом окружении.

Формат: 10 модулей, 200+ задач с автопроверкой (SQL-задачи проверяются на живой базе — не «на глаз»), короткая теория перед каждой практикой, лабораторные работы на вашем стенде и финальный проект: хранилище под бизнес-кейс интернет-магазина. В конце — сертификат.