Чему вы научитесь
- Поднимать локальный стенд: Spark + Postgres + Airflow + JupyterLab + MinIO в Docker
- Понимать, что за что отвечает в окружении, и разбирать типовые проблемы по логам
- Организовывать слои RAW / STG / CORE / MARTS на реальном датасете
- Делать идемпотентные и инкрементальные загрузки
- Проектировать факты, измерения, event-даты и витрины
- Писать базовые SQL- и Spark-трансформации для подготовки слоёв
- Оформлять пайплайн в Airflow DAG: зависимости, ретраи, расписание
- Делать DQ-проверки: дубли, пустые ключи, расхождения по слоям
- Собирать финальную витрину и простой BI-дашборд
- Оформлять результат в Git-репозитории и уверенно рассказывать про свой ETL-проект на собеседовании
О курсе
DE-практикум: соберите пайплайн от RAW-файла до BI-витрины
Практикум для тех, кто уже пишет SQL и хочет перейти от отдельных запросов к цельной инженерной работе с данными.
Вы поднимете локальный стенд и соберёте сквозной проект: приём файлов, слои RAW / STG / CORE / MARTS, Spark jobs, Airflow DAG, проверки качества и итоговую BI-витрину.
Старт: 10 августа 2026 года
Стоимость: 35 000 ₽
Нагрузка: 6–8 часов в неделю
Доступ: курс на Stepik и приватный GitHub-репозиторий остаются у вас
Поддержка: до полного завершения практикума
Посмотреть программу и оставить заявку →
Если сначала хотите проверить формат самостоятельно, откройте бесплатное демо практикума. В нём можно поднять небольшой стенд с PostgreSQL и Airflow, пройти путь данных по слоям и выполнить две задачи.
Что вы сделаете
- поднимете локальное окружение в Docker;
- примете и сохраните исходные данные;
- приведёте типы и обработаете некорректные строки;
- построите слои STG, CORE и MARTS;
- напишете и запустите Spark jobs;
- соберёте пайплайн в Airflow;
- добавите проверки качества и контроль результата;
- доведёте данные до BI-витрины и дашборда.
В результате у вас останется запускаемый проект и репозиторий, устройство которого можно объяснить на собеседовании: как движутся данные, где контролируется качество и как устроен повторный запуск.
Кому подойдёт
- аналитикам и BI-специалистам, которые хотят понимать путь данных до витрины;
- Junior Data Engineers, которым не хватает цельного проекта;
- специалистам с опытом ETL и DWH, переходящим на PostgreSQL, Spark, Airflow и объектное хранилище;
- тем, кто готовится к DE-собеседованиям и хочет предметно рассказывать о своём проекте.
Что нужно на старте
- SQL: SELECT, JOIN, GROUP BY, агрегаты и CTE;
- базовый Python: чтение кода, простые функции, списки, словари и файлы;
- понимание таблиц, ключей и витрин на уровне основных идей;
- готовность поставить Docker по инструкции, читать логи и исправлять ошибки;
- компьютер с 16 ГБ ОЗУ. Минимально возможно 12 ГБ, но комфортнее 16 ГБ и больше.
Если сомневаетесь в своём уровне, на странице есть короткая диагностика. Она проверяет SQL, Python, окружение и доступное время, а затем показывает рекомендуемый следующий шаг.
Как устроено участие
- Вы изучаете программу или проходите бесплатное демо.
- Оставляете заявку на странице практикума.
- Я смотрю вашу входную точку и отвечаю, комфортно ли заходить в поток сейчас.
- После оплаты вы получаете инструкции, доступ к курсу и приватному репозиторию.
Отзывы участников
Посмотреть отзывы участников четвёртого потока на Stepik
В отзывах участники рассказывают, кому подошёл формат, где было сложно и что изменилось в понимании Data Engineering после прохождения проекта.
Посмотреть программу и оставить заявку на пятый поток
Старт 10 августа 2026 года.
Для кого этот курс
Начальные требования
- SQL: SELECT, JOIN, GROUP BY, агрегаты и CTE;
- базовый Python: чтение кода, простые функции, списки, словари и файлы;
- понимание таблиц, ключей и витрин на уровне основных идей;
- готовность поставить Docker по инструкции, читать логи и исправлять ошибки;
- компьютер с 16 ГБ ОЗУ. Минимально возможно 12 ГБ, но комфортнее 16 ГБ и больше.
Если сомневаетесь в уровне, на странице есть короткая диагностика. Она проверяет SQL, Python, окружение и доступное время, а затем показывает рекомендуемый следующий шаг.
Наши преподаватели
Как проходит обучение
Вы проходите практикум в своем темпе, без обязательных созвонов и видео-марафонов.
Сначала проходите демо или диагностику и пишете мне в Telegram. После подтверждения получаете доступ к приватному GitHub-репозиторию и инструкции по запуску стенда.
Дальше поднимаете локальное окружение у себя на машине и проходите модули по шагам: SQL, Docker, Postgres, Spark, Airflow, DWH, проверки качества, витрины и BI.
По ходу задаете вопросы в чате. Я помогаю с окружением, логами, ошибками в коде и ключевыми решениями по пайплайну.
Рекомендованный темп — 6-8 часов в неделю.
Программа курса
Что вы получаете
- • цельный проект для портфолио: mini-DWH, сквозной ETL, проверки качества, витрина и BI-дашборд;
- • опыт поднятия локального DE-стенда без магии и страха перед Docker;
- • понимание RAW / STG / CORE / MARTS, инкрементов, DAG, DQ-проверок и reconcile;
- • практику с Git и репозиторием как в реальной команде;
- • поддержку на первых шагах: разбор логов, ошибок, архитектурных решений;
- • материалы и репозиторий, к которым можно возвращаться позже.