DE-практикум: Docker, Spark, Postgres, Airflow, S3. Поток 5

Живой DE-практикум для тех, у кого уже есть рабочий SQL и кто хочет руками пройти путь от локального стенда до DWH, ETL, Airflow, Spark и BI. Поднимаете проект на ноутбуке, раскладываете данные по слоям, пишете трансформации, добавляете проверки качества и собираете итоговую витрину.
Средний уровень
5

Чему вы научитесь

  • Поднимать локальный стенд: Spark + Postgres + Airflow + JupyterLab + MinIO в Docker
  • Понимать, что за что отвечает в окружении, и разбирать типовые проблемы по логам
  • Организовывать слои RAW / STG / CORE / MARTS на реальном датасете
  • Делать идемпотентные и инкрементальные загрузки
  • Проектировать факты, измерения, event-даты и витрины
  • Писать базовые SQL- и Spark-трансформации для подготовки слоёв
  • Оформлять пайплайн в Airflow DAG: зависимости, ретраи, расписание
  • Делать DQ-проверки: дубли, пустые ключи, расхождения по слоям
  • Собирать финальную витрину и простой BI-дашборд
  • Оформлять результат в Git-репозитории и уверенно рассказывать про свой ETL-проект на собеседовании

О курсе

Это закрытый живой DE-практикум для тех, кто уже пишет SQL и хочет перейти от отдельных запросов к цельной инженерной работе с данными.

Внутри вы поднимете локальный стенд, разложите данные по слоям RAW / STG / CORE / MARTS, настроите загрузки и трансформации, оформите пайплайн в Airflow, добавите DQ-проверки и доведете результат до финальной витрины и простого BI-дашборда.

Старт потока — 10 августа 2026.
Стоимость — 35 000 ₽.

📌 Перед оплатой я советую пройти бесплатное демо. Оно показывает формат практикума: локальный стенд, Postgres, Airflow, слои данных, проверки и две задачи руками.

Что посмотреть в первую очередь:

  1. Бесплатное демо практикума
    Короткий локальный стенд: Docker, Postgres, Airflow, слои stg/core/marts, проверки качества и две задачи руками. Помогает понять, подходит ли вам формат.
     
  2. Страница практикума
    Программа, входные требования, формат обучения и ответы на частые вопросы.
     
  3. Короткая диагностика входа
    Если хотите быстро понять, хватает ли базы по SQL, технике и времени.
     
  4. Telegram для вопросов
    Если хотите сначала уточнить детали напрямую.

Как попасть на практикум

Перед оплатой лучше пройти простой путь:

  1. Откройте бесплатное демо и попробуйте базовый маршрут: поднять стенд, запустить DAG, посмотреть слои и проверки.
  2. Если формат подходит, заполните короткую диагностику входа.
  3. Я смотрю анкету и говорю, будет ли комфортно заходить в поток сейчас или лучше сначала подтянуть базу.
  4. После подтверждения вы получаете инструкции по старту и доступ к приватному репозиторию практикума.

Технические требования

Для участия в практикуме вам потребуется:

  • ноутбук/ПК с 16 ГБ ОЗУ (минимум 12 ГБ, но комфортнее 16+);

  • Windows 10/11, Linux или macOS с включённой виртуализацией;

  • установленный Docker Desktop / Docker (инструкции даю);

  • стабильный интернет;

  • аккаунт на GitHub (вы присылаете логин, я даю доступ к приватному репозиторию).

Отзывы участников

Я собираю живую обратную связь от участников потоков: где было сложно, какие модули зацепили, что помогло лучше понять путь данных и работу с пайплайном.

Несколько отзывов можно посмотреть в Telegram: сообщения участников DE-практикума.

Для кого этот курс

Практикум подойдёт: Аналитикам и BI-специалистам, которые уже пишут SQL и хотят лучше понимать, что происходит до витрины и BI. Junior Data Engineers, которым не хватает цельной практики: локальный стенд, DWH, Airflow, Spark, DQ-проверки и итоговый проект. Тем, кто готовится к DE-собеседованиям и хочет иметь проект, про который можно нормально рассказать: что грузили, какие слои делали, где были проверки, как устроен DAG. Тем, кто устал изучать инструменты по отдельности и хочет собрать их в один понятный процесс.

Начальные требования

Нужна база:

• уверенный SQL: SELECT, JOIN, GROUP BY, агрегаты, CTE;
• понимание таблиц, ключей, фактов, измерений и витрин на уровне идей;
• базовый Python: читать код, править простые функции, не бояться списков, словарей и файлов;
• готовность поставить Docker по инструкции и разбираться с окружением;
• готовность работать руками: запускать, читать логи, исправлять ошибки и задавать вопросы.

Наши преподаватели

Как проходит обучение

Вы проходите практикум в своем темпе, без обязательных созвонов и видео-марафонов.

Сначала проходите демо или диагностику и пишете мне в Telegram. После подтверждения получаете доступ к приватному GitHub-репозиторию и инструкции по запуску стенда.

Дальше поднимаете локальное окружение у себя на машине и проходите модули по шагам: SQL, Docker, Postgres, Spark, Airflow, DWH, проверки качества, витрины и BI.

По ходу задаете вопросы в чате. Я помогаю с окружением, логами, ошибками в коде и ключевыми решениями по пайплайну.

Рекомендованный темп — 6-8 часов в неделю.

Программа курса

загружаем...

Что вы получаете

  • • цельный проект для портфолио: mini-DWH, сквозной ETL, проверки качества, витрина и BI-дашборд;
  • • опыт поднятия локального DE-стенда без магии и страха перед Docker;
  • • понимание RAW / STG / CORE / MARTS, инкрементов, DAG, DQ-проверок и reconcile;
  • • практику с Git и репозиторием как в реальной команде;
  • • поддержку на первых шагах: разбор логов, ошибок, архитектурных решений;
  • • материалы и репозиторий, к которым можно возвращаться позже.

Сколько стоит обучение

Price: 35 000 
Вы попробовали и поняли, что вам сейчас не подходит этот курс? Ничего страшного, мы вернём вам деньги в течение 30-ти дней после покупки.

Часто задаваемые вопросы

Расскажите о курсе друзьям

Price: 35 000