DWH для дата-инженера

Как стать Senior Data Engineer за 3 года и не сойти с ума?

Меня зовут Дима. Я Senior Data Engineer в Сбере. Мой путь включает шесть лет фундаментального образования на ПМИ в НИЯУ МИФИ, стажировку в «Гринатоме» и рост от начинающего инженера до работы с архитектурой высоконагруженных платформ данных.

Курс входит в образовательную линейку Telegram-канала «Логово Дата-Инженера». В канале выходят hard-skill материалы, live-собеседования, архитектурные разборы и практические карты роста от junior до senior.

О курсе

DWH для дата-инженера — Практический курс по проектированию и эксплуатации хранилищ данных. Вы пройдёте путь от бизнес-процесса и зерна факта до загрузки, истории изменений, проверок качества и выбора архитектуры DWH.

Технологическая база: PostgreSQL 16, Python 3.12, размерное моделирование (Kimball), Data Vault 2.0.

Кому подойдёт

• начинающие и растущие дата-инженеры, которым нужен системный фундамент DWH
• аналитики и SQL-разработчики, переходящие к проектированию витрин и ETL
• backend- и BI-инженеры, работающие с корпоративными хранилищами
• специалисты, готовящиеся к собеседованиям по моделированию и архитектуре данных

Чему вы научитесь

• переводить бизнес-процессы в факты, измерения, метрики и явно заданное зерно
• проектировать звезду, снежинку, таблицы фактов, измерения и SCD разных типов
• строить staging, полные и инкрементальные ETL/ELT-загрузки и CDC-контуры
• выбирать между Kimball, Inmon, Data Vault, Data Lake и Lakehouse по контексту
• внедрять проверки качества, lineage, ownership, SLA, безопасность и аудит
• оптимизировать PostgreSQL-DWH и защищать архитектурное решение

Как построена программа

1. Фундамент DWH: бизнес-процессы, зерно, реляционная модель и аналитический SQL.
2. Размерное моделирование: звезда, факты, измерения, SCD, иерархии и bus matrix.
3. Загрузка и качество: staging, ETL/ELT, CDC, трансформации, DQ, Airflow и dbt.
4. Архитектуры и эксплуатация: Inmon, Data Vault 2.0, Lakehouse, cloud DWH и governance.
5. Итоговое хранилище: DWH интернет-магазина от источников и S2T до витрин и приёмки.

Формат обучения

В курсе 24 модуля и 167 уроков. Каждый урок содержит подробное объяснение, небольшие нарастающие примеры, проверку понимания и практические задачи. Решения практики доступны для разбора после самостоятельной попытки.

Всего внутри 642 тестовых вопросов и 357 практических задач. Ориентировочная нагрузка: 120-190 часов. Курс рассчитан на самостоятельный темп без обязательных дедлайнов.

Итоговый проект

DWH интернет-магазина на PostgreSQL: требования и bus matrix, размерная модель, staging и инкрементальная загрузка, SCD, проверки качества, аналитические витрины, оптимизация и документация приёмки.

Что потребуется на старте

• базовое знание SQL и реляционных таблиц; сложные конструкции разбираются в курсе
• PostgreSQL 16, Python 3.12 и готовность работать в терминале
• опыт Data Engineering полезен, но курс последовательно вводит необходимые понятия

Как получить максимум пользы

1. Запускайте примеры и меняйте входные данные, а не ограничивайтесь чтением.
2. Сначала отвечайте на тест и решайте задачу самостоятельно, затем сверяйтесь с разбором.
3. Ведите журнал ошибок, решений и технических компромиссов.
4. Собирайте упражнения в отдельный репозиторий и регулярно возвращайтесь к старым задачам.
5. Связывайте каждый инструмент с проблемой, которую он решает в реальной системе.

Результат прохождения

Вы сможете самостоятельно спроектировать хранилище, объяснить зерно и историю каждой сущности, построить воспроизводимую загрузку и подтвердить корректность данных.

Telegram: Логово Дата-Инженера

В Telegram-канале автора публикуются материалы по Rust, Java, Python, Go, SQL, pandas, Polars, Scala, Spark, Flink, Kafka, Hadoop, Airflow, DWH, Trino, ClickHouse, S3, файловым форматам, Docker/Kubernetes, разборы собеседований и архитектура Enterprise-проектов. Подписка поможет дополнять последовательную программу курса живыми кейсами из профессии.