Чему вы научитесь
- Создавать и настраивать проекты dbt Core
- Подключать dbt Core к ClickHouse через dbt-clickhouse
- Описывать исходные таблицы как источники данных в dbt
- Строить слои staging, intermediate и marts
- Связывать модели через source() и ref()
- Выбирать подходящую материализацию для разных типов моделей
- Создавать обычные и инкрементальные модели
- Проверять качество данных с помощью встроенных и собственных тестов
- Документировать модели, столбцы и зависимости
- Генерировать документацию и артефакты dbt
- Запускать готовый dbt-проект через Airflow
- Передавать метаданные и lineage проекта в OpenMetadata
О курсе
dbt Core помогает превратить набор SQL-запросов в понятный проект с моделями, зависимостями, тестами и документацией.
В этом курсе мы пройдём весь путь работы с dbt на одном практическом проекте. Начнём с установки dbt Core и подключения к ClickHouse, затем опишем исходные данные, построим слои staging, intermediate и marts, настроим зависимости между моделями и разберём разные способы материализации.
Отдельное внимание уделим качеству данных. Добавим встроенные и собственные тесты, научимся проверять бизнес-правила и документировать модели и столбцы.
Основной путь проекта:
Сырые данные в ClickHouse → dbt-модели → аналитические витрины → тесты → документация
В финальной части курса покажем, как готовый dbt-проект работает в составе платформы данных:
dbt → Airflow → OpenMetadata
Airflow и OpenMetadata не изучаются здесь как отдельные большие темы. Они используются только в том объёме, который нужен для автоматического запуска dbt и передачи метаданных.
Вся практика курса связана в один проект. Мы не будем создавать отдельные демонстрации для каждого урока. Каждая новая модель, проверка и конфигурация продолжает работу, начатую в предыдущих модулях.
К концу курса у вас будет законченный dbt-проект с источниками, моделями, зависимостями, витринами, тестами и документацией.
Для кого этот курс
Начальные требования
Базовое знание SQL: SELECT, JOIN, GROUP BY, CTE и основные операции преобразования данных.
Базовое понимание Docker и умение выполнять команды в терминале.
Возможность запускать Docker-контейнеры на своём компьютере.
Опыт работы с dbt не требуется.
Глубокое знание Python не требуется. Java и Scala не нужны.
Предварительное прохождение курсов по Airflow, OpenMetadata, Kafka или Flink CDC не требуется.
Наши преподаватели
Как проходит обучение
Курс состоит из 7 модулей и 26 последовательных уроков.
В каждом уроке есть подробное объяснение темы, технические схемы, практические примеры, команды, SQL или конфигурации, разбор результата и типичных ошибок.
После изучения темы используются проверочные вопросы с одним правильным вариантом ответа.
Вся практика выполняется в рамках одного проекта. Мы начинаем с сырых данных в ClickHouse и постепенно создаём источники, модели, зависимости, слои staging, intermediate и marts, тесты и документацию.
В финальной части курса готовый dbt-проект запускается через Airflow, а его метаданные и lineage передаются в OpenMetadata.
Основная цепочка курса:
Сырые данные в ClickHouse → dbt-модели → аналитические витрины → тесты → документация
Итог курса:
dbt → Airflow → OpenMetadata
Программа курса
Сертификат
Что вы получаете
- Практический опыт работы с dbt Core на реальном учебном проекте
- Готовую структуру dbt-проекта со слоями staging, intermediate и marts
- Навыки построения зависимостей между моделями и управления их материализацией
- Опыт создания инкрементальных моделей для ClickHouse
- Практику проверки качества данных с помощью встроенных и собственных тестов
- Навыки документирования моделей, столбцов и источников данных
- Понимание того, как устроены артефакты dbt и для чего они используются
- Практический опыт запуска dbt-проекта через Airflow
- Понимание передачи метаданных и lineage из dbt в OpenMetadata
- Итоговый проект, который можно использовать как основу для собственных экспериментов и рабочих задач