Чему вы научитесь
- Применять на практике философию SQL-first подхода и понимать переход индустрии от ETL к ELT.
- Ориентироваться в структуре проекта dbt и настраивать конфигурационные файлы dbt_project.yml и profiles.yml.
- Создавать модели dbt и управлять базовыми материализациями table и view.
- Настраивать сложные материализации materialized view и incremental для оптимизации и обработки больших объемов данных.
- Работать со вспомогательными инструментами dbt: загружать справочники через Seeds, фиксировать историю через Snapshots и изолировать ad-hoc запросы в Analyses.
- Использовать синтаксис Jinja и писать собственные макросы Macros для автоматизации и динамического управления SQL-кодом.
- Вести YAML-документацию проекта и генерировать интерактивный граф зависимостей Data Lineage.
- Внедрять автоматический контроль качества данных с помощью встроенных и собственных кастомных тестов Custom Generic Tests.
О курсе
Добро пожаловать на курс "dbt с нуля"!
Здесь Вы познакомитесь с основными возможностями dbt и его ключевой ролью в современном Data Stack. Вы изучите структуру dbt-проекта, разберетесь с принципами работы макросов и вспомогательных инструментов, освоите базовые типы материализации, а также научитесь правильно тестировать и документировать свои модели данных.
Чат курса
В данном чате Вы сможете задавать вопросы, обсуждать практические задания и получать поддержку от преподавателя и участников: dbt с нуля
Для всех желающих открыт практический курс «dbt + ClickHouse»!
Это интенсивная программа для аналитиков и дата-инженеров, где вы на практике освоите Modern Data Stack на dbt + ClickHouse. Вы с нуля построите медальонную архитектуру (Raw, Bronze, Silver, Gold) на реальном датасете Ecommerce, разберетесь в специфике движков ClickHouse и научитесь автоматизировать SQL-код с помощью макросов dbt.
Ссылка на курс: dbt с нуля — DWH на ClickHouse
Курс состоит из модулей:
📘 Введение: Основы dbt
Изучим базовые концепции dbt:
- Узнаем историю создания dbt.
- Поймем принципиальную разницу между подходами ETL и ELT.
- Рассмотрим преимущества SQL-first подхода и разберем стандартную структуру dbt-проекта.
🏗️ Основные объекты dbt: Материализации и инструменты
Перейдем к основным объектам dbt, из которых строится хранилище данных. На этом этапе мы:
- Изучим назначение конфигурационных файлов
dbt_project.ymlиprofiles.yml. - Рассмотрим базовые виды материализации моделей и параметры блока
config. - Разберем на примерах вспомогательные инструменты: Seeds, Snapshots, Analyses, а также возможности шаблонизатора Jinja и макросов.
🧪 Тестирование и документация: Качество данных
Научимся писать документацию и тесты к данным. В этом модуле мы:
- Опишем структуру данных и сгенерируем интерактивную документацию.
- Применим встроенные и напишем собственные тесты для проверки данных.
Для кого этот курс
Начальные требования
Для успешного прохождения курса необходимо:
— Знаете SQL: умеете работать с CTE, SELECT, WHERE, GROUP BY, JOIN, а также понимаете основные объекты баз данных: таблицы, поля, представления, материализованные представления.
— Имеете представление о Jinja.
— Умеете работать с командной строкой.
Не обязательно, но будет плюсом:
— Слышали про ClickHouse.
— Знаете отличия OLAP от OLTP.
Наши преподаватели
Как проходит обучение
Каждый урок содержит в себе
- Теорию: понятное объяснение концепций без лишней «воды».
- Практические примеры: разбор теории на понятных, приближенных к реальности примерах.
- Задания: проверочные тесты и задачи для закрепления материала.