Практикум-курс по оркестрации данных на Dagster и DLT

На курсе вы на практике разберетесь с ETL-процессами, OLTP/OLAP, batch и stream обработкой. Познакомитесь с Dagster: SDA, Resources, IOManagers и Asset Checks. Создадите Python-проект, настроите Git и GitHub, опишете конфигурацию пайплайнов в YAML, подключитесь к данным из кода и соберете ETL-пайплайн.

Дополнительно:…
Средний уровень

Чему вы научитесь

  • Выбирать ETL, ELT или EtLT под требования бизнеса.
  • Извлекать и нормализовать данные на Python.
  • Готовить первый пайплайн к загрузке в аналитическое хранилище.
  • Проектировать устойчивые пайплайны данных.
  • Разделять бизнес-логику и инфраструктуру через Resources и IOManagers.
  • Запускать локальный проект Dagster и настраивать проверки качества.
  • Проектировать связанные цепочки ассетов.
  • Управлять контекстом выполнения и логированием.
  • Внедрять Asset Checks, чтобы останавливать обработку при ошибках.
  • Деплоить пайплайны и работать с интеграциями

О курсе

Это бесплатная демоверсия сюжетного симулятора «ETL-разработка и оркестрация на Dagster, DLT и Apache Nifi». Она включает первые три урока из полной программы:

  1. Теория ETL — разбираем, как сырые данные превращаются в бизнес-ценность.

  2. Введение в Dagster — знакомимся с экосистемой и Software Defined Assets (SDA).

  3. SDA в Dagster — создаем первые ассеты, настраиваем зависимости и смотрим граф данных в UI.

Полная версия курса включает еще 16 уроков, разбитых на три модуля:

  • Dagster (уроки 3–9): углубленная работа с Configurable Resource, IOManager, Partitions, автоматизацией, Ops/Jobs/Hooks, интеграцией с dbt и деплоем.

  • Apache Nifi (уроки 10–13): визуальная обработка данных, создание потоков, получение и сохранение данных в PostgreSQL.

  • DLT (уроки 14–19): создание пайплайнов, работа с REST API, файлами из облака и локальной ФС, интеграция с Dagster и итоговый end-to-end проект.

Итог полного курса — готовый ETL-пайплайн для аналитического хранилища и уверенные навыки оркестрации данных.

Для кого этот курс

1. Аналитик данных, который хочет вырасти до инженера данных Вы уже умеете писать сложные SQL-запросы и строить дашборды в Tableau или Power BI, но ваши отчеты постоянно тормозят из-за неоптимизированных выгрузок. Вы видите, что для перехода на следующий уровень вам не хватает навыков построения надежных ETL-пайплайнов, а ваши текущие решения на Python и Airflow кажутся вам "колхозными". Вы ищете современный, промышленный подход к оркестрации данных. 2. Junior Data Engineer, который работает с «кустарными» пайплайнами Вы работаете инженером данных первый год и отвечаете за пайплайны, которые были написаны "на коленке" вашим предшественником. Они постоянно падают, их невозможно отладить, а добавление нового источника данных превращается в квест. Вы слышали про Dagster и слышали, что он решает эти проблемы, но не знаете, с чего начать его внедрение в реальном проекте. 3. Техлид или архитектор, который выбирает стек для команды Ваша команда переросла возможности старых инструментов оркестрации. Запуски пайплайнов стали непредсказуемыми, сложно отследить качество данных, а документация по процессам устарела в тот же день, когда была написана. Вы ищете решение, которое обеспечит прозрачность, контроль качества и позволит масштабироваться. Вы выбрали Dagster как кандидата, но вам нужно быстро, на конкретном проекте, оценить его возможности и принять решение.

Начальные требования

Курс рассчитан на начинающих в оркестрации данных, но предполагает наличие базовых навыков. Убедитесь, что до старта у вас есть:

  1. Базовое знание Python. Вам не нужно быть экспертом, но вы должны уверенно читать и понимать код на Python, знать основы синтаксиса и работы с функциями. В ходе курса вы будете писать код для ETL-пайплайнов, поэтому эти навыки необходимы для старта.

  2. Понимание основ SQL. Вы будете работать с данными в аналитических хранилищах, поэтому важно понимать, что такое таблицы, и уметь читать простые SELECT-запросы. Сложные запросы мы будем писать вместе, но база должна быть.

  3. Базовые навыки работы с командной строкой (терминалом). В курсе мы будем устанавливать пакеты, запускать проект Dagster и выполнять другие команды. Вам не нужно быть гуру командной строки, но вы должны уметь открыть терминал, перейти в нужную папку и выполнить готовую команду.

  4. Общее понимание ETL-процессов. Будет плюсом, если вы уже знакомы с концепцией ETL (Extract, Transform, Load). Если нет — не страшно, в первом же уроке мы подробно разбираем эту тему.

Наши преподаватели

Аватар пользователя

Как проходит обучение

Это не просто курс, а практикум. Каждый шаг в тренажере — это новая вводная от лида или правка от заказчика. 

Программа курса

загружаем...

Что вы получаете

  • Практические навыки в первой миссии. Вы пройдете полноценный блок «Теория ETL», где:
  • Разберетесь, как сырые данные превращаются в бизнес-ценность через ETL-процессы.
  • Узнаете, чем отличаются ETL, ELT и EtLT, и научитесь выбирать подход под разные бизнес-задачи.
  • Напишете свой первый Python-скрипт для извлечения и нормализации данных.
  • Создадите первый пайплайн и подготовите его к загрузке в аналитическое хранилище.
  • Знакомство с экосистемой Dagster. Вы не просто прочитаете про инструмент, а сразу начнете с ним работать в реальной среде:
  • Поймете концепцию Software Defined Assets (SDA).
  • Увидите, как выглядит граф данных в UI Dagster.
  • Научитесь запускать локальный проект Dagster и настраивать первые проверки качества.
  • Возможность оценить формат обучения. Это ключевая цель демо. Вы сможете:
  • Поработать в нашей облачной IDE, где всё уже настроено для работы.
  • Оценить, насколько вам подходит формат «сюжетного симулятора» с заданиями по реальным бизнес-кейсам.
  • Понять логику и сложность курса, чтобы принять взвешенное решение о покупке полной версии.
Price: Бесплатно

Расскажите о курсе друзьям

Price: Бесплатно