Чему вы научитесь
- Применять архитектуру Data Lakehouse для решения задач, где традиционные DWH и Data Lake неэффективны.
- Строить и управлять таблицами в Apache Iceberg, используя современные каталоги метаданных.
- Использовать Time Travel для аудита, восстановления данных и анализа исторических изменений.
- Реализовывать эволюцию схемы данных без простоев и нарушения обратной совместимости.
- Проектировать эффективное партицирование для оптимизации производительности запросов.
- Анализировать и оптимизировать работу с метаданными, используя Puffin-файлы и системные процедуры.
- Сравнивать Apache Iceberg с альтернативами (Delta Lake, Apache Hudi) и выбирать оптимальный инструмент под конкретную задачу.
О курсе
Курс "Data Lakehouse на базе Apache Iceberg" — это практическое руководство по переходу к современной архитектуре данных. Мы начнем с основ: проследим эволюцию от DWH до Data Lake, обсудим проблемы "озер данных" (отсутствие ACID, сложность обновлений) и представим концепцию Lakehouse как идеальный компромисс.
Далее мы сфокусируемся на Apache Iceberg:
-
Разберем его внутреннее устройство: структуру метаданных, работу с Hive Metastore и современными каталогами.
-
Научимся использовать уникальные возможности, такие как путешествие во времени (Time Travel) , безопасная эволюция схемы и эффективное партицирование.
-
Познакомимся с вспомогательными файлами (Puffin) и системными процедурами для управления жизненным циклом данных.
-
На практических примерах сравним Iceberg с конкурентами (Delta Lake, Apache Hudi), чтобы вы могли сделать осознанный выбор.
Курс состоит из видеолекций, текстовых материалов и практических заданий, которые помогут закрепить знания. В результате вы сможете проектировать и сопровождать современные озерные хранилища данных, готовые к обработке больших объемов информации.
Для кого этот курс
Начальные требования
-
Базовое понимание концепций хранилищ данных (DWH) и озер данных (Data Lake).
-
Знакомство с SQL на уровне написания сложных запросов.
-
Понимание основ экосистемы Big Data (будет плюсом знание Apache Spark).
-
Наличие ноутбука с возможностью установки Docker для выполнения практических заданий.
Программа курса
В курс входят
- 14 уроков
- 37 тестов
Наши преподаватели
Что вы получаете
- Глубокие, структурированные знания о современной архитектуре Data Lakehouse и ее преимуществах.
- Практические навыки работы с Apache Iceberg, готовые к использованию в реальных проектах.
- Возможность сразу применить полученные знания для оптимизации и модернизации своих рабочих пайплайнов.
- Уверенность в выборе технологий для хранения и обработки больших данных.