Распределённые системы хранения, обработки данных: Hadoop, Spark

Погрузитесь в мир больших данных: от основ Hadoop и HDFS до продвинутой оптимизации запросов с помощью формата ORC.

Курс проведёт вас через всю экосистему Hadoop — от распределённого хранения (HDFS) и управления ресурсами (YARN) до модели обработки MapReduce и её эволюции в Apache Spark. Вы узнаете, как Hive…

Чему вы научитесь

  • Понимать предпосылки появления распределённых систем и эволюцию от DWH к Data Lake.
  • Объяснять архитектуру Hadoop и роль каждого компонента: HDFS, YARN, MapReduce.
  • Описывать принципы работы HDFS — распределённого хранения с репликацией и отказоустойчивостью.
  • Анализировать механизмы управления ресурсами в YARN и жизненный цикл приложений.
  • Понимать модель MapReduce и её применение для параллельной обработки данных.
  • Использовать HiveQL для создания таблиц и выполнения аналитических запросов в Hive.
  • Различать управляемые и внешние таблицы, понимать принципы партицирования и кластеризации.
  • Оценивать преимущества и ограничения классических инструментов экосистемы Hadoop.
  • Определять место Spark в современном ландшафте Big Data и его отличие от MapReduce.
  • Понимать внутреннее устройство формата ORC: индексацию, фильтры Блума и их роль в оптимизации запросов.

О курсе

Курс построен по принципу «от общего к частному»:

  1. Сначала вы понимаете проблему (Data Lake → Data Swamp) и инструменты её решения (Hadoop).

  2. Затем изучаете компоненты экосистемы (HDFS, YARN, MapReduce, Hive, Spark).

  3. И наконец, погружаетесь в оптимизацию — формат ORC, индексацию, фильтры Блума.

Для кого этот курс

Начинающие инженеры данных (Data Engineers) — хотите понять, как устроена экосистема Big Data с нуля. Аналитики данных (Data Analysts) — работаете с большими данными через Hive и хотите ускорять свои запросы. Разработчики (Backend, Python, Java) — планируете перейти в сферу обработки больших данных. Студенты и выпускники IT-специальностей — хотите получить конкурентное преимущество на рынке. Технические менеджеры — хотите понимать, на каких технологиях строится инфраструктура данных в компании. Все, кто работает с Data Lake — и хотите превратить его из «болота» в структурированное хранилище.

Начальные требования

  • Базовое понимание SQL (SELECT, WHERE, GROUP BY) — будет достаточно.

  • Общее представление о работе с файлами и данных (что такое CSV, JSON) — приветствуется.

  • Опыт программирования не требуется, но полезно иметь базовые навыки работы с командной строкой (терминалом).

  • Знание Python или Java — не обязательно, но упростит понимание примеров с Spark.

Программа курса

В курс входят

  • 13 уроков
  • 19 тестов
загружаем...

Наши преподаватели

Аватар пользователя

Отзывы прошедших курс

5
из 5
из 3 отзывов
3 отзыва
загружаем...

Сколько стоит обучение

Бесплатно

Расскажите о курсе друзьям

Бесплатно