Чему вы научитесь
- Освоите полный стек современного Data Engineering — от SQL до построения информационных систем.
- Научитесь работать с большими данными, используя технологии Kafka, Apache Airflow, ClickHouse, Spark и MinIO.
- Сможете строить end-to-end пайплайны для обработки данных в реальном времени и в батч-режиме.
- Разберётесь в архитектуре DWH и сможете проектировать хранилища данных.
- Освоите принципы построения ETL/ELT-процессов и научитесь автоматизировать их.
- Научитесь оптимизировать запросы SQL, строить аналитические витрины и работать с большими таблицами.
- Поймёте, как работает инфраструктура, и научитесь поднимать сервисы через Docker и Docker Compose.
- Овладеете навыками DevOps-культуры для Data Engineering: мониторинг, алертинг, CI/CD-подходы.
- Научитесь писать продакшн-код на Python, разделять задачи, строить модульную архитектуру.
- Поймёте, как устроены очереди, потоки данных, партиционирование, шардинг, репликация.
- Сможете проектировать и разрабатывать отказоустойчивые конвейеры обработки данных.
- Разберётесь в принципах безопасности данных и минимизации рисков в инфраструктуре.
- Получите навыки командной работы с Git, GitHub, code review и рабочими пайплайнами.
- Освоите инструменты визуализации и аналитики данных.
- Сможете интегрировать различные источники данных и превращать их в полезные аналитические потоки.
- Научитесь применять стандарты и форматы хранения данных (Parquet, Avro, JSON, ORC).
- Получите реальный опыт решения рабочих задач Data Engineer и построите свой полноценный проект-портфолио.
О курсе
Для кого этот курс
Стажировка будет полезна тем, кто стал «вечным студентом» и хочет стать практикующим разработчиком. Также будет полезна тем, кто хочет получить практический опыт решения задач дата инжениринга.
Начальные требования
-
Необходимо уметь кодить основные конструкции Python (for, while, try/except, основные структуры данных)
-
Нужно знать любой диалект SQL на уровне написания простых запросов (фильтрация, join)
-
git — необходимо уметь создавать репозитории GIT и уметь пушить в удалённый репо (если что - научим)
-
Наличие компьютера с более 8 Гб оперативной памяти и жесткий диск от 128 Гб.
Наши преподаватели
Программа курса
загружаем...
Сертификат
NovaData.
Сколько стоит обучение
Price:
199 990 ₽
Вы попробовали и поняли, что вам сейчас не подходит этот курс? Ничего страшного, мы вернём вам деньги в течение 30-ти дней после покупки.