About this course
Data engineering плотно вошел в IT-процессы современных организаций. Чтобы эффективно принимать решения на основе собираемых данных, одного лишь специалиста data science не всегда достаточно. Нужен человек, который организует эффективный и бесперебойный сбор, укладку и хранение информации. Зачастую такой специалист обладает широким набором навыков:
- понимание ОС на базе Unix
- Software engineering
- основы баз данных (SQL, NoSQL, NewSQL и т.д.)
- распределенные системы
В этом курсе мы затронем один из важнейших этапов дата-инженера, а именно построение дата-пайплайнов. Я расскажу про такой замечательный и простой инструмент как Luigi в экосистеме Python, а после напишем боевой пайплайн.
Приятного обучения!
Whom this course is for
backend разработчики, data-инженеры, data-аналитики
Initial requirements
Для прохождения курса необходимы базовые знания языка программирования Python и начальный уровень владения ОС Linux