Data engineering плотно вошел в IT-процессы современных организаций. Чтобы эффективно принимать решения на основе собираемых данных, одного лишь специалиста data science не всегда достаточно. Нужен человек, который организует эффективный и бесперебойный сбор, укладку и хранение информации. Зачастую такой специалист обладает широким набором навыков:

• понимание ОС на базе Unix
• Software engineering
• основы баз данных (SQL, NoSQL, NewSQL и т.д.)
• распределенные системы

В этом курсе мы затронем один из важнейших этапов дата-инженера, а именно построение дата-пайплайнов. Я расскажу про такой замечательный и простой инструмент как Luigi в экосистеме Python, а после напишем боевой пайплайн.

Приятного обучения!