Чему вы научитесь
- Вы сможете создавать высоконагруженные приложения с использованием Spark
- Узнаете, что такое HDFS и экосистема Hadoop (Hive, Cloudera, Yarn,Hue)
- Поймете откуда берутся большие данные и где их лучше хранить
- Научитесь писать нетривиальный код на Scala, SQL, Python
- Узнаете, как работать с системой GIT
- Познакомитесь с тем, что такое DWH и NoSQL хранилища данных
- Узнаете, что такое оркестрация процессов и сможете писать свои DAG (Airflow, Oozie)
- Научитесь работать с инструментами коллективной работы (Jira, Confluence)
- Сможете выполнять запросы Linux в терминале, научитесь писать запросы на языке Bash
- Узнаете о работе в инструменте PostgreSQL и Clickhouse
- Освоите современные способы и методы мониторинга рабочих процессов (Grafana, Tableau)
- Прокачаете софт скиллы в общении с другими студентами
О курсе
Основная цель курса - освоение профессии data engineer с нуля, без каких-либо начальных знаний. Курс - бестселлер, так как только в нем на всей платформе Stepik глубоко рассматривается и прорабатывается весь инструментарий стека (SQL, Scala, Bash, Hadoop, Linux и GIT). Курс поможет Вам получить нужный багаж знаний для успешного трудоустройства на грейд (Junior). Во время прохождения курса Вам будут доступны лекционные и практические задания :
- Лекционные материалы позволят Вам углубиться в тему и приобрести багаж знаний для решения практики.
- Практические материалы представляют из себя тесты после каждой лекции, задания на написание кода и финальное выпускное задание на выбор. Каждое задание проверяется преподавателями вручную.
Общее содержание курса :
- Знакомство с платформой и сдача практических задач
- Большие данные или Big Data
- Введение в базы данных
- Обустраиваем рабочее место
- Введение в SQL
- Система контроля версий GIT
- Столбцовые (колоночные) базы данных. Введение в ClickHouse
- DWH - Data WareHouse
- NoSQL хранилища данных
- Озера данных
- Распределенная файловая система HDFS
- Программирование на Python
- Алгоритмы и сортировки, big O
- Обработка данных с использованием движка Spark
- Инструменты стека Hadoop
- Расширение команд Spark
- Написание программ на скриптовых языках программирования
- Программирование на Scala
- Введение в Docker
- Оркестраторы рабочих процессов при работе с большими данными
- Знакомство с Kafka
- Мониторинг витрин и приложений
- Инструменты командной работы
- Разбор основных вопросов на собеседованиях
- Итоговая работа
По окончании курса Вам будет предложено решить финальное задание на выбор, которое пойдет в Ваше портфолио и отразит все знания, полученные на курсе. На протяжении всего курса Вам будет доступен телеграмм канал с одногруппниками и преподавателями, где Вы сможете задать свой вопрос.
Желаю удачи в освоении нового, но очень интересного материала!
Для новостей о курсе, важных обновлениях и прочих интересных вещах можно узнавать из группы в телеграмме - https://t.me/data_stepic
Для кого этот курс
Курс будет полезен всем людям, будь то школьники, студенты, взрослые, пенсионеры, люди, желающие освоить новое направление, желающие поменять род деятельности. На данный момент направление больших данных терпит недостаток кадрового резерва, давайте исправлять это!
Начальные требования
- Понимание простейшей математики, умение решать поставленные задачи самостоятельно.
- Наличие компьютера или ноутбука от 8 гб оперативной памяти и от 128 гб на жестком диске.
Наши преподаватели
Как проходит обучение
Весь курс состоит из нескольких модулей : лекционных и практических.
- Лекционные материалы позволят Вам углубиться в тему и приобрести багаж знаний для решения практики.
- Практические материалы представляют из себя тесты после каждой лекции, задания на написание кода и финальное выпускное задание на выбор.
На связи с Вами всегда будет находиться преподаватель, который с радостью ответит на Ваши вопросы, и студенты в телеграмм канале.
Программа курса
Сертификат
Что вы получаете
- Доступ к форуму решений
- Сертификат о прохождении курса
- Готовое портфолио для дальнейшего трудоустройства
- Помощь с трудоустройством
- Знания и нестандартные задачи, с которыми предстоит встретиться на работе
- Общение с одногруппниками, единомышленниками и преподавателем