Чему вы научитесь
- Вы сможете создавать приложения на Python с использование библиотек
- Научитесь понимать, какой сайт хорош для парсинга, а какой нет
- Узнаете, какие есть варианты распознать парсинг со стороны клиента
- Разберетесь в чем ключевая разница между парсингом и скрепингом
- Практически познакомитесь с нем, как парсить различные сайты, кабинеты, почты
- Научитесь работать с ClickHouse
- Прокачаете софт скиллы в общении с другими студентами
- Научитесь автоматизировать свои приложения с помощью AirFlow
- Узнаете, что такое Docker и как его применять
- Напишите свой полноценный парсер, который войдет в Ваше портфолио
О курсе
Курс от авторов популярного курса "Data engineer с нуля до junior". Основная цель курса - рассказать, показать и научить парсить информацию с различных источников. Основной стек на курсе - Python, Selenium+BS4+imap, AirFlow, Clickhouse, Docker. Для более успешного прохождения курса приветствуются базовые знания по Python. Отлично, если до этого курса, Вы прошли наш курс "Привет, я - Python."
Во время прохождения курса Вам будут доступны лекционные и практические задания :
- Лекционные материалы позволят Вам углубиться в тему и приобрести багаж знаний для решения практики.
- Практические материалы представляют из себя тесты после каждой лекции, задания на написание кода и финальное выпускное задание на выбор. Задания на написание кода проверяется преподавателями вручную.
Общее содержание курса :
- Введение и знакомство
- Знакомство с парсингом
- Знакомство с ClickHouse
- Как устроены сайты?
- Защита от парсинга и как ее обходить
- Знакомство с requests
- Знакомство с selenium
- Знакомство с bs4
- Забираем данные с почты
- Введение в docker
- Автоматизация парсера
- Итоговый проект
По окончании курса Вам будет предложено решить финальное задание на выбор, которое пойдет в Ваше портфолио и отразит все знания, полученные на курсе. На протяжении всего курса Вам будет доступен телеграмм канал с одногруппниками и преподавателями, где Вы сможете задать свой вопрос.
Желаю удачи в освоении нового, но очень интересного материала! Обратите внимание, что курс находится в разработке и до выхода курса могут добавиться еще главы.
Для новостей о курсе, важных обновлениях и прочих интересных вещах можно узнавать из группы в телеграмме - @parsing_stepik
Для кого этот курс
Курс будет полезен всем людям, будь то школьники, студенты, взрослые, пенсионеры, люди, желающие освоить новое направление, желающие поменять род деятельности, изучить новые задачи.
Начальные требования
- Понимание простейшей математики, умение решать поставленные задачи самостоятельно.
- Наличие компьютера или ноутбука от 8 гб оперативной памяти и от 128 гб на жестком диске.
- Базовое знание Python.
Наши преподаватели
Как проходит обучение
Весь курс состоит из нескольких модулей : лекционных и практических.
- Лекционные материалы позволят Вам углубиться в тему и приобрести багаж знаний для решения практики.
- Практические материалы представляют из себя тесты после каждой лекции, задания на написание кода и финальное выпускное задание на выбор.
На связи с Вами всегда будет находиться преподаватель, который с радостью ответит на Ваши вопросы, и студенты в телеграмм канале.
Программа курса
Что вы получаете
- Доступ к форуму решений
- Сертификат о прохождении курса
- Готовое портфолио для дальнейшего трудоустройства
- Знания и нестандартные задачи, с которыми предстоит встретиться на работе
- Общение с одногруппниками, единомышленниками и преподавателем