Чему вы научитесь
- Разрабатывать веб‑парсеры на Go от простых до продвинутых.
- Писать первые парсеры для новостей, погоды и интернет‑магазинов.
- Работать со структурированными данными: JSON, структуры, указатели, мапы, методы и интерфейсы.
- Использовать HTML‑парсинг и CSS‑селекторы для извлечения данных со страниц.
- Сохранять результаты в файлы и форматы CSV.
- Разрабатывать многопоточные парсеры с горутинами и каналами.
- Подключать базу данных SQLite и выполнять простые запросы.
- Реализовывать умный retry, таймауты, обработку ошибок и обход блокировок через прокси.
- Строить очереди задач и worker pool для параллельной обработки.
- Настраивать мониторинг и метрики парсера.
- Проектировать и собирать production‑ready парсер с понятной архитектурой.
О курсе
Всем привет! В этом курсе мы сфокусируемся именно на веб парсинге на Go — от самых первых простых скриптов до продвинутого production‑ready парсера.
Курс построен вокруг трёх логичных модулей:
1. Первые парсеры — вы сразу начнёте с практики и напишете свои первые парсеры:
- 1.1 Ваш первый парсер за 15 минут
- 1.2 Парсер новостей — изучаем переменные на практике
- 1.3 Парсер погоды с циклами
- 1.4 Умный парсер с условиями
- 1.5 Модульный парсер с функциями
После этого модуля вы уже будете уверенно чувствовать себя в базовых конструкциях Go именно в контексте парсинга.
2. Структурированные парсеры — переходим от «скриптов» к аккуратной архитектуре:
- 2.1 Парсер с JSON структурами
- 2.2 Парсер с указателями и мапами
- 2.3 Парсер с методами и интерфейсами
- 2.4 Парсер новостных сайтов с HTML
- 2.5 Парсер товаров интернет‑магазинов
- 2.6 Сохранение в файлы и CSV
На этом этапе вы научитесь оформлять код в виде структур, методов и интерфейсов, работать с JSON и HTML, а также сохранять результаты в удобные форматы.
3. Продвинутые парсеры — здесь начинается «боевой» уровень:
- 3.1 Многопоточный парсер с горутинами
- 3.2 Парсер с базой данных SQLite
- 3.3 Умный парсер с retry и таймаутами
- 3.4 Парсер с прокси и обходом блокировок
- 3.5 Парсер с очередями и воркерами (Worker pool)
- 3.6 Мониторинг и метрики парсера
- 3.7 Production‑ready парсер
В финале курса вы соберёте полнофункциональный парсер с многопоточностью, базой данных, ретраями, прокси, мониторингом и очередями задач — то есть максимально приближенный к реальному production‑сервису.
Если поначалу что-то не понятно, просто двигайтесь вперёд: по мере практики станет ясно, как всё взаимосвязано. К курсу всегда можно вернуться и пересмотреть отдельные уроки.
Если совсем не получается разобраться, пишите в комментариях или в чате Telegram https://t.me/laschoolchat, и я обязательно постараюсь помочь.
В курсе используется несколько сторонних инструментов (БД, утилиты, вспомогательные сервисы). Я не углубляюсь в каждый из них, но показываю минимально необходимый набор действий, чтобы вы могли запустить и использовать их в контексте парсинга. При желании вы сможете самостоятельно углубиться в документацию или посмотрите остальные мои курсы, там подробно разбираются некоторые из тем и инструментов.
Для кого этот курс
Начальные требования
-
Установленный Go: Getting Started with Go
-
Любая IDE, например: Visual Studio Code
-
Базовое понимание переменных, условий и циклов на любом языке программирования. (можно сначала пройти бесплатный курс по основам го https://stepik.org/course/264489/promo)
-
Огромное желание учиться и немного упорства.
Наши преподаватели
Как проходит обучение
Пошаговое написание парсеров: от самого простого до продвинутого.
Постоянная практика: каждый урок содержит живой пример, который вы можете запустить и доработать под себя.
Постепенное усложнение: сначала простые конструкции Go, затем структуры и интерфейсы, далее — многопоточность, базы данных, мониторинг.
Создание production‑ready парсера, который объединяет всё, что вы изучили в курсе.
Программа курса
Что вы получаете
- Возможность тут же применять теорию на практике на реальных примерах парсеров.
- Доступ к обсуждениям и форуму для разбора решений.
- Поддержку в Telegram‑чате, где можно задать вопросы и получить ответ в течение дня.
- Набор готовых парсеров (новости, погода, товары и др.), которые можно использовать как основу для своих проектов.
- Итоговый проект — production‑ready парсер, который можно показать в портфолио или использовать в реальной работе.