Scala для дата-инженеров

Как стать Senior Data Engineer за 3 года и не сойти с ума?

Меня зовут Дима. Я Senior Data Engineer в Сбере. Мой путь включает шесть лет фундаментального образования на ПМИ в НИЯУ МИФИ, стажировку в «Гринатоме» и рост от начинающего инженера до работы с архитектурой высоконагруженных платформ данных.

Курс входит в образовательную линейку Telegram-канала «Логово Дата-Инженера». В канале выходят hard-skill материалы, live-собеседования, архитектурные разборы и практические карты роста от junior до senior.

О курсе

Scala для дата-инженеров — сфокусированный практический маршрут по Scala для обработки данных. Все темы связаны одним мини-ETL: от строк входного CSV до валидированных заказов, отчёта об отклонениях и агрегата выручки

Технологическая база: Код на Scala 2.13.

Кому подойдёт

• дата-инженеры и аналитические инженеры, которым нужно читать и писать Scala-код
• Python- и SQL-разработчики, переходящие к типизированным JVM-пайплайнам
• начинающие Scala-разработчики, которым важен прикладной контекст обработки данных

Чему вы научитесь

• создавать и воспроизводимо запускать проект на Scala 2.13, JDK 17 и sbt
• выбирать типы для идентификаторов, денег, времени и результатов разбора
• строить преобразования через map, filter, flatMap, foldLeft и groupMapReduce
• моделировать доменные данные case-классами, ADT, Option и Either
• безопасно читать и записывать файлы, не теряя ресурсы и ошибки
• проверять границы данных автоматическими тестами
• собирать этапы в мини-ETL с отчётом о принятых и отклонённых записях

Как построена программа

1. Окружение: версии JVM и Scala, бинарная совместимость, sbt и рабочий цикл.
2. Контракты данных: неизменяемые значения, деньги, разбор строк и валидация.
3. Преобразования: функции, коллекции, map, flatMap, foldLeft и groupMapReduce.
4. Модель ошибок: case class, ADT, Either и границы компонентов.
5. Качество: Using, java.time, тесты, конфигурация, логи и сборка.
6. Мини-ETL: чтение, проверка, агрегация, запись и разбор результата.

Формат обучения

В курсе 17 модулей и 117 уроков. Каждый урок содержит подробное объяснение, небольшие нарастающие примеры, проверку понимания и практические задачи. Решения практики доступны для разбора после самостоятельной попытки.

Всего внутри 582 тестовых вопросов и 450 практических задач. Ориентировочная нагрузка: 25-40 часов. Курс рассчитан на самостоятельный темп без обязательных дедлайнов.

Итоговый проект

Консольный мини-ETL для заказов: чтение ограниченного CSV-контракта, типизированный разбор, накопление причин отклонения, агрегация выручки по дате и валюте, запись результата и автоматические тесты.

Что потребуется на старте

• базовые навыки программирования: переменные, условия и функции на любом языке
• JDK 17 и терминал; установка и команды проверки разобраны в начале курса
• опыт со Spark не требуется: курс изучает Scala и готовит основу для следующего шага

Как получить максимум пользы

1. Запускайте примеры и меняйте входные данные, а не ограничивайтесь чтением.
2. Сначала отвечайте на тест и решайте задачу самостоятельно, затем сверяйтесь с разбором.
3. Ведите журнал ошибок, решений и технических компромиссов.
4. Собирайте упражнения в отдельный репозиторий и регулярно возвращайтесь к старым задачам.
5. Связывайте каждый инструмент с проблемой, которую он решает в реальной системе.

Результат прохождения

Вы получите небольшой запускаемый проект и сможете объяснить, где в нём зафиксированы контракты данных, как учитываются плохие записи и какими тестами подтверждается корректность агрегата.

Telegram: Логово Дата-Инженера

В Telegram-канале автора публикуются материалы по Rust, Java, Python, Go, SQL, pandas, Polars, Scala, Spark, Flink, Kafka, Hadoop, Airflow, DWH, Trino, ClickHouse, S3, файловым форматам, Docker/Kubernetes, разборы собеседований и архитектура Enterprise-проектов. Подписка поможет дополнять последовательную программу курса живыми кейсами из профессии.