Чему вы научитесь
- Понимать, как колоночная память Apache Arrow влияет на вычисления
- Писать преобразования через Polars Expressions API
- Выбирать контекст select, with_columns, filter и group_by
- Собирать LazyFrame и читать оптимизированный план запроса
- Контролировать типы и схему DataFrame
- Соединять таблицы и работать с вложенными типами
- Считать окна и временные ряды, не теряя типы и порядок строк
О курсе
Практический курс для тех, кто уже знает Pandas и хочет перейти на Polars — DataFrame-движок на Rust и Apache Arrow. Упор на понимание, почему движок так устроен: колоночная память, выражения, ленивый план и строгие типы.
Что внутри
- 43 задачи с автопроверкой — пишете в браузере код в API-стиле
polars, устанавливать ничего не нужно; - разбор после каждой задачи: эталонное решение и почему оно именно такое;
- строгая проверка схемы — как в проде: перепутали
Int64иFloat64, и задача не засчитана; - анимированные объяснения механики: скользящее окно, pushdown фильтра, колоночное чтение, eager против lazy;
- справочники под рукой: шпаргалка типов, «как читать отказ автопроверки», миграция Pandas → Polars, карта «что нужно — каким методом»;
- выпускной проект — сквозная аналитика котировок из пяти связанных этапов.
Программа
- Архитектура движка и основы Expressions API
- Контексты вычислений и преобразования данных
- Ленивый режим (LazyFrame) и оптимизация запросов
- Tidy Data, объединение таблиц и вложенные типы
- Временные ряды, окна и пропуски в данных
- Промышленная эксплуатация: SQL, подключение к БД, стриминг, ML-конвейер
- Выпускной проект: от свечей к торговому сигналу
Кому подойдёт
- аналитику, который упёрся в скорость и память Pandas;
- инженеру данных, который строит конвейеры и хочет ленивые планы и предсказуемые типы;
- тому, кто уже пробовал Polars по документации и хочет разложить всё по полкам.
Как проходить
В каждом модуле: теория с примерами и разбором механики → две практики с автопроверкой → разбор решения. Код исполняется в браузере в учебной совместимой среде. Проверка сравнивает и значения, и типы результата — как реальный пайплайн.
Честно о среде задач
В песочнице Stepik нет пакета Polars, поэтому браузерные задачи выполняются на учебном совместимом рантайме. Он поддерживает именно тот поднабор API, который нужен в курсе, и проверяет схему и значения. Для работы с файлами, реальными БД и всем API целиком нужен локально установленный официальный Polars.
Перевод и адаптация на основе книги «Modern Polars» Кевина Хиви, распространяемой по лицензии CC-BY-4.0.
Примеры кода и заданий адаптированы из открытых материалов Polars и учебных ноутбуков Лиама Браннигана (лицензия MIT).
Для кого этот курс
Курс для тех, кто уже пишет на Pandas и упёрся в его пределы.
- аналитик, у которого
read_csvсъедает всю память, а groupby считается минутами; - инженер данных, который строит конвейеры и хочет ленивые планы и предсказуемые типы;
- тот, кто уже пробовал Polars по документации и хочет разложить механику по полкам.
Для знакомства с самим анализом данных курс не подойдёт: Pandas и SQL здесь предполагаются известными.
Начальные требования
Что нужно уметь до старта:
- Pandas на уровне фильтрации, groupby и merge — без подсказки;
- Python: функции, списки, словари, чтение чужого кода;
- базовый SQL поможет в модуле про Polars SQL, но не обязателен.
Ставить ничего не нужно: код исполняется прямо в браузере.
Программа курса
В курс входят
- 22 урока
- 45 тестов
- 43 интерактивные задачи