Чему вы научитесь
- Научитесь читать схемы архитектур основанных на Трансформерах.
- Изучите принципы проектирования современных LLM.
- Понимать алгоритм токенизации текста.
- Реализовывать ключевые компоненты GPT.
- Управлять креативностью модели.
- Собирать и подготавливать данные для обучения.
- Настраивать Pre-train цикл обучения LLM.
О курсе
Один из самых эффективных способов разобраться как работает тот или иной алгоритм — реализовать его самому. Этим мы и займемся в данном курсе. А реализовывать будем модель GPT-1 и все ее компоненты:
- Токенизатор (BPE)
- Эмбеддинги (Токенов и Позиционные)
- Блок Декодера:
- Multi-Head Attention
- FeedForward-слои
- Остаточные связи
- Вероятностная генерация
После чего соберем эти компоненты в единую LLM и настроим процесс обучения (Pre-train).
И все это будет реализовано на чистом Python и низкоуровневых методах библиотеки PyTorch (nn.linear, nn.dropout и пр.).
-------
Но это еще не все. В будущем будут добавлены новые модули:
- Другие модели: GPT-2, Llama, Gemma, Qwen, Mistral и пр.
- Другие архитектуры: Mixture of Experts.
- Улучшенные версии механизма Внимания: Flash Attention, Flash Attention 2, Sparse Attention.
- Эффективные механизмы: KV-cache.
Для кого этот курс
Начальные требования
- Базовые знания Python, минимальный ООП (классы, функции).
- Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
- Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
- Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.
Наши преподаватели
Как проходит обучение
Курс состоит из текстовых лекций и практических заданий на написание кода. В каждом задании вам необходимо будет написать класс, который реализует один из компонентов LLM. Мы автоматически создадим экземпляр этого класса и выполним все необходимые проверки. Каждое задания сопровождаются необходимой теорией.
Программа курса
