Чему вы научитесь
- Понимать устройство трансформера через код и математику, а не как «чёрный ящик».
- Работать с текстом: токенизация, BPE, подготовка данных, embedding и positional encoding.
- Реализовывать Self-Attention: сначала без весов, затем с обучаемыми матрицами Q, K, V.
- Собирать Multi-Head Attention в компактной, но полной версии.
- Строить Transformer Block: внимание, FFN, residual-связи и LayerNorm.
- Обучать модель: loss, backpropagation, оптимизатор и полный training loop.
- Генерировать текст с нуля и управлять генерацией: температура, top-k и top-p.
- Дообучать модель на парах «вопрос - ответ», чтобы она отвечала, а не продолжала текст.
- Открывать настоящие модели Hugging Face и узнавать в GPT-2 те же слои, что написали сами.
- Пользоваться generate() и разговаривать с чат-моделью через chat template.
- Квантовать модель в int8: вручную и через optimum-quanto.
- Публиковать свою модель на Hugging Face и скачивать её обратно.
- Собрать свою мини-версию GPT и дорабатывать её под свои задачи.
О курсе
Это не академический курс по теории трансформеров, а практический маршрут: от нуля до своей мини-GPT, которая отвечает на вопросы, и дальше - к настоящим моделям на Hugging Face.
Для кого: Для студентов, разработчиков и исследователей, которые хотят понять, как внутри устроены GPT-подобные модели, и не хотят тонуть в лишней математике и абстракциях.
Как построено: Идём по чёткому плану: токенизация, эмбеддинги, внимание, блоки трансформера, обучение, генерация. Потом учимся управлять генерацией - температура, top-k и top-p - и дообучаем модель отвечать на вопросы. Каждый этап разбираем на математике с простыми примерами и рабочим кодом на Python и PyTorch.
Финал: В последнем модуле открываем GPT-2 на Hugging Face и узнаём в ней те же слои, что написали сами. Разбираемся с generate(), chat template и квантизацией, а свою модель публикуем на Hugging Face, чтобы её мог скачать кто угодно.
Формат: Текстовые уроки, которые можно читать в своём темпе, и проверочные задания в модулях. Весь код запускается на обычном компьютере, видеокарта не нужна.
Главная идея: Показать, что современная LLM собирается из понятной последовательности слоёв, а не работает по волшебству. Как только вы соберёте её руками, «чёрный ящик» исчезает, и вы сможете осознанно менять архитектуру под свои задачи.
Начните с бесплатных демо-уроков и соберите свою первую мини-GPT. Есть вопрос? Задавайте прямо в комментариях к шагу, я стараюсь всегда отвечать.
Для кого этот курс
Начальные требования
Математика на уровне школы или первого курса: векторы, матрицы, немного производных. Всё нужное объясняем по ходу.
Python на начальном уровне: переменные, условия, циклы, функции.
Обычный компьютер: видеокарта не нужна, всё запускается на процессоре. Для модуля про Hugging Face понадобится около 1 ГБ места на диске под модели.
Наши преподаватели
Как проходит обучение
- Текстовые уроки, которые удобно читать и перечитывать в своём темпе.
- Проверка знаний после каждого модуля.
Программа курса
Сертификат
Отзывы прошедших курс
Что вы получаете
- ✅ Полный код трансформера своими руками, от токенизации до генерации текста.
- ✅ Понимание архитектуры: как на практике работают эмбеддинги, attention, MLP и обучение.
- ✅ Навык осознанной настройки: меняете число голов, слоёв и размер эмбеддингов и сразу видите эффект.
- ✅ Базовую генеративную модель, готовую к запуску: можно добавлять датасеты и улучшать качество.
- ✅ Уверенность: LLM перестаёт быть «магией» и становится прозрачной механикой.
- ✅ Свою модель на Hugging Face: опубликованную, с карточкой, её можно скачать по ссылке или показать работодателю)