Чему вы научитесь
- Понимать устройство трансформера через код и математику, а не как «чёрный ящик».
- Работать с текстом: токенизация, BPE, подготовка данных, embedding и positional encoding.
- Реализовывать Self-Attention: сначала без весов, затем с обучаемыми матрицами Q, K, V.
- Собирать Multi-Head Attention в компактной, но полной версии.
- Строить Transformer Block: внимание, FFN, residual-связи и LayerNorm.
- Обучать модель: loss, backpropagation, оптимизатор и полный training loop.
- Генерировать текст и получить первую осмысленную генерацию с нуля.
- Собрать свою мини-версию GPT и дорабатывать её под свои задачи.
О курсе
Это не академический курс по теории трансформеров, а практический маршрут от нуля до работающей генерации текста.
Для кого:
Для студентов, разработчиков и исследователей, которые хотят понять, как внутри устроены GPT-подобные модели, и не хотят тонуть в лишней математике и абстракциях.
Как построено:
Идём по чёткому плану: токенизация, эмбеддинги, внимание, блоки трансформера, обучение, генерация. Каждый этап разбираем на математике с простыми примерами и рабочим кодом на Python.
Формат:
Текстовые уроки, которые можно читать в своём темпе, и проверка знаний после каждого модуля. Скоро добавим модули про sampling и fine-tuning.
Главная идея:
Показать, что современная LLM собирается из понятной последовательности слоёв, а не работает по волшебству. Как только вы соберёте её руками, «чёрный ящик» исчезает, и вы сможете осознанно менять архитектуру под свои задачи.
Начните с бесплатного демо-уроков и соберите свою первую мини-GPT. Есть вопрос? Задавайте прямо в комментариях к шагу, я стараюсь всегда отвечать.
Для кого этот курс
Начальные требования
Математика на уровне школы или первого курса: векторы, матрицы, немного производных. Всё нужное объясняем по ходу.
Python на начальном уровне: переменные, условия, циклы, функции
Наши преподаватели
Как проходит обучение
- Текстовые уроки, которые удобно читать и перечитывать в своём темпе.
- Проверка знаний после каждого модуля.
Программа курса
Что вы получаете
- ✅ Полный код трансформера своими руками, от токенизации до генерации текста.
- ✅ Понимание архитектуры: как на практике работают эмбеддинги, attention, MLP и обучение.
- ✅ Навык осознанной настройки: меняете число голов, слоёв и размер эмбеддингов и сразу видите эффект.
- ✅ Базовую генеративную модель, готовую к запуску: можно добавлять датасеты и улучшать качество.
- ✅ Уверенность: LLM перестаёт быть «магией» и становится прозрачной механикой.