Мини-GPT на NumPy: Создаем свою нейросеть на чистом Python

Продвинутый инженерный практикум для тех, кто уверенно владеет Python, NumPy, pytest и базовой линейной алгеброй. «С нуля» означает реализацию механизмов модели из операций NumPy без готового автоматического дифференцирования и библиотек машинного обучения, а не обучение программированию с нулевой подготовки. За 10 последовательных состояний проекта вы построите символьную авторегрессионную языковую модель: токенизацию, биграммную основу, нормализацию вероятностей и перекрёстную энтропию, ручные градиенты, собственный механизм автоматического дифференцирования, векторные представления, контекстную нейронную сеть, причинное внимание и мини-трансформер. В каждом уроке — проверяемый эксперимент, код, тесты и полный ZIP состояния проекта. Всё запускается локально на обычном процессоре, без PyTorch, API-ключей и сетевых сервисов. Цель курса — понять путь данных и градиента, а не получить промышленный чат-бот.