LLM-инженер: от prompt-инжиниринга до production

О чём это

Большинство материалов про LLM заканчиваются на «вызвали API, получили ответ». Дальше начинается инженерия: retry и fallback, когда провайдер отвалился; structured output, который не разваливается на живом трафике; RAG, качество которого со временем не уползает; eval, по которому видно, стало лучше или хуже после ваших изменений. Всё это разбираем на рабочем коде и с оглядкой на российские реалии — прокси-агрегаторы, GigaChat, оплата без зарубежной карты, локальный деплой.

Кому подойдёт

- Python-разработчикам, которым нужна инженерная картина LLM-стека, а не набор разрозненных туториалов.
- ML-инженерам без production-опыта с LLM-приложениями.
- Тем, кто уже трогал LLM руками и хочет системности: дизайн-решения, надёжность, наблюдаемость.

Понадобится Python на уровне классов, async и типизации, и базовое представление о нейросетях и эмбеддингах. GPU дома, академическая математика и опыт LLM в проде не требуются.

Чему вы научитесь

- Понимать, что происходит внутри модели — токенизация, эмбеддинги, decoding, контекст-окно — на уровне рабочей интуиции.
- Делать structured output и function calling с валидацией и retry.
- Применять LLM к классическим NLP-задачам (классификация, NER, суммаризация) и видеть, где дешевле обойтись классикой.
- Проектировать RAG под конкретную задачу: chunking, эмбеддер, vector store, hybrid retrieval, reranking, генерация с цитированием.
- Собирать golden-датасет и честно мерить качество: recall@k, MRR, RAGAS, bootstrap-интервалы.
- Строить агентов с tool use, защитой от зацикливания и роутингом между несколькими агентами.
- Выкатывать в прод: кеширование, мониторинг, fallback-стратегии, базовая защита от prompt injection.
- Собрать end-to-end сервис — финальный проект, который не стыдно положить в портфолио.

Программа

14 основных модулей и 3 бонусных

Базы LLM-инженерии
1. Что такое LLM и как они работают — transformer, токенизация, эмбеддинги, decoding, контекст-окно.
2. Prompt engineering — zero/few-shot, chain-of-thought, self-consistency, антипаттерны, токен-бюджеты.
3. Setup проекта и LLM-клиент — Python 3.11+ через uv, OpenAI-совместимый прокси, retry и fallback, мок-тестирование.
4. Structured output и function calling — JSON mode, strict, Pydantic как контракт.

Классический NLP через LLM
5. Классификация, NER, суммаризация — где LLM выигрывает у классики, hybrid-пайплайны, post-hoc verification.

RAG
6. Зачем нужен RAG и когда без него проще.
7. Chunking-стратегии и эмбеддинги — выбор эмбеддера для русского.
8. Vector stores и retrieval — pgvector и Qdrant, HNSW, BM25, hybrid с RRF.
9. Reranking и генерация — cross-encoders, цитирование, контроль галлюцинаций.
10. Evaluation — RAGAS, golden-датасеты, recall@k, MRR, bootstrap CI, регрессии в CI.

Агенты
11. Tool use и единичные агенты — ReAct, function calling, защита от зацикливания.
12. Multi-agent системы — router, orchestrator-worker, отладка.

Production и финальный проект
13. Production — кеширование, мониторинг, prompt injection, rate limiting.
14. Финальный проект — end-to-end сервис на open-source русскоязычном корпусе, с peer-review.

Бонус:

fine-tuning (LoRA/QLoRA): когда он нужен и когда нет; AI safety, модель угроз и red-teaming; ингест и парсинг документов для RAG.

Формат

- Без видео — структурированный текст. Читаете в своём темпе: знакомое проматываете, сложное перечитываете.
- около 20 заданий с автопроверкой (код и разбор вывода) плюс практические со свободным ответом: production-сниппеты, которые потом войдут в ваш финальный проект. Тесты детерминированные, без вызовов LLM — автопроверка не зависит от провайдера.
- Финальный проект с peer-review для портфолио.
- Открытый demo-репозиторий: github.com/Daniil-Nay/production-rag-service — reference-реализация, которую можно смотреть и форкать.
- Курс обновляется по мере изменения стека.

Сколько времени займёт

Ориентировочно 40–50 часов( зависит от опыта и того, сколько кода пишете руками, а не копируете)

QA

Никогда не работал с LLM — потяну?

Если есть Python и базовое понимание ML — да. Курс не объясняет, что такое нейросеть, но и не предполагает, что вы уже собирали production-RAG.

Какой LLM использовать?

Любой, доступный через OpenAI-совместимый API, включая прокси-агрегаторы для РФ. Курс не привязан к конкретному провайдеру.

Будет ли сертификат?

У бесплатных нет =(