Чему вы научитесь
- Расчёт стоимости запроса, ценовые уровни моделей, бюджеты и квоты
- Классификация запросов: правила, классификаторы на эмбеддингах и LLM-классификаторы
- Быстрые и медленные пути обработки, анализ p95, бюджет задержки по маршрутам
- Проектирование маршрутизации моделей и инструментов с учётом нескольких критериев
- Цепочки резервных моделей, политики повторов и плавная деградация на уровне слоя маршрутизации
- Пробный (canary) запуск новых моделей, A/B-маршрутизация и адаптивная настройка маршрутов
О курсе
Это курс 5 программы "Проектирование ИИ систем для production".
В этом курсе вы научитесь:
- Объяснять, почему одна модель на весь трафик ведёт к взрыву стоимости и задержек
- Строить модель стоимости LLM-запроса и прогнозировать нелинейный рост расходов
- Классифицировать нагрузку по intent и сложности и направлять запросы на подходящую модель
- Проектировать fast и slow paths и управлять хвостовыми задержками (p95/p99)
- Строить tool routing, model routing и многокритериальный routing по качеству, стоимости и задержке
- Проектировать fallback-цепочки, деградированные режимы и защиту от каскадных сбоев
- Строить адаптивный, вероятностный и динамический routing на основе обратной связи и состояния системы
🔥 Как устроен курс
Каждый урок начинается с реального production-инцидента: счёт за LLM вырос в разы, ответы тормозят, провайдер модели недоступен — команда разбирает причины. Затем — архитектурный разбор: что пошло не так и как спроектировать слой маршрутизации правильно. В конце — практическое задание на Python, которое закрепляет паттерн.
Формат: инцидент → архитектура → реализация
🎓 Это пятый курс программы AI Engineering. Он опирается на архитектуру, RAG, загрузку данных и инженерию контекста из курсов 1–4, а слой маршрутизации, построенный здесь, используют следующие курсы программы.
Обсуждение и новости курса в Телеграме: Канал "ИИ Спираль"
Другие курсы программы "Проектирование ИИ систем для production":
3 — Загрузка данных в ИИ системы
6 — Структурированный вывод + Экономика
7 — Агенты и рабочие процессы
8 — Оценка + LLMOps
9 — Надежность + Вывод
10 — Развертывание и масштабирование
11 — Финальный проект
Для кого этот курс
Начальные требования
- Опыт коммерческой разработки на Python
- Понимание async/await в Python и опыт работы с FastAPI
- Опыт работы с LLM API (OpenAI/Anthropic) и понимание токенизации
- Знание основ RAG и context engineering (рекомендуются Курсы 2 и 4)
- Базовое понимание метрик сервиса: перцентили задержек, error rate, throughput
Как проходит обучение
Каждый модуль: история production-инцидента → архитектура → реализация
Практические задания в репозитории enterprise-ai-assistant
Failure-first подход: сначала показываем, как система горит без маршрутизации, потом как это чинить
Расчёты на реальных цифрах: стоимость, задержки, экономия
Программа курса
В курс входят
- 28 уроков
- 140 тестов
Что вы получаете
- Модуль app/routing/ для enterprise-ai-assistant (git tag v5.0-routing)
- Калькулятор стоимости LLM-запросов и реестр моделей с ценовыми уровнями
- Классификатор запросов по intent и сложности
- Многокритериальный router с fallback-цепочками и деградированными режимами
- Набор метрик стоимости и задержек по маршрутам для production-мониторинга