Маршрутизация в AI системах: стоимость, задержки и выбор LLM

Routing AI-системы: от классификации запросов и выбора модели до управления стоимостью, задержками и сбоями провайдеров. Курс начинается с инцидента «GPT-4 на всё → $40k в месяц» и заканчивается routing-системой, которая экономит сотни тысяч долларов в год без потери качества. Семь модулей: зачем нужен routing,…
20 часов видео + практические задания

Чему вы научитесь

  • Расчёт стоимости запроса, ценовые уровни моделей, бюджеты и квоты
  • Классификация запросов: правила, классификаторы на эмбеддингах и LLM-классификаторы
  • Быстрые и медленные пути обработки, анализ p95, бюджет задержки по маршрутам
  • Проектирование маршрутизации моделей и инструментов с учётом нескольких критериев
  • Цепочки резервных моделей, политики повторов и плавная деградация на уровне слоя маршрутизации
  • Пробный (canary) запуск новых моделей, A/B-маршрутизация и адаптивная настройка маршрутов

О курсе

Это курс 5 программы "Проектирование ИИ систем для production".

В этом курсе вы научитесь:

  • Объяснять, почему одна модель на весь трафик ведёт к взрыву стоимости и задержек
  • Строить модель стоимости LLM-запроса и прогнозировать нелинейный рост расходов
  • Классифицировать нагрузку по intent и сложности и направлять запросы на подходящую модель
  • Проектировать fast и slow paths и управлять хвостовыми задержками (p95/p99)
  • Строить tool routing, model routing и многокритериальный routing по качеству, стоимости и задержке
  • Проектировать fallback-цепочки, деградированные режимы и защиту от каскадных сбоев
  • Строить адаптивный, вероятностный и динамический routing на основе обратной связи и состояния системы

🔥 Как устроен курс

Каждый урок начинается с реального production-инцидента: счёт за LLM вырос в разы, ответы тормозят, провайдер модели недоступен — команда разбирает причины. Затем — архитектурный разбор: что пошло не так и как спроектировать слой маршрутизации правильно. В конце — практическое задание на Python, которое закрепляет паттерн.

Формат: инцидент → архитектура → реализация

🎓 Это пятый курс программы AI Engineering. Он опирается на архитектуру, RAG, загрузку данных и инженерию контекста из курсов 1–4, а слой маршрутизации, построенный здесь, используют следующие курсы программы.

Обсуждение и новости курса в Телеграме: Канал "ИИ Спираль"

Другие курсы программы "Проектирование ИИ систем для production":

1 — Архитектура ИИ-систем

2 — Системы RAG

3 — Загрузка данных в ИИ системы

4 — Инженерия контекста

5 — Слой маршрутизации

6 — Структурированный вывод + Экономика

7 — Агенты и рабочие процессы

8 — Оценка + LLMOps

9 — Надежность + Вывод

10 — Развертывание и масштабирование

11 — Финальный проект

Для кого этот курс

AI-инженеры, backend-разработчики и архитекторы, отвечающие за стоимость, задержки и надёжность LLM-сервисов в production. Рекомендуется пройти Курсы 1–4 программы (архитектура, RAG, ingestion, context engineering) или иметь эквивалентный опыт.

Начальные требования

  • Опыт коммерческой разработки на Python
  • Понимание async/await в Python и опыт работы с FastAPI
  • Опыт работы с LLM API (OpenAI/Anthropic) и понимание токенизации
  • Знание основ RAG и context engineering (рекомендуются Курсы 2 и 4)
  • Базовое понимание метрик сервиса: перцентили задержек, error rate, throughput

Как проходит обучение

Каждый модуль: история production-инцидента → архитектура → реализация

Практические задания в репозитории enterprise-ai-assistant

Failure-first подход: сначала показываем, как система горит без маршрутизации, потом как это чинить

Расчёты на реальных цифрах: стоимость, задержки, экономия

Программа курса

В курс входят

  • 28 уроков
  • 140 тестов
загружаем...

Что вы получаете

  • Модуль app/routing/ для enterprise-ai-assistant (git tag v5.0-routing)
  • Калькулятор стоимости LLM-запросов и реестр моделей с ценовыми уровнями
  • Классификатор запросов по intent и сложности
  • Многокритериальный router с fallback-цепочками и деградированными режимами
  • Набор метрик стоимости и задержек по маршрутам для production-мониторинга

Сколько стоит обучение

Бесплатно

Расскажите о курсе друзьям

Бесплатно