Чему вы научитесь
- Тестировать LLM-системы так, как тестируют production-сервисы, пока остальные продолжают тестировать «на глазок»
- Понимать, что именно сломалось, почему упало качество и как это чинить, вместо бесконечного перебора моделей и промптов
- Подбирать и изобретать правильные метрики качества под свою задачу: relevance, hallucination, latency и десятки других
- Использовать подход LLM-as-a-Judge для автоматизированной оценки генеративных систем
- Находить проблемы до релиза, а не после жалоб пользователей или падения конверсии
- Создавать проверочные датасеты, которые действительно находят деградации, редкие ошибки и проблемные сценарии
- Отслеживать качество и поведение AI-систем в production с помощью современного LLM-стека (на примере Langfuse)
- Выбирать и сравнивать готовые AI-решения: Перестанете верить бенчмаркам из презентаций. Научитесь объективно тестировать сторонние сервисы на своих данных до заключения контракта.
О курсе
🤖 Этот курс посвящён инженерии качества LLM-систем — этапу между красивым демо и реальным production, который многие пропускают, потому что пока не знают, как к нему подступиться.
Сделать AI-фичу «которая вроде работает» несложно. Но сложно понимать, что именно сломалось, стало ли лучше после релиза и как находить деградации до жалоб пользователей.
На курсе вы возьмёте типовую LLM-задачу и пройдёте полный цикл инженерии качества: от постановки метрик до контроля системы в production.
Вы соберете готовую систему управления качеством AI, которая включает:
- метрики
- evaluation-датасеты
- автоматическое тестирование
- мониторинг и алерты
Главное: вы получаете повторяемый фреймворк, который сможете применять к любым LLM-задачам в работе: от чат-ботов до сложных агентных систем.
Чего не будет на курсе:
- обучение базовому промпт-инжинирингу
- разработка RAG-систем с нуля
- построение LLM-агентов и orchestration-фреймворков (LangChain и аналоги)
- интеграция LLM в приложения и базовая разработка AI-фич
Этот курс не про создание LLM-продуктов. Он сфокусирован на другом этапе работы с AI — на тестировании, оценке качества, построении метрик и управлении поведением AI-систем в продакшене.
⚠️ Для практических заданий потребуется доступ к API LLM-провайдеров.
Для кого этот курс
Начальные требования
- Регулярный опыт работы с LLM: промпты, API или AI-инструменты в реальных бизнес задачах
- Понимание базовых концепций: модель, контекст, RAG / агенты — хотя бы на пользовательском уровне
- Желание разобраться, как делать production-AI, а не только красивые демо
Программа курса
В курс входят
- 25 уроков
- 1час 15минут видео
- 42 теста
- 3 интерактивные задачи
Наши преподаватели
Сертификат
Отзывы прошедших курс
Что вы получаете
- Полную перезагрузку инженерного мышления: У вас навсегда исчезнет желание тестировать промпты руками на 10 случайных примерах. Вы начнете смотреть на вероятностные AI-системы через призму системного подхода.
- Безграничный арсенал метрик: Освоите десятки готовых метрик и поймёте принципы их построения, чтобы создавать собственные критерии оценки под уникальные капризы любого бизнеса.
- Универсальный фреймворк для любых AI-проектов: Вы освоите готовый воспроизводимый подход к оценке ИИ. Неважно, что вы будете запускать завтра — простой RAG-чат или сложную автономную систему агентов — у вас уже будет пошаговый алгоритм действий.
- Бронебойный кейс для портфолио: В результате курса вы соберёте полноценную систему оценки AI: от валидационных датасетов до мониторинга реального трафика в Langfuse. На собеседовании это станет весомым доказательством того, что вы умеете контролировать качество AI-систем в production.