Чему вы научитесь
- Научитесь системно оценивать качество LLM, RAG и AI-агентов.
- Создавать evaluation dataset и находить ошибки до выхода в production.
- Выбирать подходящие метрики, evaluators и использовать LLM-as-Judge.
- Проверять retrieval, tool calling, trajectory, безопасность и high-risk сценарии.
- Сравнивать версии, находить регрессии и принимать решения о релизе.
- Спроектируете полноценный evaluation-контур для реального AI-продукта.
О курсе
🔥 Скидка 10% по промокоду TOKEN
LLM-системы могут выдавать убедительные ответы и при этом ошибаться, использовать неверные источники или принимать неправильные решения. Поэтому их качество нельзя оценивать так же, как обычное ПО.
Этот курс посвящён системному LLM Evaluation — тому, как проверять качество современных AI-продуктов на разных этапах их работы и понимать, где именно возникает проблема.
Курс построен вокруг практических ситуаций из реальных LLM-продуктов и показывает evaluation как полноценную часть разработки, релиза и эксплуатации AI-систем.
После курса вы сможете построить evaluation-процесс для своего AI-продукта: от датасета и метрик до LLM-as-a-Judge, оценки RAG и агентов и regression-тестов перед релизом.
Для кого этот курс
Начальные требования
Базовое понимание LLM и доступ в интернет.
Компьютер или ноутбук для практических заданий.
Как проходит обучение
Короткая теория без перегруза — только то, что действительно нужно для работы с LLM Evaluation.
Практические задания после ключевых тем: от оценки отдельных ответов до RAG, AI-агентов и production-сценариев.
Реальные кейсы и traces, где нужно не угадывать термин, а находить ошибки, риски и причины ухудшений.
Работа с evaluation dataset, метриками, evaluators, LLM-as-Judge, regression testing и release gates.
В финале — сквозной проект, где вы самостоятельно спроектируете evaluation-контур для реального AI-продукта.
Программа курса
В курс входят
- 65 уроков
- 204 теста
Наши преподаватели
Сертификат
Отзывы прошедших курс
Что вы получаете
- Структурированную систему знаний по LLM Evaluation — от базовых принципов до production-подходов.
- Практические шаблоны и подходы, которые можно использовать в своих AI-проектах.
- Финальный проект для портфолио и обсуждения на собеседованиях.
- Набор реальных кейсов, примеров ошибок и production-ситуаций, к которым можно возвращаться после курса.
- Более уверенное понимание того, как устроено качество современных AI-продуктов и как о нём говорить с разработчиками, аналитиками и бизнесом.