Чему вы научитесь
- 1. Понимать, чем тестирование LLM отличается от классического QA и почему привычные подходы перестают работать
- 2. Формализовывать качество ответов и строить критерии оценки для недетерминированных систем
- 3. Проектировать тестовое покрытие для LLM-приложений: сценарии, риски, граничные случаи и приоритеты
- 4. Выбирать подход к оценке качества: ручная разметка, метрики, LLM-as-a-Judge и их комбинации
- 5. Создавать и поддерживать golden datasets как основу регрессионного тестирования
- 6. Строить evaluation-пайплайны и интегрировать проверки качества в CI/CD
- 7. Тестировать RAG-системы и локализовывать дефекты retrieval и generation
- 8. Тестировать AI-агентов: траектории, tool calling, состояние, память и многошаговые сценарии
- 9. Проводить red teaming и системно искать уязвимости, jailbreak и небезопасное поведение
- 10. Разрабатывать тестовую стратегию для AI-продукта и собирать полноценный кейс AI QA для портфолио
О курсе
Это первый русскоязычный курс о том, как системно тестировать LLM и AI-агентов
Классическое тестирование ломается, когда ответ системы недетерминирован: нет эталона, баги плавают, а «работает» — понятие размытое. Этот курс даёт методологию, которая решает эти проблемы.
Вы научитесь формализовать качество ответа, проектировать тесты для систем, где нет одного правильного ответа, выстраивать процесс оценки и встраивать его в CI/CD.
От простого LLM-ответа — к агентам с контекстом из документов и multi-step сценариям: каждый уровень сложности со своими дефектами и подходами.
Курс построен на методологии практикующего QA Lead с 13+ годами опыта — на реальных проектах с чат-ботами, голосовыми ассистентами и AI-агентами. Это не обзор библиотек, а фреймворк мышления, который работает независимо от инструмента. Практику разбираем на примерах из открытого фреймворка автора (JavaScript + Playwright).
Каждый модуль заканчивается практическим артефактом. К финалу курса у вас готовый кейс для портфолио.
Для кого этот курс
Начальные требования
1. Опыт в тестировании ПО от 2 лет (ручное или автоматизированное)
2. Понимание базовых концепций QA: тест-кейсы, баг-репорты, тест-дизайн
3. Общее представление о том, что такое LLM и чат-боты (на уровне пользователя)
4. Базовое владение JavaScript будет плюсом для практических модулей, но не обязательно
Наши преподаватели
Как проходит обучение
1. Каждый модуль — теория в текстовом формате с реальными примерами и кейсами из продакшена
2. После теории — практическое задание с конкретным артефактом: чек-лист, тест-набор, rubric оценки, тест-стратегия
3. Каждый модуль завершается небольшим тестом или практическим вопросом, чтобы не просто прочитать материал, а проверить понимание ключевых концепций на конкретных ситуациях.
4. Курс выстроен от простого к сложному: LLM-ответ → RAG → AI-агент
5. К финалу курса все артефакты складываются в готовый кейс для портфолио
Программа курса
Что вы получаете
- 1. Методологию тестирования LLM и AI-агентов, которая работает независимо от инструмента
- 2. Фреймворк для формализации качества ответа в недетерминированных системах
- 3. Набор практических артефактов: критерии качества, тест-наборы, rubric оценки, тест-стратегия
- 4. Готовый сквозной кейс тестирования AI-системы для портфолио
- 5. Понимание, как встроить процесс оценки качества в CI/CD и донести результаты до команды