Чему вы научитесь
- Понимать, чем тестирование LLM отличается от классического QA и почему привычные подходы перестают работать
- Формализовывать качество ответов и строить критерии оценки для недетерминированных систем
- Проектировать тестовое покрытие для LLM-приложений: сценарии, риски, граничные случаи и приоритеты
- Выбирать подход к оценке качества: ручная разметка, метрики, LLM-as-a-Judge и их комбинации
- Создавать и поддерживать golden datasets как основу регрессионного тестирования
- Строить evaluation-пайплайны и интегрировать проверки качества в CI/CD
- Тестировать RAG-системы и локализовывать дефекты retrieval и generation
- Тестировать AI-агентов: траектории, tool calling, состояние, память и многошаговые сценарии
- Проводить red teaming и системно искать уязвимости, jailbreak и небезопасное поведение
- Разрабатывать тестовую стратегию для AI-продукта и собирать полноценный кейс AI QA для портфолио
О курсе
Курс о том, как системно тестировать LLM и AI-агентов
Классическое тестирование ломается, когда ответ системы недетерминирован: нет эталона, баги плавают, а «работает» — понятие размытое. Этот курс даёт методологию, которая решает эти проблемы.
Вы научитесь формализовать качество ответа, проектировать тесты для систем, где нет одного правильного ответа, выстраивать процесс оценки и встраивать его в CI/CD.
От простого LLM-ответа — к агентам с контекстом из документов и multi-step сценариям: каждый уровень сложности со своими дефектами и подходами.
Курс построен на методологии практикующего QA Lead с 13+ годами опыта — на реальных проектах с чат-ботами, голосовыми ассистентами и AI-агентами. Это не обзор библиотек, а фреймворк мышления, который работает независимо от инструмента. Практику разбираем на примерах из открытого фреймворка автора (JavaScript + Playwright).
Каждый модуль заканчивается практическим артефактом. К финалу курса у вас готовый кейс для портфолио.
Для кого этот курс
Начальные требования
1. Опыт в тестировании ПО от 2 лет (ручное или автоматизированное)
2. Понимание базовых концепций QA: тест-кейсы, баг-репорты, тест-дизайн
3. Общее представление о том, что такое LLM и чат-боты (на уровне пользователя)
4. Базовое владение JavaScript будет плюсом для практических модулей, но не обязательно
Наши преподаватели
Как проходит обучение
1. Каждый модуль — теория в текстовом формате с реальными примерами и кейсами из продакшена
2. После теории — практическое задание с конкретным артефактом: чек-лист, тест-набор, rubric оценки, тест-стратегия
3. Каждый модуль завершается небольшим тестом или практическим вопросом, чтобы не просто прочитать материал, а проверить понимание ключевых концепций на конкретных ситуациях.
4. Курс выстроен от простого к сложному: LLM-ответ → RAG → AI-агент
5. К финалу курса все артефакты складываются в готовый кейс для портфолио
Программа курса
Отзывы прошедших курс
Что вы получаете
- Методологию тестирования LLM и AI-агентов, которая работает независимо от инструмента
- Фреймворк для формализации качества ответа в недетерминированных системах
- Набор практических артефактов: критерии качества, тест-наборы, rubric оценки, тест-стратегия
- Готовый сквозной кейс тестирования AI-системы для портфолио
- Понимание, как встроить процесс оценки качества в CI/CD и донести результаты до команды