LLM Testing: тестирование AI-приложений и агентов

🧭 Отправная точка

Пользователь спрашивает Service Desk AI, сколько рабочих мест входит в тариф Pro. Сервис возвращает 200 OK, ответ соответствует JSON-схеме и содержит ссылку на документацию. В актуальной редакции документа указано 25 мест, а ассистент отвечает, что их 20. Ссылка ведёт на старую редакцию и подтверждает устаревшее значение.

Другой пример — работа с заявками. Агент сообщает, что отказал пользователю в изменении чужой заявки. Чтобы проверить отказ, нужно посмотреть, вызывался ли инструмент записи и сохранилось ли исходное состояние заявки. Одного текста ответа для этого недостаточно.

На курсе вы создадите собственную систему автоматизированного тестирования учебного приложения Service Desk AI. Она будет проверять факты и ссылки на документы, работу инструментов, права доступа, безопасность и изменения поведения между версиями. Вы научитесь собирать доказательства ошибок и принимать обоснованное решение о выпуске.

🎯 Цель курса — научиться проверять AI-приложения на Python: строить воспроизводимые сценарии, оценивать ответы и действия агента, выявлять регрессии и объяснять, на каких данных основаны результаты тестирования.

Курс рассчитан на тех, кто уже работает с Python, pytest и HTTP API. В программе 11 разделов и 42 урока. Вы исследуете готовый Service Desk AI и постепенно разовьёте отдельный проект проверок. Разрабатывать самого агента или обучать языковую модель не потребуется.

⚙️ Что вы будете делать

• 🧩 Создавать основу автотестов. Напишете типизированный HTTP-клиент на HTTPX и Pydantic, добавите фикстуры pytest, параметризацию и изоляцию сеансов. Проверите структуру ответов и различия между ошибкой транспорта, HTTP-статусом и нарушением контракта. Научитесь сохранять сведения, по которым можно повторить неудачный сценарий.

• 📚 Проверять факты, источники и смысл ответов. Подготовите версионируемые наборы случаев с ожидаемыми свойствами. Будете сверять отдельные утверждения с документами нужной редакции, проверять цитаты и обоснованный отказ от ответа. Добавите проверки перефразированных вопросов и разберёте, как оценивать смысл по размеченным человеком примерам, не пропуская ошибочные числа или неподтверждённые утверждения.

• 🔐 Тестировать инструменты и безопасность агента. Исследуете последовательность вызовов, разрешения на чтение и запись, подтверждение изменений и защиту от повторного действия. Проверите попытки передать посторонние инструкции через запросы, документы и ответы инструментов. Сопоставите текст ответа, трассировку и фактическое состояние заявки, чтобы обнаруживать запрещённые изменения и утечки данных.

• 🔁 Сравнивать версии и принимать решение о выпуске. Построите запуск оценок на закреплённых наборах, научитесь учитывать повторяемость, ошибки оценщика, задержки и стоимость. Сравните исходную и изменённую конфигурации по каждому случаю, подключите проверки к CI и реализуете решения BLOCK, REVIEW и RELEASE на основании измеренных результатов.

🔥 Чем отличается курс

Вся практика ведётся на готовом Service Desk AI с HTTP API, документами нескольких редакций, учебными заявками и трассировками. Проверки вы пишете отдельно от приложения. Это позволяет исследовать его поведение через запросы, ответы, сведения об инструментах и состояние ресурсов, а затем воспроизводить найденные нарушения.

Для проверки ответа используются разные критерии. Утверждение должно подтверждаться подходящим источником, а цитата — относиться к нужной редакции документа. Если необходимых сведений нет, система должна обоснованно отказаться от ответа. Вы разберёте эти ситуации отдельно, чтобы верная формулировка не скрывала ошибочную ссылку, а наличие ссылки — неподтверждённый факт.

Отдельный блок посвящён смысловому оцениванию. Вы сопоставите решения оценщика с человеческой разметкой, посчитаете ложные одобрения, ложные отказы и случаи без определённого результата. Разберётесь, как ошибка или отсутствие ответа оценщика влияет на итоговую метрику и почему важно учитывать все проверенные случаи.

При проверке действий агента вы будете сверять его слова с реальными последствиями. Например, для запрещённой записи важно подтвердить неизменность заявки, а для разрешённой — точное изменение и отсутствие повторного применения. Отдельные задания проверяют попытки изменить полномочия через недоверенный текст и передачу данных за пределы доступной области.

Обязательные задания выполняются локально на синтетических данных и воспроизводимых сценариях модели. Для них не нужны платные LLM и внешние API-ключи. В курсе есть также работа с сохранёнными наблюдениями другой версии модели: такие данные позволяют испытать систему оценивания, но не подтверждают качество нового живого вызова. Сравнение с внешними моделями доступно отдельно, по желанию, с ограничениями затрат.

В отчётах вы будете различать PASS, FAIL и UNDETERMINED. Отсутствующие наблюдения сохраняются в результатах и учитываются при решении о выпуске. Вы также сравните стоимость и задержки по зарегистрированным данным и проверите, что критическое нарушение может заблокировать выпуск независимо от общего процента успешных случаев.

📚 Дополнительные бесплатные материалы

• 📄 Как тестировать LLM-приложения: pytest, evals и проверка ответов
• 📄 Как обнаружить регрессию качества после смены LLM-модели
• 📄 LLM оценивает ответы: как проверить, не награждает ли она ошибки
• 📄 RAG без LLM: как проверить качество поиска отдельно от генерации
• 📄 Prompt Injection через инструменты AI-агента: как возникает атака

🎯 Итоговый проект

К концу курса у вас будет собственный Python-проект для тестирования Service Desk AI: HTTP-клиент, наборы проверочных данных, оценщики фактов и цитат, тесты полномочий и действий, сравнение прогонов и проверки в CI.

В финале вы получите изменённую конфигурацию release-review-v1 без готового перечня ошибок. Сначала зафиксируете критерии приёмки и исходные данные, затем выполните сравнение с baseline-v1 на одинаковых наборах. Исследуете подтверждённые регрессии, проверите источники, трассировки и состояние заявок после действий агента. Отдельно учтёте неполные наблюдения, стоимость и задержки.

Итогом станет воспроизводимый пакет приёмки: план проверки, реестр обнаруженных изменений, тесты и краткое техническое заключение. В нём вы обоснуете решение BLOCK, REVIEW или RELEASE, укажете ограничения проверки и условия, при которых решение нужно пересмотреть. Результаты сохраните в собственном репозитории.

🧪 Поддержка

🤝 Вопросы по материалам курса можно задавать в комментариях Stepik. Разбирая сложную ситуацию, приложите название урока, свои действия и полученный результат — так проще понять причину ошибки и предложить следующий шаг.

✅ Практические работы проверяет преподаватель. Вы получаете обратную связь по выполненному заданию: что соответствует требованиям, что стоит исправить и на что обратить внимание при повторной проверке.

🚀 О XNova

XNova — практические курсы и учебные проекты для разработчиков, тестировщиков и инженеров. Мы разбираем технологии на работающих примерах: с кодом, наблюдаемым результатом и объяснением инженерных решений.

🔗 xnova.dev — другие курсы и материалы XNova.

📬 Контакты и сообщество

Продолжить знакомство с XNova, следить за новыми материалами или задать организационный вопрос можно здесь:

• 📣 Telegram-канал: @xnova_dev — анонсы курсов, статьи и новости проекта.
• 💬 Написать XNova: @xnova_contact — контакт для вопросов о курсах и проекте.
• ✉️ Почта: contact@xnova.dev — если удобнее написать письмом.
• 💻 GitHub: xnova-tech — открытые учебные проекты и примеры.

🔒 Доступ к разделам

⚠️ Важно! Модули курса открываются постепенно. Чтобы перейти к следующему модулю, необходимо набрать определённое количество баллов в текущем. Это вынужденная мера. Выполнять все задания не требуется, достаточно выполнить основную часть.