Чему вы научитесь
- Узнаете, как работают AI-приложения, как разрабатываются (MLOps) и чем принципиально отличается их функциональное тестирование. Всё это — на десятках примеров различных AI-приложений.
- Разберетесь, какие Non-LLM и LLM-метрики позволяют на практике убедиться, что AI-приложение работает правильно.
- Увидите, как нефункциональное AI-тестирование может сэкономить проекту миллионы.
- Проведете функциональное тестирование AI-приложения, рассчитав нужные Non-LLM и LLM-метрики.*
- Протестируете нефункционально, в том числе состязательно, пять разных AI-моделей.*
- Создадите AI-приложение с подходом LLM-as-a-Judge (даже если никогда не программировали). И напишете для него автотесты (даже если никогда их не писали).*
О курсе
Этот курс НЕ об использовании AI-тулов при написании тест-кейсов или автотестов для тестирования классических приложений. Подобные навыки любой действующий QA-инженер может получить самостоятельно.
Это курс о тестировании именно AI-приложений.
И это один из первых именно практических курсов по тестированию AI-приложений.
Он основан на практическом опыте тестирования AI-приложений как в IT-стартапах, так и в крупных IT-компаниях.
От авторов:
Когда работаешь в IT 25 лет, уже всё знаешь, и хочется попробовать что-то новое. Поэтому последние пару лет я специализировалась в тестировании AI-стартапов. А сейчас прокачиваю экспертизу в качестве AI-QA-инженера на AI-проекте в известной международной IT-компании.
И это действительно интересно — ведь подходы к обеспечению качества AI-приложений радикально отличаются от классических.
Надеюсь, этот курс поможет вам открыть для себя эту увлекательную область тестирования.
Для кого этот курс
Начальные требования
Курс не требует предварительной подготовки, IT-знаний или предварительного знания тестирования.
Это вводный курс, поэтому мы не стали его перегружать — в нем минимум математических формул, а продвинутые техники AI-тестирования (тестирование AI-агентов; моделей, прошедших FineTuning и т.п.) рассматриваются обзорно.
Наши преподаватели
Как проходит обучение
Для профессии тестировщика исключительно важно уметь обрабатывать большие объемы текстовой информации.
Именно поэтому данный курс состоит не из записанных видео, а целиком и полностью представлен в текстовом виде.
В конце каждой главы есть тесты, позволяющие убедиться, что всё понято правильно.
* Для практической тренировки можно использовать упражнения в Mentorpiece Sim. Это симулятор собеседования у QA-сеньора на базе AI. Это некоммерческий тренажер, который можно использовать без подписки. Необходимо платить только за потраченные токены (мы с радостью сделали бы Sim полностью бесплатным, но приходится использовать дорогие AI-модели).
Программа курса
Что вы получаете
- Понимание специфики AI-систем: вы разберетесь в архитектуре AI-приложений и процессах MLOps, осознав фундаментальные отличия тестирования нейросетей от классического ПО.
- Навык работы с метриками: вы научитесь на практике рассчитывать ключевые Non-LLM и LLM-метрики, которые являются единственным объективным способом подтвердить качество работы AI-модели.
- Опыт состязательного тестирования: вы освоите методы нефункционального тестирования, включая Adversarial Testing (поиск уязвимостей и сценариев отказа), что критически важно для безопасности и экономии бюджета проекта.
- Создание собственного решения: вы разработаете AI-приложение на базе подхода LLM-as-a-Judge и напишете для него автотесты, даже если у вас нет опыта в программировании.
- Актуальный рыночный профиль: вы получите базовую экспертизу AI-QA-инженера, что выделит вас на рынке труда.