Чему вы научитесь
- Узнаете, как работают AI-приложения, как разрабатываются (MLOps) и чем принципиально отличается их функциональное тестирование. Всё это — на десятках примеров различных AI-приложений.
- Разберетесь, какие Non-LLM и LLM-метрики позволяют на практике убедиться, что AI-приложение работает правильно.
- Увидите, как нефункциональное AI-тестирование может сэкономить проекту миллионы.
- Проведете функциональное тестирование AI-приложения, рассчитав нужные Non-LLM и LLM-метрики.*
- Протестируете нефункционально, в том числе состязательно, пять разных AI-моделей.*
- Создадите AI-приложение с подходом LLM-as-a-Judge (даже если никогда не программировали). И напишете для него автотесты (даже если никогда их не писали).*
О курсе
Этот курс НЕ об использовании AI-тулов при написании тест-кейсов или автотестов для тестирования классических приложений. Подобные навыки любой действующий QA-инженер может получить самостоятельно.
Это курс о тестировании именно AI-приложений.
И это один из первых именно практических курсов по тестированию AI-приложений.
Он основан на практическом опыте тестирования AI-приложений как в IT-стартапах, так и в крупных IT-компаниях.
От авторов:
Когда работаешь в IT 25 лет, уже всё знаешь, и хочется попробовать что-то новое. Поэтому последние пару лет я специализировалась в тестировании AI-стартапов. А сейчас прокачиваю экспертизу в качестве AI-QA-инженера на AI-проекте в известной международной IT-компании.
И это действительно интересно — ведь подходы к обеспечению качества AI-приложений радикально отличаются от классических.
Надеюсь, этот курс поможет вам открыть для себя эту увлекательную область тестирования.
Для кого этот курс
Начальные требования
Python и продвинутая математика не требуются. Мы фокусируемся на сути и наметим ваш карьерный путь обзорами продвинутых тем верхнего уровня.
Изучаем глубоко:
Non-LLM метрики, LLM-метрики, промпт-инжиниринг, промпт-инъекции и джейлбрейкинг, нефункциональное тестирование AI, LLM-as-a-Judge
Обзорно—для карьерной карты:
AI-агенты, RAG-системы, Fine-Tuning, MLOps, тестирование данных, Gray-box тестирование AI, выбор AI-модели
Наши преподаватели
Как проходит обучение
Для профессии тестировщика исключительно важно уметь обрабатывать большие объемы текстовой информации.
Именно поэтому данный курс состоит не из записанных видео, а целиком и полностью представлен в текстовом виде.
В конце каждой главы есть тесты, позволяющие убедиться, что всё понято правильно.
* Получите практические навыки тестирования пяти ведущих AI-моделей прямо в браузере с помощью симулятора Mentorpiece Sim. API передовых AI-моделей платный, но мы за свой счет зачисляем каждому студенту 5 000 токенов при регистрации в симуляторе.
Программа курса
Отзывы прошедших курс
Что вы получаете
- Понимание специфики AI-систем: вы разберетесь в архитектуре AI-приложений и процессах MLOps, осознав фундаментальные отличия тестирования нейросетей от классического ПО.
- Навык работы с метриками: вы научитесь на практике рассчитывать ключевые Non-LLM и LLM-метрики, которые являются единственным объективным способом подтвердить качество работы AI-модели.
- Опыт состязательного тестирования: вы освоите методы нефункционального тестирования, включая Adversarial Testing (поиск уязвимостей и сценариев отказа), что критически важно для безопасности и экономии бюджета проекта.
- Создание собственного решения: вы разработаете AI-приложение на базе подхода LLM-as-a-Judge и напишете для него автотесты, даже если у вас нет опыта в программировании.
- Актуальный рыночный профиль: вы получите базовую экспертизу AI-QA-инженера, что выделит вас на рынке труда.