Чему вы научитесь
- Находить уязвимости в LLM-приложениях через prompt injection - обход инструкций, извлечение системных промптов, манипуляция выводом.
- Обходить safety-тренировку моделей через jailbreak-техники - role-play, encoding, payload splitting, multi-turn атаки.
- Проводить indirect prompt injection - внедрять вредоносные инструкции через документы, веб-страницы и email.
- Атаковать AI-агентов и RAG-системы - подмена инструментов, отравление баз знаний, манипуляция цепочками вызовов.
- Оценивать эффективность атак - метрики ASR, LLM-as-judge.
- Проектировать защиту - hardening системных промптов, guardrails, input/output фильтрация.
- Комбинировать техники - строить композитные атаки, которые не ловятся одиночными фильтрами.
О курсе
🔓 Что это за курс?
Нельзя построить надёжную защиту, не понимая, как именно её будут ломать. Поэтому сначала ты учишься атаковать LLM-приложения - чат-ботов, модераторов, ассистентов, RAG-системы - и только потом проектируешь защиту с пониманием того, от чего она должна спасать. Никакого кода: всё через чат, формы и загрузку документов.
Курс построен вокруг CTF-заданий (Capture The Flag): тебе дают бота с защитой, твоя задача - сломать её и получить флаг. Сложность растёт от «введи волшебное слово» до композитных атак, где нужно одновременно обойти keyword-фильтр, whitelist доступа и ролевую инструкцию.
🎯 Зачем это нужно?
LLM сегодня встроены в продукты, которыми пользуются миллионы людей. Prompt injection - уязвимость №1 по классификации OWASP Top 10 for LLMs. Компании нанимают red team-специалистов, чтобы находить такие дыры до того, как это сделает кто-то другой. Этот курс даёт те самые навыки.
📚 Что внутри?
Курс охватывает таксономию из 90+ техник атак на LLM, сгруппированных в модули:
- Prompt Injection - instruction override, system prompt extraction, delimiter attacks, output manipulation.
- Jailbreaks - role-play, hypothetical framing, encoding, payload splitting, multi-turn атаки (Crescendo).
- Indirect Prompt Injection — скрытые инструкции в документах, веб-страницах, email. Атака не на модель напрямую, а через контент, который она обрабатывает.
- Атаки на агентов и RAG - tool abuse, knowledge base poisoning, memory attacks, multi-agent injection.
- Автоматизированные атаки - PAIR, TAP, GCG - как автоматизация меняет ландшафт угроз. Без кода, но с пониманием attack loop.
- Защита - есть defense-блок: от hardening промптов до проектирования guardrails.
🏢 Сквозной нарратив
Весь курс - это серия контрактов с AI-компаниями. Ты - red team специалист, которого нанимают для проверки безопасности. Каждый модуль - новый клиент, новые продукты, нарастающая сложность.
⚠️ Курс активно развивается. Новые модули и задания добавляются регулярно. За обновлениями можно следить в TG-канале курса.
Для кого этот курс
Начальные требования
Базовое понимание, что такое LLM (большая языковая модель) - на уровне «знаю, что это нейросеть, которая генерирует текст».
Опыт использования любой LLM (ChatGPT, Claude, Gemini и т.п.) - нужно понимать, что такое промпт и как устроен диалог с моделью.
Код писать не нужно. Вообще. Все задания решаются через чат, формы и загрузку файлов.
Знание английского на уровне чтения технических терминов или использования онлайн-переводчика - часть атак и техник используют англоязычные промпты.
Наши преподаватели
Как проходит обучение
Курс состоит из модулей, каждый посвящён отдельному классу атак. Внутри модуля - теория, квизы и CTF-задания.
Теория — короткие блоки с объяснением техники и реальными примерами. Без воды и академизма, только то, что нужно для следующего задания.
CTF-задания - интерактивные упражнения с автоматической проверкой. Тебе дают бота с защитой - ломай его. Сложность от 1 до 10: от простого «ignore previous instructions» до композитных атак из 5+ техник. Есть система подсказок, они открываются после нескольких неудачных попыток.
Квизы - проверка понимания теории. Разбор типичных ошибок и edge cases.
Defense-блоки — в некоторых модулях ты переключаешься на сторону защитника. Проектируешь системные промпты и guardrails, а потом проверяешь, выдержат ли они атаку.
Кода нет. Терминала нет. Все задания решаются прямо в браузере.
Программа курса
Что вы получаете
- Практические навыки red teaming LLM-приложений - востребованная специализация в AI Security.
- Понимание таксономии атак на LLM - prompt injection, jailbreaks, indirect injection, agent attacks.
- Опыт проектирования защиты: hardening промптов, guardrails, input/output фильтрация.
- Умение оценивать безопасность AI-продуктов - как своих, так и сторонних.
- Насмотренность и интуиция в области безопасности ИИ-приложений.