Чему вы научитесь
- Анализировать реальные атаки на LLM, RAG и AI-агентов
- Понимать, почему prompt injection и jailbreak являются фундаментальной проблемой LLM
- Выявлять и тестировать prompt injection и jailbreak-атаки на практике
- Понимать, как и почему обходятся alignment-механизмы моделей
- Разбирать практический кейс снятия alignment-защиты с локальной модели с помощью Heretic
- Анализировать, как количество параметров модели влияет на устойчивость к jailbreak
- Понимать, как параметры генерации влияют на восприимчивость модели к атакам
- Работать с локальными LLM через Ollama и тестировать их безопасность
- Разбираться в архитектуре LLM и в причинах их уязвимостей
- Анализировать ML pipeline как поверхность атаки
- Выявлять data poisoning и supply chain атаки в AI-стеке
- Понимать риски, связанные с моделями, датасетами, адаптерами и AI-инструментами
- Разбираться в архитектуре AI-агентов и новых поверхностях атаки
- Понимать, как работают атаки через память, контекст, инструменты и MCP
- Анализировать Tool Poisoning как одну из ключевых атак на MCP-экосистему
- Разбирать MCP Server Supply Chain Attack и понимать, как через инструменты компрометируют агента
- Проводить базовое red teaming AI-систем
- Использовать OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF для анализа и защиты AI-продуктов
- Строить более системный взгляд на безопасность AI — от модели до действий агента
О курсе
🚀 Этот курс — не про “узнать”, а про то как начать мыслить как специалист по AI Security
После курса вы будете смотреть на AI иначе!
Не как пользователь, не как разработчик, а как человек, который понимает:
👉 где система уязвима
👉 как её атакуют
👉 и как её защищать
🔍 Вы научитесь видеть уязвимости на уровне всей AI-системы
Вы перестанете смотреть только на модель и начнёте анализировать всю связку:
-
модель
-
данные
-
промпты
-
память
-
инструменты
-
интеграции
👉 Вы начнёте видеть реальный attack surface
⚔️ Попробуете на практике
-
протестируете реальные модели
-
попробуете разные техники jailbreak
-
проверите как смена языка влияет на всоприимчивость модели к атакам
-
проверите как параметры генерации токенов влияют на воспримчивость к атакам
-
снимите aligment защиту с Qwen3-1.7B
-
разберетесь с фреймворком Heretic
-
поймёте, как обходятся защитные механизмы
-
попробуете MCP Server Supply Chain Attack
-
попробуете применить Tool Poisoning
🤖 Вы поймёте, как ломают AI-агентов
Когда LLM получает:
-
память
-
инструменты
-
доступ к данным
-
возможность действовать
она превращается в систему с реальными последствиями.
Вы увидите:
-
как атака проходит через память и контекст
-
как агент сам выполняет вредоносные действия
-
как строится цепочка:
prompt → память → инструмент → действие
👉 Это уже не “модель ответила не так”
👉 Это система сделала что-то опасное
🧩 Вы поймёте, почему AI уязвим по своей природе
Вы разберётесь:
-
почему модель не различает данные и инструкции и как это связано с механизмом attention
-
почему prompt injection — это фундаментальная проблема
-
откуда берутся jailbreak’и
-
почему “запретить” ≠ “защитить”
👉 Вы начнёте видеть причину атак, а не только их форму
🛠 Вы научитесь мыслить как AI Security специалист
Вы освоите системный подход:
-
OWASP Top 10 for LLM → что ломается
-
MITRE ATLAS → как атакуют
-
NIST AI RMF → как защищать
👉 Вы начнёте работать через
модель угроз, а не интуицию
🔐 Вы поймёте, как защищают реальные AI-системы
Вы узнаете:
-
как строится защита на уровне архитектуры
-
где guardrails работают, а где нет
-
как ограничивать действия агентов
-
как защищать цепочку: модель → данные → инструменты
💡 Главное, что вы получите
Вы перестанете воспринимать AI как “чёрный ящик”.
И начнёте видеть его так:
это система с уязвимостями,
которую можно атаковать —
и которую нужно уметь защищать
Для кого этот курс
Начальные требования
* Базовое понимание Python будет полезно
* Желательно общее представление о том, как работают API и современные AI-сервисы
* Плюсом будет базовое знакомство с LLM, Ollama или локальным запуском моделей
* Опыт в ИБ, разработке, DevOps или ML поможет быстрее влиться в материал
Курс не требует глубокого академического бэкграунда в машинном обучении.
Все ключевые идеи объясняются последовательно: от устройства моделей и пайплайна — к атакам и защите.
Наши преподаватели
Как проходит обучение
Видеоуроки с разбором теории и реальных кейсов
Практические задания с атаками на LLM
Квизы для закрепления материала
Пошаговый переход от теории к практике
Программа курса
Что вы получаете
- Системное понимание безопасности современных AI-систем
- Практический опыт тестирования LLM на уязвимости
- Понимание того, как работают jailbreak, prompt injection и alignment bypass
- Навык анализа архитектуры AI-агентов и новых поверхностей атаки
- Понимание рисков MCP, инструментов, памяти и агентных интеграций
- Разбор реальных атак на supply chain, данные и модели
- Работу с OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF
- Базу для старта или усиления карьеры в AI Security
- Материалы, практики и фреймворки, которые можно применять дальше в работе
- Сертификат Stepik