AI Threat Team: Безопасность AI-систем

🎯 Практический курс по безопасности AI, LLM и AI-агентов.
Вы разберёте реальные атаки на современные AI-системы: prompt injection, jailbreak, снятие alignment, data poisoning, MCP Tool Poisoning, агентные атаки и supply chain-риски.

На курсе вы не только изучите OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF, но и…
Начальный уровень
4-5 часов в неделю

Чему вы научитесь

  • Анализировать реальные атаки на LLM, RAG и AI-агентов
  • Понимать, почему prompt injection и jailbreak являются фундаментальной проблемой LLM
  • Выявлять и тестировать prompt injection и jailbreak-атаки на практике
  • Понимать, как и почему обходятся alignment-механизмы моделей
  • Разбирать практический кейс снятия alignment-защиты с локальной модели с помощью Heretic
  • Анализировать, как количество параметров модели влияет на устойчивость к jailbreak
  • Понимать, как параметры генерации влияют на восприимчивость модели к атакам
  • Работать с локальными LLM через Ollama и тестировать их безопасность
  • Разбираться в архитектуре LLM и в причинах их уязвимостей
  • Анализировать ML pipeline как поверхность атаки
  • Выявлять data poisoning и supply chain атаки в AI-стеке
  • Понимать риски, связанные с моделями, датасетами, адаптерами и AI-инструментами
  • Разбираться в архитектуре AI-агентов и новых поверхностях атаки
  • Понимать, как работают атаки через память, контекст, инструменты и MCP
  • Анализировать Tool Poisoning как одну из ключевых атак на MCP-экосистему
  • Разбирать MCP Server Supply Chain Attack и понимать, как через инструменты компрометируют агента
  • Проводить базовое red teaming AI-систем
  • Использовать OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF для анализа и защиты AI-продуктов
  • Строить более системный взгляд на безопасность AI — от модели до действий агента

О курсе

🚀 Этот курс — не про “узнать”, а про то как начать мыслить как специалист по AI Security

После курса вы будете смотреть на AI иначе!

Не как пользователь, не как разработчик, а как человек, который понимает:

👉 где система уязвима
👉 как её атакуют
👉 и как её защищать

 

🔍 Вы научитесь видеть уязвимости на уровне всей AI-системы

Вы перестанете смотреть только на модель и начнёте анализировать всю связку:

  • модель

  • данные

  • промпты

  • память

  • инструменты

  • интеграции

👉 Вы начнёте видеть реальный attack surface

 

⚔️ Попробуете на практике

  • протестируете реальные модели

  • попробуете разные техники jailbreak

  • проверите как смена языка влияет на всоприимчивость модели к атакам

  • проверите как параметры генерации токенов влияют на воспримчивость к атакам

  • снимите aligment защиту с Qwen3-1.7B

  • разберетесь с фреймворком Heretic

  • поймёте, как обходятся защитные механизмы

  • попробуете MCP Server Supply Chain Attack

  • попробуете применить Tool Poisoning

 

🤖 Вы поймёте, как ломают AI-агентов

Когда LLM получает:

  • память

  • инструменты

  • доступ к данным

  • возможность действовать

она превращается в систему с реальными последствиями.

Вы увидите:

  • как атака проходит через память и контекст

  • как агент сам выполняет вредоносные действия

  • как строится цепочка:
    prompt → память → инструмент → действие

👉 Это уже не “модель ответила не так”
👉 Это система сделала что-то опасное

 

🧩 Вы поймёте, почему AI уязвим по своей природе

Вы разберётесь:

  • почему модель не различает данные и инструкции и как это связано с механизмом attention

  • почему prompt injection — это фундаментальная проблема

  • откуда берутся jailbreak’и

  • почему “запретить” ≠ “защитить”

👉 Вы начнёте видеть причину атак, а не только их форму

 

🛠 Вы научитесь мыслить как AI Security специалист

Вы освоите системный подход:

  • OWASP Top 10 for LLM → что ломается

  • MITRE ATLAS → как атакуют

  • NIST AI RMF → как защищать

👉 Вы начнёте работать через
модель угроз, а не интуицию

 

🔐 Вы поймёте, как защищают реальные AI-системы

Вы узнаете:

  • как строится защита на уровне архитектуры

  • где guardrails работают, а где нет

  • как ограничивать действия агентов

  • как защищать цепочку: модель → данные → инструменты

 

💡 Главное, что вы получите

Вы перестанете воспринимать AI как “чёрный ящик”.

И начнёте видеть его так:

это система с уязвимостями,
которую можно атаковать —
и которую нужно уметь защищать

Для кого этот курс

* Разработчики, работающие с LLM, RAG и AI-агентами * Специалисты по информационной безопасности, которым нужен новый вектор компетенций * AppSec, Pentest, Red Team и SOC специалисты * ML-инженеры и Data Scientists, которые хотят лучше понимать угрозы своим системам * DevOps и MLSecOps инженеры, внедряющие локальные или production AI-решения * Технические лиды и архитекторы, отвечающие за AI-функциональность в продукте * Все, кто хочет перейти в AI Security и получить практическую базу для входа в это направление

Начальные требования

* Базовое понимание Python будет полезно
* Желательно общее представление о том, как работают API и современные AI-сервисы
* Плюсом будет базовое знакомство с LLM, Ollama или локальным запуском моделей
* Опыт в ИБ, разработке, DevOps или ML поможет быстрее влиться в материал

Курс не требует глубокого академического бэкграунда в машинном обучении.
Все ключевые идеи объясняются последовательно: от устройства моделей и пайплайна — к атакам и защите.

Наши преподаватели

Как проходит обучение

Видеоуроки с разбором теории и реальных кейсов

Практические задания с атаками на LLM

Квизы для закрепления материала

Пошаговый переход от теории к практике

Программа курса

загружаем...

Что вы получаете

  • Системное понимание безопасности современных AI-систем
  • Практический опыт тестирования LLM на уязвимости
  • Понимание того, как работают jailbreak, prompt injection и alignment bypass
  • Навык анализа архитектуры AI-агентов и новых поверхностей атаки
  • Понимание рисков MCP, инструментов, памяти и агентных интеграций
  • Разбор реальных атак на supply chain, данные и модели
  • Работу с OWASP Top 10 for LLM, MITRE ATLAS и NIST AI RMF
  • Базу для старта или усиления карьеры в AI Security
  • Материалы, практики и фреймворки, которые можно применять дальше в работе
  • Сертификат Stepik
Price: Бесплатно

Расскажите о курсе друзьям

Price: Бесплатно