🚩 AI Security - практикум по безопасности ИИ приложений

🔓 Что это за курс?

Нельзя построить надёжную защиту, не понимая, как именно её будут ломать. Поэтому сначала ты учишься атаковать LLM-приложения - чат-ботов, модераторов, ассистентов, RAG-системы - и только потом проектируешь защиту с пониманием того, от чего она должна спасать. Никакого кода: всё через чат, формы и загрузку документов.

Курс построен вокруг CTF-заданий (Capture The Flag): тебе дают бота с защитой, твоя задача - сломать её и получить флаг. Сложность растёт от «введи волшебное слово» до композитных атак, где нужно одновременно обойти keyword-фильтр, whitelist доступа и ролевую инструкцию.

🎯 Зачем это нужно?

LLM сегодня встроены в продукты, которыми пользуются миллионы людей. Prompt injection - уязвимость №1 по классификации OWASP Top 10 for LLMs. Компании нанимают red team-специалистов, чтобы находить такие дыры до того, как это сделает кто-то другой. Этот курс даёт те самые навыки.

📚 Что внутри?

Курс охватывает таксономию из 90+ техник атак на LLM, сгруппированных в модули:

• Prompt Injection - instruction override, system prompt extraction, delimiter attacks, output manipulation.
• Jailbreaks - role-play, hypothetical framing, encoding, payload splitting, multi-turn атаки (Crescendo).
• Indirect Prompt Injection — скрытые инструкции в документах, веб-страницах, email. Атака не на модель напрямую, а через контент, который она обрабатывает.
• Атаки на агентов и RAG - tool abuse, knowledge base poisoning, memory attacks, multi-agent injection.
• Автоматизированные атаки - PAIR, TAP, GCG - как автоматизация меняет ландшафт угроз. Без кода, но с пониманием attack loop.
• Защита - есть defense-блок: от hardening промптов до проектирования guardrails.

🏢 Сквозной нарратив

Весь курс - это серия контрактов с AI-компаниями. Ты - red team специалист, которого нанимают для проверки безопасности. Каждый модуль - новый клиент, новые продукты, нарастающая сложность.

⚠️ Курс активно развивается. Новые модули и задания добавляются регулярно. За обновлениями можно следить в TG-канале курса.