Чему вы научитесь
- онимать модель угроз LLM-приложений: где реально “дырки” у RAG и AI-агентов (user input, RAG-корпус, tools, память, логи, бюджет).
- Делать threat modeling для LLM-фичи: активы → угрозы → контроли → остаточные риски → план работ.
- Отличать галлюцинации от инцидентов безопасности (утечка данных, запрещённые действия, невалидные контракты, перерасход).
- Воспроизводить на практике prompt injection (direct) на локальном учебном сервисе и понимать, почему “запреты в промпте” не работают как защита.
- Защищаться от indirect prompt injection / RAG-poisoning: когда “вредные инструкции” прячутся в документах и ломают поведение системы.
- Правильно разделять инструкции и данные (instruction hierarchy): чтобы retrieved-контент и пользовательский ввод не могли “перепрошить” правила.
- Строить policy layer вне модели: “LLM предлагает — код решает”, с отказами, фоллбеками и безопасными дефолтами.
- Проектировать безопасный контур RAG: чанкинг/контекст так, чтобы снижать риск утечек и заражения инструкциями; ограничение контекста и приоритет источников.
- Делать grounded-ответы: режим “только по источникам”, ссылки/цитирование и контроль provenance (откуда взялась информация).
- Проектировать и защищать tools (инструменты агента): почему tools опаснее текста и как предотвращать “excessive agency”.
- Внедрять allowlist инструментов и разрешённых параметров (что агенту вообще позволено делать).
- Настраивать scopes/permissions: агент не должен иметь “админские” полномочия по умолчанию.
- Делать approvals (human-in-the-loop): опасные действия требуют подтверждения (и логируются).
- Строить sandbox-поведение и контроль побочных эффектов (идемпотентность, безопасные ретраи, запрет опасных операций).
- Защищать приложение от insecure output handling: почему нельзя “исполнять” то, что выдала модель (SQL/команды/URL/JSON).
- Делать строгий структурированный вывод: JSON Schema / Pydantic, safe parsing, обработка ошибок как часть протокола.
- Защищаться от утечек: secret/PII leakage через ответы, логи, и
О курсе
LLM Security PRO — практический курс о том, как защищать RAG-сервисы и AI-агентов в продакшне. Мы не ограничимся “правильными промптами”: вы построите инженерные контуры, которые удерживают систему в рамках безопасности даже тогда, когда модель внушаема, ошибается или сталкивается с “вредными” документами и запросами.
Курс построен вокруг локального учебного приложения (RAG + tools + API + UI), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API. Сначала вы увидите типовые провалы (injection, утечки, опасные tool-действия, cost-DoS), затем внедрите контроли: policy-layer, защита RAG-контекста, allowlist/scopes/approvals для инструментов, строгая валидация вывода, redaction и лимиты стоимости. Финал — red-team test suite и security-gates, чтобы регрессы не уезжали в прод.
Формат: код и шаблоны на GitHub, сервисы поднимать не нужно. API-ключ хранится только локально. В учебных заданиях используются синтетические данные (без ПДн/секретов).
Для кого курс: Python-разработчики, ML/DE инженеры, тимлиды/архитекторы и специалисты AppSec/DevSecOps, которые внедряют LLM в продукт и хотят делать это безопасно и предсказуемо.
Вы можете спросить любой вопрос по курсу в телеграмм у автора @alexey_stepik
Старт — 1 января.
А больше информации о ML/AI/DS вы можете узнать в нашем тгк Data Trends AI & ML
Для кого этот курс
Начальные требования
— Обучение построено вокруг локального учебного приложения (UI + API + RAG + tools), которое вы запускаете у себя на компьютере и подключаете к реальному LLM через OpenAI API.
— В каждом модуле: короткая теория → демонстрация типового провала (injection/утечки/tool-abuse/cost) → практика “воспроизвёл → починил” → мини-квиз/чек-лист.
— Все задания делаются на вашем стенде и ваших синтетических данных (без ПДн/секретов).
— В финале вы соберёте “закалённую” версию сервиса и прогоните red-team test suite + security-gates перед релизом.
— Доступ к материалам — навсегда, курс будет обновляться по мере изменений в инструментах и практиках.
Наши преподаватели
Как проходит обучение
Курс ориентирован на практику и встроен в реальную работу маркетолога.
— Материал подаётся в структурированных шагах: объяснение концепции → разбор примера → пошаговая инструкция.
— К каждому блоку даются шаблоны промптов, чек-листы и структуры, которые можно сразу использовать под свои задачи.
— Практические задания привязаны к реальным кейсам: вы собираете агентов под свои продукты, а не “абстрактные” примеры.
— Можно проходить в своём темпе: вернуться к шагам, пересобрать связки, обновить шаблоны под новые проекты.
— В комментариях к шагам можно задавать вопросы и смотреть разборы типичных ошибок других участников.
На выходе у вас не просто понимание, «как это могло бы работать», а свои рабочие сценарии и настроенные агенты.
Программа курса
Что вы получаете
- — Репозиторий-шаблон безопасного LLM-сервиса (RAG + tools + API + UI).
- — Policy-layer “LLM предлагает — код решает”.
- — Защита от prompt injection и indirect injection (RAG-poisoning).
- — Контроли для tools: allowlist, scopes/permissions, approvals (human-in-the-loop).
- — Строгий структурированный вывод: JSON Schema/Pydantic + safe parsing.
- — Защита от утечек: redaction/маскирование, политика логов и ретеншн.
- — Контроль стоимости и стабильности: лимиты токенов/времени/tool-calls, stop-conditions (anti-loop).
- — Red-team test suite (набор сценариев атак) для регресс-проверки.
- — Security-gates в CI/CD, чтобы не выпускать регресс в прод.
- — Релизный чек-лист и короткий runbook “что делать при инциденте”.