# Безопасность LLM: prompt injection > Внедрение инструкций в данные, которые обрабатывает языковая модель, чтобы перехватить её поведение; прямые и косвенные атаки, «летальная триада» и способы защиты. Источник: https://llmdocs.ru/wiki/prompt-injection/ · обновлено 2026-11-09 · лицензия CC BY-SA 4.0 - **Термин**: Саймон Уиллисон, сентябрь 2022 - **Виды**: прямая, косвенная (через документы, страницы, письма, инструменты) - **Место в OWASP**: LLM01 в OWASP Top 10 for LLM Applications - **Главный риск**: агенты с доступом к данным и внешним действиям - **Защита**: разделение привилегий, подтверждение действий, изоляция, фильтры **Prompt injection** (промпт-инъекция) — атака на приложения с [языковыми моделями](https://llmdocs.ru/wiki/llm.md), при которой злоумышленник внедряет инструкции в данные, обрабатываемые моделью, и тем самым перехватывает её поведение. Причина в устройстве LLM: инструкции разработчика и обрабатываемый текст поступают в модель одним потоком [токенов](https://llmdocs.ru/wiki/tokenization.md), и у неё нет надёжного способа отличить команду от данных. Уязвимость занимает первое место в списке OWASP Top 10 для LLM-приложений и считается нерешённой в общем виде.[1] ## История и название Термин предложил Саймон Уиллисон в сентябре 2022 года по аналогии с [SQL-инъекцией](https://llmdocs.ru/wiki/sql-injection.md): там данные пользователя смешиваются с кодом запроса, здесь — с инструкциями промпта.[2] Первые примеры были забавными — бот для твитов, которому велели «игнорировать предыдущие инструкции». Серьёзность проблемы стала ясна с появлением моделей с доступом к почте, веб-поиску и инструментам: исследование 2023 года показало **косвенные** инъекции через веб-страницы и документы.[3] ## Виды - **Прямая инъекция** — пользователь сам пишет модели «забудь инструкции и …». Близка к **джейлбрейку** — обходу ограничений безопасности модели, — но цели разные: джейлбрейк направлен против создателя модели, инъекция — против приложения и его пользователей. - **Косвенная инъекция** — инструкция спрятана в контенте, который модель читает по ходу работы: веб-странице, письме, PDF, комментарии в коде, описании задачи, результате вызова инструмента. Пользователь может не подозревать об атаке; текст бывает невидим человеку (белый шрифт, HTML-комментарий, метаданные, символы Unicode-тегов). ```text ``` ## Последствия - **Утечка данных** — модель вставляет приватные данные в ссылку или картинку на сервер атакующего; браузер или клиент загружает её автоматически. - **Несанкционированные действия** — отправка писем, изменение файлов, покупки, выполнение команд в [агентах для кода](https://llmdocs.ru/wiki/coding-agents.md). - **Манипуляция ответом** — искажённые выводы, реклама, фишинговые ссылки, влияние на автоматические оценки (например, скрытый текст в резюме или научной статье). - **Отравление памяти** — инструкция записывается в долговременную память агента и срабатывает позже. ## «Летальная триада» Уиллисон сформулировал простое правило: опасна комбинация трёх возможностей агента — **доступ к приватным данным**, **контакт с недоверенным контентом** и **способ передать данные наружу** (сетевые запросы, ссылки, письма).[4] Если у [агента](https://llmdocs.ru/wiki/ai-agent.md) есть все три, утечку данных можно считать вопросом времени. Убрать хотя бы одну — самый надёжный способ защиты. ## Защита Надёжного фильтра не существует: модели можно обучить сопротивляться известным атакам, и классификаторы ловят многие попытки, но новые формулировки обходят их с заметной вероятностью. Поэтому защита строится на архитектуре, а не на надежде, что модель «поймёт»: - **Принцип наименьших привилегий** — агенту даются только нужные инструменты и данные, токены с минимальными правами (см. [Принцип наименьших привилегий](https://llmdocs.ru/wiki/least-privilege.md)). - **Подтверждение человеком** опасных действий: отправки, удаления, платежей, команд вне песочницы. - **Изоляция** — запуск в контейнере без секретов, ограничение сетевого доступа белым списком доменов. - **Разделение ролей** — модель, читающая недоверенный контент, не имеет инструментов; привилегированная модель видит только её структурированный, проверенный вывод. Подходы вроде CaMeL отделяют поток управления от потока данных.[5][6] - **Запрет автоматической загрузки** ссылок и изображений из ответов модели. - **Маркировка недоверенных данных** в промпте (теги, отдельные роли сообщений) — снижает, но не устраняет риск. - **Мониторинг и журналирование** вызовов инструментов для расследования. ## Связь с другими угрозами Prompt injection — частный случай более общей проблемы смешения кода и данных, знакомой по [XSS](https://llmdocs.ru/wiki/xss.md) и SQL-инъекциям, но без аналога экранирования. В [MCP](https://llmdocs.ru/wiki/mcp.md) дополнительные риски создают недоверенные серверы, описания инструментов которых сами могут содержать инъекции. Сходные вопросы рассматривает [OWASP Top 10](https://llmdocs.ru/wiki/owasp-top-10.md) для веб-приложений. ## См. также - [ИИ-агент](https://llmdocs.ru/wiki/ai-agent.md) - [Агенты для кода](https://llmdocs.ru/wiki/coding-agents.md) - [Model Context Protocol (MCP)](https://llmdocs.ru/wiki/mcp.md) - [Принцип наименьших привилегий](https://llmdocs.ru/wiki/least-privilege.md) - [Галлюцинации LLM](https://llmdocs.ru/wiki/hallucinations.md) ## Источники 1. [OWASP — Top 10 for LLM Applications: LLM01 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/) 2. [Simon Willison — Prompt injection attacks against GPT-3 (2022)](https://simonwillison.net/2022/Sep/12/prompt-injection/) 3. [Greshake et al. — Not what you've signed up for: Indirect Prompt Injection (2023)](https://arxiv.org/abs/2302.12173) 4. [Simon Willison — The lethal trifecta for AI agents (2025)](https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/) 5. [Debenedetti et al. — Defeating Prompt Injections by Design (CaMeL, 2025)](https://arxiv.org/abs/2503.18813) 6. [Beurer-Kellner et al. — Design Patterns for Securing LLM Agents against Prompt Injections (2025)](https://arxiv.org/abs/2506.08837)