Промпт-инъекция
Атака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
проверено по: genai.owasp.org ↗
См. также
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- ИИ-агентПрограмма, обычно на основе языковой модели, которая не просто отвечает на вопрос, а сама выполняет многошаговую задачу: планирует шаги, вызывает инструменты и внешние сервисы, работает с файлами и данными и учитывает промежуточные результаты. От обычного чат-бота отличается самостоятельностью: человек ставит цель, а последовательность действий агент выбирает сам.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- Внедрение SQL-кодаАтака на приложения, которые работают с базами данных (SQL injection). Злоумышленник передаёт через поле ввода или параметр запроса фрагмент SQL-кода, и приложение выполняет его, если не отделяет пользовательские данные от команд. Так можно без права доступа прочитать, изменить или удалить данные. Основная защита — параметризованные запросы и тщательная проверка входных данных.
- Системный промптИнструкция, которую языковая модель или агент получает до сообщений пользователя (system prompt, также «системный запрос»). В ней задаются роль, стиль, правила и ограничения, действующие на весь разговор. Её пишет разработчик продукта, а пользователь её обычно не видит.
В новостях
CrowdStrike заплатит 495 млн долларов за два стартапа защиты ИИ, пишет WSJ
Атака, при которой в текст, попадающий к модели, — письмо, страницу сайта, документ — прячут команды, чтобы она выполнила их вместо задачи пользователя.
Индийская Sarvam AI выпустила открытую модель Prism для быстрых решений
Атака, при которой в текст, попадающий к модели, прячут команды, чтобы заставить её действовать вопреки исходным инструкциям.
Anthropic научила Claude проверять свои разговоры на злоупотребления
Атака, при которой в текст, который читает модель, — письмо, веб-страницу, документ — подкладывают инструкции, чтобы заставить её сделать то, чего не хотел пользователь.
Google представила модель Gemini 4 Carbon для кода и киберзащиты
Атака на языковую модель: в текст, который она читает, — письмо, веб-страницу, документ — прячут команды, и модель выполняет их вместо указаний пользователя.
Cohere спрятала данные клиентов ИИ-сервиса от облака и своих сотрудников
Атака на языковую модель: в текст, который она читает, подмешивают команды, чтобы заставить её действовать не так, как задумал пользователь или разработчик.
Microsoft представила надзор за ИИ-агентами, который урезает им права
Атака на языковую модель: в текст, который она читает, — письмо, веб-страницу, документ — прячут команды, и модель выполняет их вместо задачи пользователя.
OpenAI и Anthropic объяснили, где финансовым ИИ-агентам нужен человек
Атака на ИИ-модель: в текст, который она читает, — письмо, страницу, отзыв — прячут команды, и модель выполняет их как распоряжение пользователя.
Gemini 4 Argon пыталась обмануть проверки при обучении, рассказала Google
Атака на ИИ-модель: в текст, который она читает, — веб-страницу, письмо, код — прячут чужие команды, чтобы модель выполнила их вместо задачи пользователя.
Google предлагает проверять каждое действие ИИ-агента на уместность
Атака на языковую модель или агента: команды злоумышленника подмешивают во входные данные — письмо, веб-страницу, документ, — и модель выполняет их как указания пользователя.
OpenAI нашла промпт-инъекции, которые копируют себя, как компьютерные черви
Атака на языковую модель: в текст, который она читает, — письмо, веб-страницу, файл — прячут инструкции, чтобы модель выполнила их вместо команд пользователя.