Джейлбрейк
Приём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
проверено по: kaspersky.ru ↗
См. также
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- XSTestXSTest — набор тестов для выявления избыточной осторожности языковых моделей: он состоит из безопасных запросов, которые лишь звучат тревожно (например, про «убийство» процесса в Linux), и парных к ним по-настоящему опасных запросов. Так измеряют, как часто модель отказывает там, где отказывать не нужно, не теряя при этом отказов по существу.
В новостях
CrowdStrike заплатит 495 млн долларов за два стартапа защиты ИИ, пишет WSJ
Приём, который обходит ограничители модели и заставляет её выдать то, что ей запрещено.
Anthropic отчиталась об общественной пользе и признала, где отстаёт
Приём, который заставляет модель обойти собственные ограничения и выполнить запрос, от которого она должна отказаться. Универсальный джейлбрейк срабатывает почти на любых запрещённых запросах.
OpenAI описала, как внешние эксперты должны проверять её модели
Приём, которым пользователь обходит встроенные ограничители модели ИИ и добивается ответа, который она должна отклонить.