Ограничитель
Ограничители (guardrails) — защитные механизмы вокруг ИИ-модели: правила, фильтры и отдельные классификаторы. Они проверяют запросы и ответы и блокируют или изменяют опасное и недопустимое содержимое. В отличие от обучения самой модели безопасному поведению, ограничители обычно работают как отдельный слой до и после модели. Они могут ошибаться и отклонять законные запросы.
проверено по: ibm.com ↗
См. также
- Классификатор безопасностиОтдельная, обычно небольшая модель, которая проверяет запросы к языковой модели и её ответы и отсекает опасный или запрещённый контент. Сама она на запросы не отвечает, а только решает, пропустить ли их. От её точности зависит баланс между защитой от злоупотреблений и ошибочными отказами обычным пользователям.
- Llama Guard 3Llama Guard 3 — открытая модель-классификатор безопасности от Meta, дообученная на базе Llama. Она проверяет запрос пользователя или ответ модели и помечает его как безопасный либо относит к одной из категорий вреда, поэтому используется как фильтр в продуктовых системах и как автоматический судья в исследованиях.
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
В новостях
Cohere поймала модель Alibaba Qwen на попытке загрузить файл в облако Alibaba в Пекине
Правило или фильтр вокруг модели, который не даёт ей выполнять запрещённые действия или выдавать недопустимые ответы.
Google запустила в Gemini Live режим для незрячих и слабовидящих
Правила и фильтры вокруг модели, которые не дают ей выполнять нежелательные или опасные запросы и выдавать вредные ответы.
OpenAI дала Codex облачные среды, чтобы задачи шли при закрытом ноутбуке
Правило или фильтр, которые не дают модели выполнять нежелательные запросы или выдавать опасные ответы.
Эндрю Ын назвал раздутыми страхи перед ИИ после взлома Hugging Face
Встроенные в модель или сервис правила и фильтры, из-за которых модель отказывается выполнять опасные или запрещённые просьбы (по-английски guardrails).