Классификатор безопасности
Отдельная, обычно небольшая модель, которая проверяет запросы к языковой модели и её ответы и отсекает опасный или запрещённый контент. Сама она на запросы не отвечает, а только решает, пропустить ли их. От её точности зависит баланс между защитой от злоупотреблений и ошибочными отказами обычным пользователям.
проверено по: anthropic.com ↗
См. также
- Llama Guard 3Llama Guard 3 — открытая модель-классификатор безопасности от Meta, дообученная на базе Llama. Она проверяет запрос пользователя или ответ модели и помечает его как безопасный либо относит к одной из категорий вреда, поэтому используется как фильтр в продуктовых системах и как автоматический судья в исследованиях.
- ДжейлбрейкПриём обхода защитных ограничений ИИ-модели (jailbreak): специально составленный запрос — ролевая игра, маскировка просьбы, необычная форма вроде стихов — заставляет модель выдать то, в чём она обычно отказывает. От промпт-инъекции отличается тем, что пользователь напрямую атакует правила безопасности самой модели, а не подмешивает чужие инструкции в данные, которые она обрабатывает. Изначально так называли снятие ограничений производителя на смартфонах.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
- Промпт-инъекцияАтака на языковую модель (prompt injection): в текст, который обрабатывает модель, встраивают команды, чтобы она выполнила их вместо инструкций пользователя или разработчика. При прямой инъекции команды вводит сам пользователь, при косвенной их прячут во внешних данных — на веб-страницах, в файлах, письмах. Особенно опасна для ИИ-агентов, у которых есть доступ к инструментам и данным.
В новостях
Лучшая модель набрала 12% в новом тесте ИИ-агентов от SemiAnalysis
Отдельная модель, которая следит за запросами и ответами основной модели и блокирует опасные — например, связанные с биологическим оружием или взломом.
Физик из Гарварда за три месяца подготовил с Claude 36 научных работ
Отдельная модель, которая проверяет запросы к основной модели и её ответы и блокирует опасные — например, связанные с кибератаками или биологическим оружием.