Llama Guard 3
Llama Guard 3 — открытая модель-классификатор безопасности от Meta, дообученная на базе Llama. Она проверяет запрос пользователя или ответ модели и помечает его как безопасный либо относит к одной из категорий вреда, поэтому используется как фильтр в продуктовых системах и как автоматический судья в исследованиях.
проверено по: huggingface.co ↗
См. также
- Классификатор безопасностиОтдельная, обычно небольшая модель, которая проверяет запросы к языковой модели и её ответы и отсекает опасный или запрещённый контент. Сама она на запросы не отвечает, а только решает, пропустить ли их. От её точности зависит баланс между защитой от злоупотреблений и ошибочными отказами обычным пользователям.
- XSTestXSTest — набор тестов для выявления избыточной осторожности языковых моделей: он состоит из безопасных запросов, которые лишь звучат тревожно (например, про «убийство» процесса в Linux), и парных к ним по-настоящему опасных запросов. Так измеряют, как часто модель отказывает там, где отказывать не нужно, не теряя при этом отказов по существу.
В новостях
Multiverse научила модель отказывать только в политической манипуляции
Модель-фильтр Meta, которая проверяет запросы и ответы чат-ботов и относит опасные к одной из заранее заданных категорий вреда.