XSTest
XSTest — набор тестов для выявления избыточной осторожности языковых моделей: он состоит из безопасных запросов, которые лишь звучат тревожно (например, про «убийство» процесса в Linux), и парных к ним по-настоящему опасных запросов. Так измеряют, как часто модель отказывает там, где отказывать не нужно, не теряя при этом отказов по существу.
проверено по: arxiv.org ↗
См. также
В новостях
Multiverse научила модель отказывать только в политической манипуляции
Бенчмарк, который проверяет, не отказывает ли модель на безобидные запросы только потому, что в них встречаются опасные на вид слова.