BBQ
BBQ (Bias Benchmark for QA) — набор вопросов для проверки того, опирается ли языковая модель на социальные стереотипы (возраст, пол, происхождение и другие признаки). Вопросы даются в двух вариантах — с недостаточным и с достаточным контекстом, что позволяет отделить предвзятость от обычных фактических ошибок.
проверено по: arxiv.org ↗
См. также
- XSTestXSTest — набор тестов для выявления избыточной осторожности языковых моделей: он состоит из безопасных запросов, которые лишь звучат тревожно (например, про «убийство» процесса в Linux), и парных к ним по-настоящему опасных запросов. Так измеряют, как часто модель отказывает там, где отказывать не нужно, не теряя при этом отказов по существу.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Тест Ai2 показал перекос моделей ИИ в пользу кандидатов из меньшинств
Bias Benchmark for QA — бенчмарк из вопросов о ситуациях с людьми из разных социальных групп. Проверяет, склоняется ли языковая модель к ответам, которые совпадают со стереотипами.