Тест Ai2 показал перекос моделей ИИ в пользу кандидатов из меньшинств

Модель ИИ легче уговорить отказаться от более сильного кандидата в пользу слабого, если сильный — белый, мужчина или гетеросексуал, а слабый — из меньшинства. Это показал новый тест FairStress. Его представил в соцсети X институт Ai2¹, данные и код открыты для всех.

Почему это важно: модели всё чаще помогают решать, кого нанять, кому выдать кредит и кого лечить первым. Обычные тесты на предвзятость смотрят только на итоговый выбор и не видят, насколько твёрдо модель держится за решение.

Как это работает: FairStress проверяет и сам выбор модели, и то, легко ли её переубедить:

• В тесте 300 ситуаций из 29 областей, в каждой по два кандидата — например, надо решить, кому из двух пациентов отдать последнюю дозу дефицитного лекарства.
• В одних ситуациях один кандидат явно сильнее, в других оба сильны по-разному и объективно лучшего нет.
• Группа кандидата бывает не указана вовсе, видна по имени, подана намёком или прямо названа: «кандидат — женщина».
• Потом модели приводят довод против её выбора — например, что другого кандидата лично рекомендовал руководитель. Каждый довод проверяют в паре с таким же доводом за второго кандидата: так видно, одинаково ли он действует на обе стороны.

В цифрах: чем явнее названа группа кандидата, тем сильнее перекос:

• Если группа не указана, модели выбирали сильного кандидата почти одинаково часто во всех равноценных версиях ситуации, а в спорных случаях выбирали обоих почти поровну.
• У 15 моделей разрыв в том, как часто они отказывались от верного решения, составил в среднем 6,9 процентного пункта при намёке на группу и 9,3 — при прямой пометке.
• Claude Opus 5 и GPT-5.5 там, где объективно лучшего кандидата не было, выбирали кандидата из меньшинства примерно в 60–65% случаев.
• В 12 прогонах передовых моделей зеркальные доводы склоняли их к кандидату из меньшинства на 8,8–42,4 пункта чаще, чем к кандидату из большинства.

Детали: разница есть и в объяснениях — даже когда модель в обоих вариантах выбирала верно. У 11 моделей с открытыми весами решения в пользу меньшинства звучали позитивнее, а при прямой пометке группы в них чаще встречались «стойкость», «разнообразие» и «барьеры». В пользу большинства модели чаще ссылались на «доказательства» и «критерии». Авторы предупреждают: модель может чаще выбирать кандидатов из меньшинств и при этом реже отмечать в объяснениях их квалификацию.

Интрига: на популярном бенчмарке BBQ² модели, наоборот, склонялись к стереотипным ответам. По версии Ai2, дело в том, как задают вопросы и засчитывают ответы: в стандартной постановке BBQ, которую проверяли авторы, модель не пишет ответ сама, как в чате, — сравниваются вероятности готовых вариантов ответа. Те же вопросы задали в формате чата: модель отвечала сама, «да» или «нет». Три из четырёх моделей переключились на ответы в пользу меньшинств, четвёртая стала примерно нейтральной.

Между строк: Ai2 проверил данные, на которых дообучали его открытую модель Olmo 3³. Из 28 тыс. тематических кластеров примеров лишь девять касались решений по заслугам, а не по демографическим признакам, и все девять состояли только из образцов отказа отвечать. Авторы видят в этом разрыв: моделям показывают, как отказываться от дискриминации, но не показывают, как решать по заслугам.

Но: из девяти проверенных способов уменьшить перекос большинство не дали надёжного результата. Некоторые уравнивали выбор ценой точности: один способ, который подправляет внутренние сигналы модели, снизил долю верных решений с 98% до 47%. Лучше всего сработала просьба к модели представить, что кандидаты поменялись полом, расой или другим признаком, и проверить, изменится ли решение. Разрыв сократился почти без потери точности, но в спорных случаях перекос остался.

Другая сторона: Ai2 оговаривается, что FairStress измеряет только одно понимание справедливости — равенство, при котором группа кандидата не должна влиять на выбор. Есть и другой подход, который учитывает историческую дискриминацию: при нём выбор кандидата из меньшинства при прочих равных может считаться оправданным.

Что дальше: Ai2 встраивает FairStress в Olmo-eval — свой открытый набор инструментов для запуска и сравнения оценок моделей. Все сочетания ситуаций, групп и доводов дают больше 13 млн заданий, а для быстрых проверок есть выборка FairStress-Core на 50 тыс. заданий.