OpenAI выложила открытый бенчмарк для проверки ИИ в разговорах о психике
MentalHealthBench составили при участии более 80 практикующих специалистов. Он охватывает не только кризисы, но и обычные разговоры, в которых люди ищут у ИИ поддержки.
OpenAI выпустила MentalHealthBench — открытый бенчмарк1, который проверяет, как модели ИИ ведут себя в реалистичных разговорах о психическом здоровье, сообщила компания в соцсети X. Над ним работали более 80 практикующих специалистов по психическому здоровью. По словам OpenAI, бенчмарк показывает, что передовые модели2 в таких разговорах продолжают становиться лучше.
«Большинство бенчмарков в области психического здоровья сосредоточены на экстренных ситуациях», — пояснили в компании. MentalHealthBench, по словам OpenAI, охватывает весь круг разговоров о психическом здоровье, которые люди ведут с ИИ: от повседневной поддержки до острых кризисов.
Бенчмарк выложен в открытый доступ. Так другие исследователи смогут изучить методику, прогнать через него свои модели и развивать эту работу, объяснили в OpenAI.
В начале августа OpenAI начала сотрудничать с Американской психологической ассоциацией. Вместе они готовят рекомендации и защитные меры для защиты психического здоровья подростков.