BRIGHT

Бенчмарк информационного поиска, где нужный документ нельзя найти по совпадению слов или смысловой близости: чтобы понять, что документ отвечает на запрос, нужно рассуждать. Состоит из реальных запросов из разных областей — экономики, психологии, биологии, математики, программирования. Создан университетскими исследователями (в том числе из Принстона и Гонконгского университета) и представлен на конференции ICLR 2025. Обычные поисковые модели, которые хорошо справляются с привычными бенчмарками вроде MTEB, показывают на нём низкие результаты.

проверено по: arxiv.org ↗