nDCG@10
Метрика качества поиска и ранжирования (нормализованный дисконтированный совокупный выигрыш, normalized discounted cumulative gain) по первым десяти результатам. Учитывает, насколько релевантны найденные документы и на каких местах они стоят: чем ниже позиция, тем меньше её вклад. Значение нормируется на идеальное ранжирование и лежит от 0 до 1; это основная метрика поисковых задач в бенчмарках BEIR и MTEB.
проверено по: en.wikipedia.org ↗
См. также
- MTEBОткрытый бенчмарк для моделей текстовых эмбеддингов, то есть моделей, превращающих текст в векторы (Massive Text Embedding Benchmark). Модели проверяют на множестве наборов данных и языков в задачах поиска, классификации, кластеризации, переранжирования и оценки смысловой близости. У бенчмарка есть публичный рейтинг, по которому часто выбирают модель эмбеддингов.
- MTEB CodeНабор задач в составе бенчмарка MTEB (Massive Text Embedding Benchmark) для оценки моделей векторных представлений на программном коде. Модель должна находить нужный фрагмент кода, решение или ответ по текстовому запросу, по другому коду или по диалогу; задачи собраны из открытых наборов вроде CodeSearchNet, APPS, CosQA и StackOverflowQA и охватывают много языков программирования. В отличие от основного MTEB, проверяет только поиск, связанный с кодом.
- ViDoReViDoRe (Visual Document Retrieval Benchmark) — бенчмарк поиска по документам, где страницы подаются модели как изображения, а не как распознанный текст. Оценивает, насколько точно система находит нужную страницу по текстовому запросу, учитывая её вёрстку, таблицы и графики; создан авторами модели ColPali.
В новостях
NVIDIA выпустила открытую модель для поиска по документам с графиками
Метрика качества поиска: учитывает, сколько подходящих документов попало в первую десятку выдачи и насколько высоко они стоят. Чем ближе значение к максимуму, тем лучше упорядочена выдача.