ViDoRe
ViDoRe (Visual Document Retrieval Benchmark) — бенчмарк поиска по документам, где страницы подаются модели как изображения, а не как распознанный текст. Оценивает, насколько точно система находит нужную страницу по текстовому запросу, учитывая её вёрстку, таблицы и графики; создан авторами модели ColPali.
проверено по: github.com ↗
См. также
- MTEBОткрытый бенчмарк для моделей текстовых эмбеддингов, то есть моделей, превращающих текст в векторы (Massive Text Embedding Benchmark). Модели проверяют на множестве наборов данных и языков в задачах поиска, классификации, кластеризации, переранжирования и оценки смысловой близости. У бенчмарка есть публичный рейтинг, по которому часто выбирают модель эмбеддингов.
- nDCG@10Метрика качества поиска и ранжирования (нормализованный дисконтированный совокупный выигрыш, normalized discounted cumulative gain) по первым десяти результатам. Учитывает, насколько релевантны найденные документы и на каких местах они стоят: чем ниже позиция, тем меньше её вклад. Значение нормируется на идеальное ранжирование и лежит от 0 до 1; это основная метрика поисковых задач в бенчмарках BEIR и MTEB.
- OmniDocBenchБенчмарк для оценки разбора PDF-документов (document parsing) от Шанхайской лаборатории искусственного интеллекта, представлен на конференции CVPR 2025. Проверяет, насколько точно система переводит страницу в структурированный текст: распознаёт текст, таблицы и формулы и сохраняет разметку и порядок чтения. В наборе страницы разных типов — научные статьи, учебники, слайды, газеты, рукописные заметки. Оценить можно и всю систему целиком, и отдельные задачи.
- ParseBenchБенчмарк от LlamaIndex для оценки разбора документов (парсинга и OCR), которым пользуются ИИ-агенты. Он основан на проверенных людьми страницах корпоративных документов из страхования, финансов и госсектора. Оценивает пять сторон: таблицы, графики, точность передачи содержания, смысловое форматирование и привязку текста к месту на странице. В отличие от метрик текстового сходства, проверяет, сохраняются ли структура и смысл, нужные агенту для решений.
В новостях
NVIDIA выпустила модели, которые ищут ИИ-агентам данные в таблицах и сканах
Бенчмарк поиска по документам, где ответ часто есть только на изображении страницы — в таблице, графике или схеме. Ведёт рейтинги моделей поиска и реранкеров.