OmniDocBench
Бенчмарк для оценки разбора PDF-документов (document parsing) от Шанхайской лаборатории искусственного интеллекта, представлен на конференции CVPR 2025. Проверяет, насколько точно система переводит страницу в структурированный текст: распознаёт текст, таблицы и формулы и сохраняет разметку и порядок чтения. В наборе страницы разных типов — научные статьи, учебники, слайды, газеты, рукописные заметки. Оценить можно и всю систему целиком, и отдельные задачи.
проверено по: arxiv.org ↗
См. также
- olmOCR-BenchОткрытый бенчмарк Ai2 для оценки систем распознавания документов (OCR): как точно они переводят PDF-страницы в текстовую разметку. Вместо сравнения с эталонным текстом он проверяет результат набором модульных тестов — на формулы, сложные таблицы, многоколоночный порядок чтения, мелкий шрифт и старые сканы.
- ParseBenchБенчмарк от LlamaIndex для оценки разбора документов (парсинга и OCR), которым пользуются ИИ-агенты. Он основан на проверенных людьми страницах корпоративных документов из страхования, финансов и госсектора. Оценивает пять сторон: таблицы, графики, точность передачи содержания, смысловое форматирование и привязку текста к месту на странице. В отличие от метрик текстового сходства, проверяет, сохраняются ли структура и смысл, нужные агенту для решений.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Sarvam выпустила модель Vision 2.1 для чтения документов и рукописей
Бенчмарк для разбора документов: сравнивает распознанный текст, таблицы и формулы с эталоном и оценивает, насколько точно модель сохранила структуру страницы.