olmOCR-Bench
Открытый бенчмарк Ai2 для оценки систем распознавания документов (OCR): как точно они переводят PDF-страницы в текстовую разметку. Вместо сравнения с эталонным текстом он проверяет результат набором модульных тестов — на формулы, сложные таблицы, многоколоночный порядок чтения, мелкий шрифт и старые сканы.
проверено по: huggingface.co ↗
См. также
- Ai2Ai2 (Allen Institute for AI) — некоммерческий исследовательский институт в Сиэтле, основанный Полом Алленом. Известен подходом «полностью открытых» моделей, когда вместе с весами публикуются обучающие данные, код и методика обучения (например, семейство Olmo).
- OmniDocBenchБенчмарк для оценки разбора PDF-документов (document parsing) от Шанхайской лаборатории искусственного интеллекта, представлен на конференции CVPR 2025. Проверяет, насколько точно система переводит страницу в структурированный текст: распознаёт текст, таблицы и формулы и сохраняет разметку и порядок чтения. В наборе страницы разных типов — научные статьи, учебники, слайды, газеты, рукописные заметки. Оценить можно и всю систему целиком, и отдельные задачи.
- ParseBenchБенчмарк от LlamaIndex для оценки разбора документов (парсинга и OCR), которым пользуются ИИ-агенты. Он основан на проверенных людьми страницах корпоративных документов из страхования, финансов и госсектора. Оценивает пять сторон: таблицы, графики, точность передачи содержания, смысловое форматирование и привязку текста к месту на странице. В отличие от метрик текстового сходства, проверяет, сохраняются ли структура и смысл, нужные агенту для решений.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Sarvam выпустила модель Vision 2.1 для чтения документов и рукописей
Бенчмарк Института искусственного интеллекта Аллена (Ai2) для оценки распознавания документов. Проверяет набором тестов «прошёл — не прошёл», верно ли модель передала текст, таблицы, формулы, мелкий шрифт и старые сканы.