ParseBench
Бенчмарк от LlamaIndex для оценки разбора документов (парсинга и OCR), которым пользуются ИИ-агенты. Он основан на проверенных людьми страницах корпоративных документов из страхования, финансов и госсектора. Оценивает пять сторон: таблицы, графики, точность передачи содержания, смысловое форматирование и привязку текста к месту на странице. В отличие от метрик текстового сходства, проверяет, сохраняются ли структура и смысл, нужные агенту для решений.
проверено по: arxiv.org ↗
В новостях
NVIDIA выпустила модели, которые ищут ИИ-агентам данные в таблицах и сканах
Бенчмарк разбора документов: проверяет, как модель извлекает таблицы и графики, насколько точно передаёт содержание и форматирование и привязывает текст к месту на странице.