NVIDIA выпустила открытую модель для поиска по документам с графиками

NVIDIA выложила открытую модель Nemotron-3.5-Rerank-8B-BF16. Она перебирает уже найденные документы и ставит наверх те, где есть ответ на вопрос, в том числе страницы с графиками, таблицами и инфографикой.

Почему это важно: ассистенты, которые отвечают по базе документов, сначала ищут нужные страницы, и от точности этого поиска зависит ответ. Модель NVIDIA оценивает страницу не только по тексту, но и по её изображению, а лицензия OpenMDW-1.1¹ позволяет встраивать модель в коммерческие продукты.

Как это работает: сначала быстрая поисковая модель отбирает десятки кандидатов. Затем Nemotron Rerank сравнивает с вопросом каждый документ по отдельности и ставит ему оценку: чем выше число, тем уместнее документ. Такие модели называют реранкерами.

Детали: устройство и обучение модели:

• В модели 8,38 млрд параметров: языковая часть построена на Ministral 3 8B от Mistral, а картинки разбирает визуальный кодировщик на основе Pixtral, модели Mistral для изображений.
• Обучали её в два этапа: сначала на 21 млн текстовых примеров, затем на 2,3 млн примеров с изображениями.
• Часть обучающих примеров сгенерировали другие модели: собственные Nemotron 3 от NVIDIA, а также Qwen, Gemma 4 и gpt-oss.
• Поиск по тексту проверяли на 34 языках, включая русский и украинский, а поиск по изображениям страниц — на 18 языках.

В цифрах: замеры NVIDIA по метрике NDCG@10², где максимум — 100. Обе модели пересортировывали 50 лучших кандидатов, найденных Nemotron-3.5-Embed-1B:

• В тесте ViDoRe V3, где у документов есть и текст, и изображение страницы, модель набрала 67,56 балла.
• Открытая Qwen3-VL-Reranker-8B от Alibaba того же размера получила в этом тесте 66,03 балла.
• В многоязычном поиске по изображениям страниц MIRACL-VISION у Nemotron 78,69 балла, у модели Alibaba — 75,06.
• Без пересортировки выдача поисковой модели Nemotron-3.5-Embed-1B набирала 58,82 балла в ViDoRe V3 и 68,93 — в MIRACL-VISION.

Но: тест MIRACL-VISION в 2025 году собрали сами исследователи NVIDIA, а в карточке модели её сравнивают только с одной чужой моделью.

Если шире: реранкер вышел в разгар октябрьской серии Nemotron 3.5. 15 октября вышла Nemotron 3.5 Super VL для агентов, которые читают документы и графики, а в тот же день компания выложила сжатую Nemotron 3.5 Bolt для ноутбуков.

Модель работает с библиотеками Transformers и Sentence Transformers и с сервером vLLM. Для запуска NVIDIA называет видеокарты A100 или H100 с 80 ГБ памяти либо систему GB200.