Cohere выпустила Rerank 5 — модели, которые отбирают для ИИ нужные отрывки

Модели Cohere Rerank 5 передают языковой модели только нужные куски найденных документов. В тесте Cohere агент с ними тратил на треть меньше токенов и отвечал точнее.

Cohere выпустила Rerank 5 — модели, которые сортируют найденные поиском документы, прежде чем отдать их языковой модели. Впервые они умеют вырезать из документа только нужные отрывки.

Почему это важно: прежние реранкеры¹ решали, какие документы попадут к языковой модели, но передавали их целиком. Rerank 5 урезает сами документы, а каждый прочитанный моделью токен стоит денег — особенно у ИИ-агентов, которые много ищут по длинным текстам.

Детали: Rerank 5 Pro рассчитана на качество, Rerank 5 Fast — на большой поток запросов и быстрый ответ. Обе доступны через API и выделенные серверы Cohere, облака Microsoft Foundry и Amazon SageMaker и платформу для агентов North², а ещё их можно развернуть в собственной сети компании.

В цифрах:

Pro стоит 0,05 доллара за 1 млн токенов, Fast — 0,02 доллара за тот же объём;
Fast на одном ускорителе NVIDIA A100 сортирует около 187 документов по 1 000 токенов в секунду;
это в 2,9 раза больше, чем у Pro, а отвечает Fast почти втрое быстрее;
на бенчмарке BRIGHT³ Pro обошла прошлую версию Rerank 4 Pro на 12,4 балла, а Voyage AI⁴ Rerank 3 — на 5,8.

Как это работает: функция Context Focus в одном ответе возвращает и оценку документа, и оценённые куски текста внутри него. Порог задаёт разработчик: чем он выше, тем меньше текста уходит к языковой модели.

В тестах Cohere:

когда Context Focus отбрасывал половину найденного текста, ответы языковой модели сохраняли 96% прежнего качества;
когда отбрасывал три четверти текста, качество ответов сохранялось на 87%;
поисковый агент, которому дали только поиск по ключевым словам, верно решил 46% задач;
с Rerank 5 Pro и Context Focus тот же агент решил 58% задач и потратил на 35% меньше токенов.

Интрига: оценки Rerank 5 откалиброваны: 0,7 означает, что документ полезен с вероятностью 70%. По проверке Cohere, соперники завышают оценки: документы, которым Voyage AI Rerank 3 ставила около 0,55, людям-оценщикам пригодились лишь в 24% случаев.

Что это даёт, по словам Cohere:

языковая модель получает все документы выше порога, а не заранее заданное число: на узкий вопрос — несколько, на широкий — больше;
если порог не прошёл ни один документ, агент может переписать запрос или признать, что не знает ответа;
один порог подходит разным областям: у Pro он держится между 0,47 и 0,53 на трёх бенчмарках.

Но: все сравнения провела сама Cohere, в том числе первое место Pro на 39 из 46 наборов данных. Качество поиска компания считает по собственной методике. В отличие от стандартной метрики, она засчитывает и подходящие документы, которых нет в составленном людьми списке правильных ответов теста.

Расклад: Rerank 5 дополняет поисковые модели Cohere пятого поколения: в конце августа вышла Parse 5, которая переводит сложные документы в размеченный текст, а 30 сентября — Embed 5 для поиска по смыслу. NVIDIA в день выхода Rerank 5 выпустила свой набор поисковых моделей Nemotron 3.5: они ищут ответы и в тексте, и на картинках страниц.

Что дальше: Cohere в закрытом режиме тестирует Compass Cloud — сервис, где разбор документов, поиск и Rerank собраны вместе, а инфраструктурой управляет сама Cohere.