Rerank 5 Pro

Rerank 5 Pro — модель переранжирования. Сама она текст не пишет. Она получает запрос и список уже найденных документов и выстраивает их по тому, насколько каждый подходит к запросу. Такие модели ставят в системы генерации с поиском (RAG), где нейросеть отвечает по найденным материалам: обычный поиск собирает кандидатов, Rerank отбирает лучших, и к языковой модели попадают только они. В линейке Rerank 5 две модели: Pro рассчитана на наибольшую точность, Fast — на скорость и большой поток запросов.

Главное отличие от Rerank 4 — функция Context Focus. Если её включить, модель в том же вызове возвращает не только оценку документа, но и самые подходящие отрывки внутри него, и языковой модели можно передать только их. По замерам Cohere, если отрезать половину найденного текста, качество ответов падает лишь на 2%. В испытании поискового агента на 17 наборах данных при строгом пороге отсева агент тратил на 34% меньше токенов (кусочков текста, за которые платят при работе с нейросетью), а доля верных ответов выросла с 46 до 58%. Кроме того, оценки стали откалиброванными: по словам компании, оценка 0,7 означает, что документ окажется полезен с вероятностью 70%, поэтому один порог отсева годится для разных запросов и областей.

Pro берут, когда важна точность: для сложных запросов, где нужно рассуждать, и для длинных или узкоспециальных документов. Cohere заявляет, что на тесте BRIGHT, который проверяет поиск с рассуждением, модель набирает 82,2 балла — на 12,4 больше Rerank 4 Pro и на 5,8 больше Voyage AI Rerank 3. Самый заметный выигрыш компания видит в финансах, медицине и научных исследованиях. Модель понимает больше 100 языков, русский среди основных, и, по замерам Cohere, стала лучше Rerank 4 на всех проверенных языках. Она разбирает и таблицы, и записи в форматах JSON и YAML.

За точность Pro платит скоростью: Fast, по данным Cohere, обрабатывает почти втрое больше документов в секунду и рассчитана на массовый поиск и агентов, которые ищут много раз за одну задачу. Pro принимает только текст и не поддерживает инструкции, которые меняют сам принцип оценки. Context Focus лучше всего работает на точных вопросах и хуже — на широких задачах вроде пересказа. Чем сильнее урезан текст, тем больше теряется качество: если отсеять 75% текста, остаётся 87% качества ответов. Веса модели закрыты: она доступна через API Cohere, Microsoft Foundry и Amazon SageMaker, а компании могут развернуть её в своём облаке или на своих серверах.

источники:Анонс Rerank 5 в блоге Cohere ↗Rerank 5 в журнале изменений Cohere ↗Документация Cohere по моделям Rerank ↗