Cohere выпустила Embed 5 — модели для поиска по документам компаний

Cohere выпустила Embed 5 — семейство из двух моделей, Pro и Fast, которые превращают тексты, таблицы и изображения страниц в наборы чисел для поиска по документам компаний.

Почему это важно: от такого поиска зависит, какие фрагменты документов получит чат-бот или агент перед ответом. Cohere рассчитывает, что точный отбор отсеет лишнее до того, как оно попадёт в дорогую генеративную модель.

Детали: модели различаются точностью, ценой и скоростью; форматы данных, языки и контекстное окно¹ у них общие.

• Embed 5 Pro настроена на максимальную точность и стоит 0,12 доллара за миллион токенов².
• Embed 5 Fast легче, стоит 0,08 доллара и обрабатывает документы в среднем в 2,4 раза быстрее Pro.
• Обе работают с текстом и картинками: скан страницы или слайд можно отдать модели напрямую, не переводя в текст.
• Обе обучены более чем на 100 языках, а их контекстное окно вмещает до 128 тыс. токенов.

Как это работает: Pro и Fast выдают совместимые векторные представления — те самые наборы чисел, по которым поиск сравнивает запрос с документами. Поэтому архив можно один раз обработать точной Pro, а запросы пользователей отправлять в быструю Fast, не пересчитывая индекс. На 40 наборах данных такие смешанные связки теряли в среднем 1,6–2,7% качества по сравнению с работой на одной модели, по данным Cohere.

В цифрах: Cohere сравнила Embed 5 с конкурентами в собственных тестах.

• На ViDoRe V3, наборе документов с таблицами и графиками, Pro набрала 86,1 балла — на 8,8 больше, чем Embed 4.
• У voyage-4-large³ там же 83,7 балла, у Gemini Embedding 2 — 83,2. Модель OpenAI text-embedding-3-large набрала 75,3.
• Fast получила 84,7 балла и тоже обошла модели Voyage и Google.
• На русском, немецком, французском, испанском и итальянском Pro в среднем набрала 77 баллов против 76 у voyage-4-large. Заметнее всего по сравнению с Embed 4 вырос результат на русском — на 9 баллов.

Но: баллы посчитаны по новой методике самой Cohere — RCP-nDCG@10, и Embed 5 стала первым семейством, которое так оценивают. В сноске компания уточняет: методика показывает, как модель упорядочивает уже отобранный набор документов, а не как она ищет их по всему архиву. На документах, переведённых из PDF в текст, Fast немного уступила voyage-4-large — 83,4 балла против 83,6.

Интрига: в больших системах хранить векторы бывает дороже, чем получать их от модели, пишет Cohere. Embed 5 позволяет укорачивать векторы и записывать их числа грубее: в самом сжатом виде 100 млн фрагментов занимают около 3,2 ГБ вместо 819 ГБ. Точность при таком сжатии падает, поэтому компания советует промежуточный вариант — в восемь раз компактнее полного.

Embed 5 уже доступна через API Cohere и в облаках Microsoft и Amazon; компании могут развернуть обе модели и на собственных серверах. Прошлая версия, Embed 4, вышла в апреле 2025 года. На прошлой неделе Cohere начала закрытый бета-тест облачной версии Compass — своей платформы поиска по документам.