Mistral Embed

Что это за модель

Mistral Embed не ведёт диалог и не пишет текст. Она превращает текст в векторное представление (embedding), то есть в набор из 1024 чисел, который передаёт смысл фрагмента. Длина вектора не зависит от длины текста. Близкие по смыслу тексты получают близкие векторы, поэтому по ним можно искать и сравнивать документы. Mistral выпустила модель в декабре 2023 года вместе со своей платформой для разработчиков La Plateforme.

Главная задача модели — поиск. Компания пишет, что создавала её прежде всего для поиска, и в анонсе привела результат 55,26 в поисковой части бенчмарка MTEB. Чаще всего модель стоит в системах генерации с поиском (retrieval-augmented generation). Там она находит в базе знаний нужные фрагменты, а затем чат-модель, например Mistral Small или Mistral Medium, составляет по ним ответ. В документации названы и другие сценарии: кластеризация данных, классификация документов, поиск дубликатов.

Векторы модели нормированы, то есть приведены к единичной длине. Поэтому для сравнения можно брать любую из привычных мер: косинусное сходство, скалярное произведение или евклидово расстояние, результат будет одинаковым. API принимает сразу пачку текстов в одном запросе. Модель стоит заметно дешевле большинства моделей каталога. Для индексации больших архивов это важно.

Модель работает только с текстом и возвращает только векторы, ответов на вопросы она не даёт. Для поиска по коду у Mistral есть отдельная модель векторных представлений. Сама компания отмечает общий недостаток таких векторов: чем больше у них размерность, тем больше нужно памяти и вычислений для хранения и поиска и тем выше задержка.

Источники: Анонс La Plateforme и Mistral Embed, Документация: текстовые векторные представления, Документация: обзор векторных представлений