Gemini Embedding 001

Что это за модель

Gemini Embedding 001 не пишет ответы, как чат-бот. Она превращает текст в векторное представление: длинный список чисел, который передаёт смысл фрагмента. Тексты, близкие по смыслу, получают близкие векторы. На этом строятся поиск по смыслу, а не по совпадению слов, группировка документов и подбор похожих материалов. Модель понимает больше 100 языков. Сначала Google показала её в марте 2025 года как экспериментальную, а в общий доступ через Gemini API и Vertex AI она вышла летом того же года.

По умолчанию модель выдаёт вектор из 3072 чисел. Его можно сократить до 1536 или 768 чисел, а по документации — вплоть до 128. Для этого модель обучали методом Matryoshka Representation Learning: самое важное в векторе собрано в его начале, поэтому хвост можно отбросить без большой потери качества. Короткие векторы занимают меньше места в базе и быстрее сравниваются. Лучшее качество, по словам Google, дают полные 3072 числа. С выходом Gemini Embedding 001 компания закрыла прежние модели embedding-001 и text-embedding-004.

Её берут для генерации с поиском (retrieval-augmented generation): система находит нужные фрагменты в базе знаний и передаёт их языковой модели. Кроме того, модель подходит для классификации, кластеризации, проверки фактов и поиска по коду. Под каждую задачу в запросе указывают её тип, например отдельные типы для поискового запроса и для документа. Google заявляет, что с марта 2025 года модель держится у вершины многоязычного рейтинга MTEB Multilingual. Среди областей применения компания называет науку, право, финансы и программирование.

Модель работает только с текстом, и за один раз она принимает до 2048 токенов, так что длинные документы приходится резать на части. Если вектор укорочен, его нужно нормировать самостоятельно. Более новая Gemini Embedding 2 понимает ещё картинки, видео, звук и PDF и принимает более длинный текст. Но векторы двух моделей между собой несовместимы: при переходе всю базу придётся пересчитать заново.

Источники: Анонс Gemini Embedding в Gemini API, Документация по векторным представлениям