EmbeddingGemma 2

EmbeddingGemma 2 — открытая модель эмбеддингов. Текст она не пишет: она переводит данные в векторы, то есть наборы из 768 чисел, и по их близости приложение находит похожее. Текст, код, картинки, звук и видео попадают в одно общее пространство. Поэтому по голосовой заметке можно найти нужный фрагмент видео, а по текстовому запросу — место в многочасовой аудиозаписи. Модель построена на архитектуре Gemma 4 и собрана из частей: текстовая основа на 270 млн параметров, кодировщик картинок на 170 млн и звуковой кодировщик на 300 млн, всего 740 млн. Если нужен только поиск по тексту, кодировщики картинок и звука можно не загружать.

Первая EmbeddingGemma работала только с текстом. Во второй версии добавились картинки, звук и видео, а объём, который модель читает за раз, вырос вчетверо: в один запрос помещается около пяти с половиной минут звука, 29 картинок или 58 кадров видео. По замерам Google, в текстовых задачах она держится на уровне первой версии, а в поиске по коду на бенчмарке MTEB выросла с 68,76 до 78,68 балла. Компания заявляет, что среди моделей эмбеддингов для нескольких видов данных размером меньше миллиарда параметров у неё лучшие результаты на MTEB и MAEB. Кроме того, по словам Google, в задачах с картинками, видео, документами и звуком она обходит специализированные модели вдвое крупнее.

Её берут для поиска по смыслу в фото- и видеотеке, для сортировки и классификации запросов, а также для генерации с поиском. Так называют схему, в которой чат-модель, например Gemma 4, сначала находит нужные фрагменты в данных пользователя и отвечает, опираясь на них. Главный довод в пользу этой модели — всё считается на самом устройстве, без интернета, и данные никуда не уходят. Модель можно квантизовать, то есть сжать веса, храня числа с меньшей точностью. Тогда на смартфоне Pixel 11 Pro текстовая часть занимает около 191 МБ памяти, а вся модель — около 567 МБ. На компьютере ей хватает обычной видеокарты или даже процессора, а вектор можно укоротить до 512, 256 или 128 чисел, и тогда база для поиска займёт до шести раз меньше места.

Сама по себе модель на вопросы не отвечает: для этого её ставят в пару с моделью, которая пишет текст. По карточке модели, если укоротить вектор до 256 чисел, качество почти не падает, а при 128 числах поиск по картинкам, звуку и видео становится заметно хуже. Модель обучали на данных на более чем 100 языках, но работает она на них по-разному. Google предупреждает, что ей плохо даются тонкие оттенки смысла и сарказм, а к текстовому запросу нужно добавлять служебную подсказку о задаче, иначе качество падает. Запускать её нужно с числами в форматах bfloat16 или float32: в формате float16 модель выдаёт ошибки или незаметно теряет качество. Веса выложены под лицензией Apache 2.0: она разрешает коммерческое использование, дообучение и встраивание в свои продукты.

источники:Анонс EmbeddingGemma 2 в блоге Google ↗Документация EmbeddingGemma для разработчиков ↗Карточка модели на Hugging Face ↗