Google рассказала, как учила поисковую модель EmbeddingGemma 2 у Gemini
Открытая поисковая модель Google EmbeddingGemma 2 большую часть обучения подражала закрытой Gemini Embedding 2, а на телефоне Pixel занимает до 567 МБ памяти.

Google рассказала, как обучала EmbeddingGemma 2. Эта открытая модель переводит текст, картинки, звук и видео в векторные представления — наборы чисел, по которым ищут похожее. Большую часть обучения она подражала закрытой модели Gemini Embedding 2, а на последнем этапе от учителя отказались.
Повод: 17 ноября Google представила в блоге технический отчёт о модели и пятиминутное видео о том, как её делали. Сам отчёт на 28 страниц появился на arXiv1 ещё 27 октября, 9 ноября вышла обновлённая версия.
Почему это важно: по отчёту видно, как Google переносит возможности большой закрытой модели в открытую, которая помещается в память телефона и ищет без интернета.
Предыстория: Google выпустила модель 6 октября. Первая EmbeddingGemma работала только с текстом, а вторая сводит все типы данных в одно пространство: запрос словами может найти подходящий ролик или аудиозапись. Через неделю после выхода модель возглавила тренды Hugging Face.
Как это работает: всего в модели 744 млн параметров. Основу на 271 млн параметров взяли из Gemma 4 и переделали так, чтобы она читала вход сразу целиком, а не слово за словом слева направо. К ней добавлены блок для картинок на 167 млн и блок для звука на 305 млн — такой же, как в небольших версиях Gemma 4; при обучении его не меняли. Разработчик может взять только нужные части: для одного текста хватает основы.
Детали: на обучение ушло около 2,9 трлн токенов2. Сначала модель учили только на тексте — вопросах и ответах, коде, веб-поиске на разных языках; по словам авторов, этот этап важен для итогового качества работы с текстом. Потом добавили картинки, звук, видео и документы. На обоих этапах модель в основном училась выдавать такие же векторы, как Gemini Embedding 2. Когда подражание перестало давать прирост, учителя убрали, и модель сама училась отличать подходящий ответ от похожих, но неверных. Авторы проверили два варианта продолжения обучения одной промежуточной версии. При дальнейшем подражании она набрала 52,28 балла в мультимодальном тесте MMEB-v2, а при переходе к дообучению без учителя — 55,46.
Интрига: часть устройства Gemma 4 пришлось убрать. У неё есть отдельная таблица, где для каждого токена хранятся дополнительные векторы на каждый слой. По словам авторов, она «не даёт прямого сигнала для нетекстовых данных и занимает дополнительную память»; без неё модель справилась с тестами даже немного лучше. С видео больше деталей оказалось не всегда лучше: если отводить каждому кадру 560 токенов вместо 280, поиск по видео ухудшается. Авторы объясняют это тем, что внимание модели распыляется, а весь ролик в итоге усредняется в один вектор.
В цифрах: баллы EmbeddingGemma 2, её первой версии и Qwen3 Embedding 0.6B от Alibaba по данным отчёта Google. MTEB проверяет работу с текстом, MMEB-v2 — с картинками, видео и документами. MSEB проверяет, как модель ищет текстовый фрагмент по устному запросу на том же или другом языке.
| Тест | Версия 2 | Версия 1 | Qwen3 0.6B |
|---|---|---|---|
| MTEB, многоязычный | 61,36 | 61,15 | 64,34 |
| MTEB, английский | 68,46 | 69,67 | 70,47 |
| MTEB, код | 78,68 | 68,76 | 75,42 |
| MMEB-v2 | 59,01 | — | — |
| MSEB, поиск по речи | 69,54 | 50,95 | — |
Прочерк — модель не работает с такими данными; первая версия искала по речи через расшифровку в текст.
По общему баллу в MMEB-v2 модель, по словам авторов, уступает только моделям примерно на 2 млрд параметров. В поиске по речи её учитель Gemini Embedding 2 набирает 73,99.
Но: в английском текстовом поиске новая версия чуть уступает первой, и авторы сами признают «небольшое ухудшение». В тестах по тексту её обходит и Qwen3 Embedding 0.6B. Как из Gemma 4 получили компактную основу, отчёт не объясняет.
Перед выпуском основу модели отдельно доучили работать с весами, сжатыми до 4 бит. Веса блока картинок сжаты до 8 бит. У звукового блока точность весов зависит от группы слоёв: 2, 4 или 8 бит. На Pixel 11 Pro она со всеми частями занимает в пике 567 МБ памяти, а текстовой версии хватает 191 МБ. Поиск по тексту от сжатия почти не пострадал. В MSEB исходная модель набрала 69,54 балла, а сжатая — 63,92. Авторы оговаривают, что модели оценивали разными процедурами, поэтому всю разницу нельзя приписывать сжатию.