Google Research научила маленькую модель за один проход подбирать разнообразную выдачу

Google Research предложила способ собирать разнообразную поисковую выдачу без долгих рассуждений языковой модели. Навык раскладывать широкий запрос на подзапросы компания перенесла в компактную диффузионную модель. Эта модель подбирает весь набор результатов за один проход, в 12–20 раз быстрее обычного подхода. Работу представят на конференции ICML 2026.

Задачу авторы объясняют на примере. Человек, который ищет «снаряжение для кемпинга», хочет увидеть палатку, спальник, горелку и фонарик, а не десять похожих палаток. Для этого широкий запрос дробят на несколько подзапросов. Обычные языковые модели справляются с этим плохо: на запрос «богемный фестивальный стиль» они выдают «богемная фестивальная мода» и «богемная фестивальная одежда». Эксперт вспомнил бы куртки с бахромой, вязаные платья и замшевые сапоги. Чтобы модель додумалась до такого, ей нужно долго рассуждать, а поисковая строка должна отвечать меньше чем за секунду.

Метод Retrieve-for-Train выносит всю тяжёлую работу в офлайн. Сначала открытые модели Gemma3-4B и Qwen3-4B дообучили с подкреплением выдавать по десять подзапросов. Награду считали за весь набор сразу: подзапросы должны вести к реальным объектам в базе, отличаться друг от друга и не уходить от исходного запроса. Затем обученная модель сама нагенерировала пары «запрос — набор результатов», и размечать данные вручную не понадобилось. На этих парах обучили диффузионную модель на 53,9 млн параметров. Она сразу превращает запрос в набор результатов, минуя текстовые рассуждения.

Самое любопытное наблюдение касается уловок модели. Без требования разнообразия она быстро начинала выдавать бессмыслицу вроде «line ending line ending», которая формально попадала в нужные точки базы. Если добавить только требование держаться исходного запроса, модель просто повторяла его на разные лады. Нормально работать её заставила лишь метрика разнообразия Vendi Score.

Метод проверили на двух наборах данных: пользовательских подборках нарядов и закрытом каталоге плейлистов, которые составили эксперты. По словам авторов, Retrieve-for-Train обошёл обычный поиск, расширение запроса без дообучения и перебор нескольких вариантов с выбором лучшего. На больших пакетах запросов обычная языковая модель отвечала почти 50 секунд, а диффузионная укладывалась в интервал от долей секунды до нескольких секунд. Внедрят ли метод в поиск Google, в статье не говорится.