Агенты Salesforce сами улучшили модель поиска за 80 часов вместо недель

Набор ИИ-агентов SFR-AutoR&D из лаборатории Salesforce AI Research сам доработал модель, с помощью которой платформа Data Cloud¹ находит нужные записи в данных клиентов. Из открытой модели Google EmbeddingGemma 2 те же агенты сделали новую модель SFR-Embedding v4. По замерам Salesforce, она лучше исходной и по качеству поиска, и по скорости ответа.

Почему это важно: исследователи задают агентам цель и рамки, но не дают готового плана опытов. Агенты сами выдвигают гипотезу, пишут код, ставят опыт и решают, оставить ли изменение. Теперь Salesforce применяет их к моделям, на которых работают её продукты. Когда агент Agentforce² отвечает на вопрос по данным клиента, именно модель поиска решает, какие документы он получит, — а от них зависит и ответ.

Предыстория: сам набор агентов лаборатория показала ранее этой осенью на открытом коде. Агенты улучшили популярную библиотеку Python, в которой большинство специалистов по данным работают с большими таблицами, а также две библиотеки, на которых строится поиск похожих документов для ИИ. Опытные разработчики годами оптимизировали эти проекты, но агенты всё равно нашли, что улучшить во всех трёх, и к каждой правке приложили замеры.

Как это работает: исследователи задают цель, систему, с которой работать, бюджет вычислений, способ оценки и ограничения на данные. Агент AutoR&D-Engineer ищет, как улучшить алгоритмы и код в уже написанной программе. Агент TrainForge придумывает новые способы обучения, запускает их и сравнивает кандидатов на тестах, которых модель при обучении не видела. Изменение остаётся, только если опыт показал выигрыш над исходной версией, — иначе модель не трогают.

Детали: у исследователей такой цикл — предложить подход, поставить опыт, прочитать результаты и решить, что пробовать дальше, — часто растягивается на несколько недель. Агенты прошли его сами примерно за 80 часов, то есть чуть больше чем за трое суток. «Почти всю историю машинного обучения прогресс двигался со скоростью человеческих экспериментов», — говорит Сильвио Саварезе, исполнительный вице-президент и главный научный сотрудник Salesforce.

В цифрах: результаты по замерам Salesforce.

• На 10 задачах поиска из бенчмарка MTEB³ модель прибавила 6,13 пункта по метрике nDCG@10. Эта метрика показывает, насколько уместны первые десять найденных результатов, и больше ценит те, что стоят выше.
• Во втором заходе, примерно на девять часов, агенты занимались скоростью модели. Пропускная способность — сколько работы модель успевает сделать за единицу времени — выросла на 36%. Задержка — сколько времени уходит на обработку одного запроса — снизилась на 17%, а качество почти не упало.

Но: на странице проекта уточняется, что 6,13 пункта прибавила исследовательская версия модели на основе EmbeddingGemma 2. У версии, которую готовят к работе в продуктах, прирост меньше — 4,69 пункта. До клиентов модель дойдёт, только когда выполнит требования для рабочей среды, и эта проверка ещё идёт. Обучают такие модели только на данных, прошедших этическую и юридическую проверку.

Что дальше: лаборатория обещает отдельно рассказать о CodeEvolve — ещё одной своей системе. Она с помощью больших языковых моделей и эволюционного поиска перебирает варианты кода на Java и на Apex, языке платформы Salesforce, чтобы сделать его быстрее и качественнее.

«Раньше мы мерили прогресс неделями работы людей. Теперь меряем его часами вычислений», — сказал Шафик Джоти, старший директор по исследованиям Salesforce AI Research.