Salesforce проверила 15 ИИ-видеопомощников на заданиях в симуляторе

Лучший из 15 ИИ-видеопомощников в испытании Salesforce помог виртуальному пользователю выполнить за отведённое время лишь 53,4% заданий. Он работал на модели Gemini 4 Argon.

Почему это важно: Более высокая доля завершённых заданий не всегда означала более качественные советы, выяснила Salesforce. Поэтому компания предлагает отдельно оценивать результат задачи и качество взаимодействия с помощником.

Детали: Для испытаний Salesforce использовала Interactive Visual Gym (IVG) — симулятор, где проверяют помощников, дающих советы по видео в реальном времени. На его основе компания собрала IVG-Bench: 315 сценариев в трёх виртуальных средах. Каждый помощник работал на своей модели, а долю выполненных заданий усредняли по средам.

Но: Правильная подсказка могла прийти слишком поздно. Например, помощник советовал подойти к столу, когда пользователь уже стоял возле него. Некоторые помощники повторяли инструкции, которые пользователь уже подтвердил.

Как проверяли: Люди управляли поваром в симуляторе, работали с разными помощниками и ранжировали их. При сравнении двух помощников автоматическая оценка качества взаимодействия совпадала с предпочтением людей в 78,5% случаев. Поведение людей и виртуальных пользователей тоже оказалось похожим, хотя виртуальные пользователи гораздо чаще говорили и отвечали.

Salesforce также опробовала обучение модели в этом симуляторе: её поощряли за выполнение задачи и предотвращение ошибок. По данным компании, доля успешно выполненных заданий выросла. Помощник стал лучше выбирать момент для совета и вмешиваться до того, как пользователь совершит ошибку.