OmniVideoBench
Бенчмарк для омнимодальных моделей: проверяет, как они понимают видео вместе со звуком и рассуждают по нему. Его разработали в Нанкинском университете. В нём вопросы к роликам разной длины, и для правильного ответа нужны и изображение, и звук. У каждого вопроса есть пошаговая разметка рассуждения.
проверено по: arxiv.org ↗
См. также
- ОмнимодальныйТак называют модели, которые в одной системе принимают и совместно обрабатывают текст, изображения, звук и видео, а некоторые ещё и отвечают речью (omni-modal). Этим они отличаются от более распространённых мультимодальных моделей, которые обычно ограничиваются текстом и картинками. Омнимодальная модель может, например, связать сказанное в ролике с тем, что видно в кадре.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Qwen-OmniЛинейка омнимодальных моделей команды Qwen из Alibaba: они понимают текст, изображения, звук и видео. Одни версии отвечают только текстом, другие ещё и синтезируют речь, в том числе в реальном времени. Этим они отличаются от обычных текстовых и визуально-языковых моделей Qwen.
В новостях
Alibaba выпустила Qwen3.8-Omni-Flash — модель, которая смотрит видео, слушает звук и работает с инструментами
Бенчмарк для проверки того, как модель понимает видео вместе со звуком. Здесь на нём сравнивали обычный просмотр всего ролика и активный поиск нужных эпизодов.