NVIDIA обновила детектор ИИ-видео и выпустила инструменты для ТВ и спорта
Детектор SVD распознаёт видео, созданные нейросетью по тексту, с точностью 99,3%. Его встраивают Dalet, TwelveLabs и Wowza. Спортивным лигам NVIDIA предложила инструкции по дообучению своих открытых моделей.
NVIDIA расширила AI for Media — набор ИИ-инструментов для обработки видео и звука у вещателей и стримингов. Анонс приурочен к выставке IBC1 в Амстердаме, говорится в блоге компании. Главное обновление касается детектора Synthetic Video Detector (SVD), который компания показала летом на конференции SIGGRAPH. Он оценивает, с какой вероятностью ролик создан нейросетью.
По данным NVIDIA, на видео, сгенерированных по текстовому описанию, точность детектора выросла до 99,3%. На роликах, которые нейросеть сделала из картинки, она достигла 97,7%. Dalet2 встраивает SVD в облачную систему проверки видео для новостных редакций. TwelveLabs3 добавила его в сервис Compliance: он проверяет контент на соответствие нормам разных регионов. Wowza будет анализировать с помощью детектора прямые трансляции в реальном времени. Эта компания делает сервер для потокового видео, на её технологии работают более 35 000 видеосервисов в 170 с лишним странах.
Для спортивных трансляций NVIDIA развивает Video Frame Generation. Эта модель дорисовывает промежуточные кадры и повышает частоту видео в 2–4 раза. Ross Video встраивает её в систему повторов Rio Replay: сейчас та замедляет эпизоды в 6 раз, а разработчики работают над восьмикратным замедлением. Сверхскоростная камера для этого не нужна. Ещё одна модель, 3D Body Pose, определяет положение суставов человека по видео с одной камеры и обходится без датчиков-маркеров на теле. Vizrt использует её в виртуальных студиях: движения ведущего управляют трёхмерным освещением и тенями в кадре.
Лигам и медиакомпаниям NVIDIA предложила Sports Intelligence Playbooks. Это пошаговые инструкции, как дообучить открытые модели компании, включая Nemotron4, на собственных записях матчей и разметке. Модель должна понимать правила, игроков, счёт и тактику конкретного вида спорта. В ранних тестах NVIDIA показывала моделям незнакомые записи. Доля верных ответов на вопросы с вариантами выросла примерно с 53% до 94%, на открытые вопросы — примерно с 5,7% до 66%. Инструкции встраивают Machina Sports и Wowza.
Для перевода эфиров обновлена модель LipSync, которая подгоняет движения губ под дублированную дорожку. Новая версия лучше справляется, когда лицо частично закрыто. NDI применяет её для перевода и дубляжа в прямом эфире. Инструменты перевода NVIDIA также добавила в Holoscan for Media — открытый набор для разработки ПО, на котором работают телестудии. Цены на новые инструменты компания не называет.