NVIDIA на IBC: детектор ИИ-видео с точностью 99%, замедленные повторы и дубляж для эфира
NVIDIA расширила набор ИИ-инструментов для медиа. В нём есть детектор сгенерированного видео, дорисовка кадров для повторов, синхронизация губ при дубляже в эфире и готовые схемы, как дообучить открытые модели на спортивных записях.
Детектор сгенерированного видео от NVIDIA теперь распознаёт ролики, созданные по текстовому описанию, с точностью 99,3%. Для роликов, которые нейросеть сделала из картинки, точность составляет 97,7%. Компания сообщила об этом на выставке IBC в Амстердаме, где показала расширенный набор ИИ-инструментов для телевидения, спорта и стриминга.
Детектор называется Synthetic Video Detector, его представили летом на SIGGRAPH. Он оценивает вероятность того, что запись настоящая, и служит редакциям ещё одним способом проверки. Производитель редакционных систем Dalet встраивает детектор в облачный сервис проверки видео для новостных редакций. TwelveLabs добавила его в свой сервис, который проверяет контент на соответствие требованиям регуляторов. Wowza будет анализировать с его помощью прямые трансляции в реальном времени, в том числе в сетях, полностью отключённых от интернета.
Для спорта NVIDIA предлагает дорисовку промежуточных кадров. Технология Video Frame Generation увеличивает частоту кадров в два или четыре раза. Ross Video с её помощью уже делает шестикратные замедленные повторы, а над восьмикратными работает. Скоростная камера для таких повторов больше не обязательна. Ещё один инструмент, 3D Body Pose, по видео с одной камеры восстанавливает положение суставов человека. Датчики на теле для этого не нужны. Vizrt использует его в виртуальных студиях: движения ведущего управляют бликами и тенями трёхмерной графики.
Отдельное направление — перевод эфира на другие языки. Модель LipSync подгоняет движения губ под озвучку на другом языке. В новой версии она лучше справляется с лицами, которые частично закрыты. Разработчик протокола видеопередачи NDI строит на ней дубляж в прямом эфире. NVIDIA также собрала эталонную схему локализации на базе своего набора Holoscan for Media: субтитры, перевод звука, дубляж и графика работают как единая цепочка.
Лиги и спортивным медиа NVIDIA предлагает Sports Intelligence Playbooks — пошаговые руководства по дообучению открытых моделей на собственных записях матчей. В ранних тестах на незнакомых модели записях доля верных ответов на вопросы с вариантами выросла примерно с 53 до 94%. На открытых вопросах результат поднялся с 5,7 до 66%. Правда, вопросы по формату были похожи на те, что встречались при обучении. Компания прямо пишет, что руководства должны увеличить спрос на её вычислительные мощности и программы.