Fal научилась генерировать видео быстрее, чем его смотрят, и запустила бесконечный эфир

Видеомодели научились работать быстрее реального времени: ролик генерируется быстрее, чем зритель успевает его посмотреть. Этого добилась платформа Fal. Она взяла модель H3, которую китайская MiniMax выпустила в прошлом месяце, и сначала дообучила её, чтобы генерация стала дешевле и качественнее. Затем модель перенесли на собственный движок Fal для запуска нейросетей. Там она работает в 35 раз быстрее, чем через официальный API MiniMax.

До сих пор генеративное видео упиралось во время. Даже если сократить генерацию 30-секундного ролика до секунды, получится в лучшем случае один кадр в секунду. Для зрителя это слишком мало. Теперь этот барьер пройден: видео может идти непрерывно, без конца.

Первым это заметил исследователь Итан Моллик (Ethan Mollick). Сотрудники Fal запустили на ускоренной модели бесконечный стрим на Twitch, но Twitch и YouTube быстро удалили компанию со своих площадок. Тогда Fal сделала собственный сервис Fal.live. Его устроили по образцу знаменитого «Twitch играет в покемонов»: зрители влияют на то, что происходит в кадре. После короткой паузы сервис перезапустили. Теперь подсказки для сюжета пишет языковая модель, а зрители голосуют за понравившиеся.

Сервис работает на H3 Max Director. Это вариант H3 Max, который строит видео непрерывно, кадр за кадром, и помнит до двух минут предыдущего действия. Параллельно Fal открыла предварительную версию режима, в котором H3 Max делает видео по образцу. В разрешении 768p он работает в реальном времени.

Авторы рассылки Latent Space сами называют результат халтурой. По их словам, достаточно нескольких секунд трансляции, чтобы увидеть бессюжетную мешанину картинок низкого качества, которую никто не станет смотреть. Но, как замечают они же, хуже эта технология уже не будет. Видео быстрее реального времени, которое выглядит сносно, оказалось возможным. Для чего оно пригодится, пока не знают и сами авторы.