Lyria 3 Pro Preview

Что это за модель

Lyria 3 Pro — модель Google DeepMind, которая сочиняет музыку. На вход она получает текстовое описание или картинку, а выдаёт стереозапись с частотой 48 кГц и, если нужно, текст песни. В документации Gemini API её называют главной музыкальной моделью Google, рассчитанной на целые песни, а не на короткие фрагменты. Сейчас она работает как предварительная версия (preview).

Google выпустила её через месяц после Lyria 3, которая делала треки только по 30 секунд. Pro-версия пишет композиции до трёх минут. Компания заявляет, что модель лучше понимает, как устроена песня. Поэтому в запросе можно отдельно описать вступление, куплеты, припевы и бридж, то есть связку между частями. В той же линейке есть лёгкая Lyria 3 Clip для коротких отрывков. Позже вышла Lyria 3.5: по словам Google, она поёт выразительнее и лучше слушается заданного темпа.

Модель берут для фоновой музыки к видео и презентациям, для черновиков песен и для экспериментов с жанрами и сложными переходами между частями. Она доступна в Gemini API, Google AI Studio, Vertex AI, в приложении Gemini, в Google Vids и в ProducerAI.

Это узкая модель: она не вызывает внешние функции, не ищет в интернете, не рисует картинки и не выдаёт структурированные ответы. Во все её записи встроен SynthID — невидимый водяной знак, по которому можно узнать сгенерированный звук. Голоса конкретных исполнителей модель не копирует. Если в запросе назвать артиста, она воспримет его только как общий ориентир по стилю. Готовые треки дополнительно сверяются с уже существующей музыкой.

Источники: Анонс Lyria 3 Pro в блоге Google, Страница модели в документации Gemini API