Команда инженеров Google разработала новую нейросеть MusicLM для создания музыкальных произведений с помощью текстовых подсказок. Разработчики утверждают, что нейросеть превосходит по своим умениям другие алгоритмы и устанавливает новый уровень написания композиций в разных жанрах.
До сегодняшнего дня было предпринято несколько других попыток создания нейросетей для генерации музыки, включая Dance Diffusion, Jukebox и Riffusion. Но у каждого алгоритма четкие ограничения, и их произведения довольно сильно отличаются от творчества человека.
Команда Google утверждает, что их новая система превосходит другие нейросети как по качеству создаваемых композиций, так и по их соответствию текстовым подсказкам.
Отмечается, что лучше всего MusicLM пишет музыку в электронных жанрах (они для него как родные), но вот с классикой и воссозданием живых инструментов он пока не дружит.
Систему научили создавать музыку, обучив ее на 28 000 часах музыки, написанной людьми. Алгоритм способен понимать подсказки, самостоятельно определяя жанр и инструменты для создания композиции.
Он также может генерировать вокал, хотя результаты, как правило, звучат как хор роботов, которые не знают текста.
Google не будет выпускать приложение для общего пользования. Тестирование показало, что система «копипастит» примерно 1% музыки непосредственно у исполнителя-человека. Таким образом, разработчики опасаются судебных исков по поводу авторского права.
