Написать мелодию под силу лишь «посвященным». Даже, если вы неплохо играете на музыкальных инструментах, не факт, что из вас получится хороший композитор. А уж у тех, кто не отличает «до» от «ре» шансов почти никаких. Хотя… Невероятно простой сервис typatone.com позволит вам как минимум создать рандомную мелодию из любого сочетания букв.
Каждой букве соответствует определенный звук, причем можно экспериментировать не только со разными словами, но и со стилями музыки, нажимая кнопку с изображением ноты. Получившуюся мелодию легко вставить на свой сайт или поделиться ей в Facebook или Twitter . Нажмите на изображение бумажного самолетика: сервис сгенерирует вам ссылку на музыкальный результат и предложит возможные варианты шеринга. Писать можно только латиницей. Попробуйте, например, мелодично признаться в любви своей второй половинке или позвать в бар приятеля.
Источник: comteh.com
НЕЙРОСЕТЬ и AI ПИШЕТ МУЗЫКУ ЛУЧШЕ ЧЕЛОВЕКА?
Теперь и музыканты: создана нейросеть на базе Stable Diffusion, которая генерирует музыку по текстовому описанию
Нейросеть Stable Diffusion известна многим. Она позволяет генерировать изображения по текстовому описанию. Но, как оказалось, с её помощью можно также создавать и музыку. Суть в том, что система может создавать аудиоспектрограммы — визуальные изображения звуковых частот в треке. После этого нужно лишь «воспроизвести» полученный звук.
В спектрограмме (или сонограмме) на оси представлен порядок воспроизведения частот слева направо. По оси Y размещаются данные о частотах звука, а цвет пикселей задаёт амплитуду звука в каждой момент времени.
Нейросеть обучили на сонограммах, которые описывают музыкальные жанры или звуки. В результате получилась Riffusion — нейросеть, способная генерировать звук из изображения, которое создаётся по текстовому описанию. Для вывода именно аудиодорожки используется Torchaudio.
При этом разработчики смогли заставить нейросеть генерировать такие аудиоклипы, которые могли бы плавно «перетекать» друг в друга. То есть, темп музыки не меняется резко.
- Веб-интерфейс можно взять здесь.
- Нейросеть скачать можно здесь.
- Попробовать онлайн здесь.
- Сгененрировать спектрограмму здесь.
Ранее сообщалось, что художники начали настоящую войну против нейросети на ArtStation.
17 декабря 2022 в 14:19
Источник: www.ixbt.com
НЕЙРОСЕТЬ пишет МОИ ТРЕКИ! Как заставить ИИ писать музыку?
Google создала ИИ, который генерирует сложную музыку по текстовым описаниям
Google представила систему искусственного интеллекта MusicLM, которая способна генерировать музыку в любом жанре по текстовому описанию. Однако компания пока не будет открывать доступ к нейросети.
Альтернативы новому ИИ, к примеру Riffusion, из-за технических ограничений и относительно небольшого набора данных для обучения не способны создавать сложные композиции.
Однако MusicLM обучали на наборе данных из 280 тысяч часов музыки, чтобы научить генерировать песни «значительной сложности» (например «очаровательный джаз» или «берлинское техно 90-х»).
Нейросеть способна уловить такие нюансы описания, как инструментальные риффы, мелодии и настроение. Например, MusicLM может сгенерировать мелодию, которая должна вызвать «ощущение пребывания в космосе» или «основной саундтрек аркадной игры».
Исследователи Google пояснили, что система может основываться на существующих мелодиях, будь то напевание, пение, насвистывание или игра на инструменте. Более того, MusicLM может взять несколько последовательно написанных описаний (например, «время медитировать», «время просыпаться», «время бежать», «время выложиться на 100%»), чтобы создать своего рода мелодическую «историю» продолжительностью до нескольких минут наподобие саундтрека для фильма.
MusicLM также можно инструктировать с помощью комбинации изображения и подписи или генерировать звук, который «играет» инструмент определённого типа в определённом жанре. Можно установить даже уровень опыта «музыканта».
Тем не менее, некоторые мелодии имеют искажения как неизбежный побочный эффект тренировочного процесса. Технически MusicLM может генерировать вокал, включая хоровые гармонии, но пока они оставляют желать лучшего. Большая часть «текстов» песен варьируется от подобия английского до набора звуков, которые исполняют синтезированные голоса.
Исследователи Google отмечают и множество этических проблем, связанных с MusicLM, включая нарушение авторского права. Во время эксперимента они обнаружили, что около 1% музыки, сгенерированной системой, было просто отрывками из песен, на которых она обучалась.
Между тем модель Riffusion открыта под лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях. Она работает по аналогии с модификацией изображений в Stable Diffusion. Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.
- google ai
- ml
- искусственный интеллект
- машинное обучение
- нейросети
- музыка
- генерация музыки
- Машинное обучение
- Искусственный интеллект
- Звук
Источник: habr.com