У себя в блоге мы много говорили о драм-машинах, поработать с которыми могут все желающие. В частности, рассказали о веб-версии культовой TR-808, определившей звучание сразу нескольких музыкальных направлений, и Infinite Drum Machine с семплами из бытовых шумов. Сегодня продолжим тему, но поговорим о необычном проекте, позволяющем трансформировать монохромное изображение в концептуальную музыкальную композицию — PIXELSYNTH.
PIXELSYNTH — это графический веб-синтезатор, разработанный художницей Оливией Джек. Он превращает монохромное изображение в спектрограмму и воспроизводит звук на её основе. Белый цвет на черном фоне он считает за ноту. Чем ближе к нижнему краю изображения находится белое пятно, тем ниже звучание.
У истоков приложения
По словам Оливии Джек, при разработке PIXELSYNTH она вдохновилась фотоэлектронным оптическим синтезатором АНС, который спроектировал советский инженер Евгений Мурзин. АНС — это сокращение от имени композитора Александра Николаевича Скрябина.
Программа, Которая ПРЕОБРАЗУЕТ КАРТИНКИ В ЗВУК. Как звучат Понасенков и Шрек?
Партитура устройства представляла собой последовательность штрихов, которые наносились на покрытое черной краской стекло. Их форма определяла высоту и длительность звучания — через них проходил световой луч и попадал на фотоэлементы. В результате генерировался электрический сигнал, который усиливался и подавался на громкоговоритель. За генерацию звукового спектра отвечали пять дисков оптической фонограммы, на каждый из которых были записаны 144 звуковые дорожки чистых тонов.
Устройство позволяло писать и править партитуру на лету — композитор подкрашивал, ретушировал и наносил новые кодовые рисунки, контролируя, как меняется звук. Синтезатор выпускался малой серией, но успел получить статус культового. Его не обошел стороной даже советский кинематограф — АНС можно услышать в «Бриллиантовой руке», «Солярисе» и ряде других фильмов.
Как это выглядит
Рабочая область приложения представляет собой черный экран с монохроматическим изображением. Можно выбрать одну из тринадцати картинок или загрузить собственную. Яркость, контрастность и положение в пространстве регулируются. Фоновое изображение также представляет собой канву, на которую можно наносить собственные штрихи — соответствующие настройки кистей находятся в углу рабочей области.
Слева-направо движется розовая полоса, которая считывает светлые участки и воспроизводит аудиозапись. Стоит заметить, что генерируемые приложением звуки получаются достаточно своеобразными, напоминают звучание модульного синтезатора, но в большинстве случаев походят на какофонию. В таких условиях сложно написать приятно звучащую мелодию, поэтому в первую очередь приложение интересно с художественной точки зрения.
😱Скрытое послание в музыке! Прячем картинку в звук
В целом идея превращать изображения в спектрограмму не нова. В 1999 году диджей Aphex Twin выпустил трек «Widowlicker». Ближе к концу аудиозаписи привычный музыкальный рисунок сменяет пронзительный вой (чем-то похожий на звучание терменвокса). Просто в этом месте композитор встроил в спектрограмму песни собственную фотографию. И PIXELSYNTH позволяет провести аналогичные музыкальные эксперименты с фото и другими изображениями.
Дополнительное чтение в нашем «Мире Hi-Fi»:
- DIY-музыка — проекты, которые помогут погрузиться в тему
- Как энтузиасты программы на BASIC с помощью радио передавали
- Музыка для игр: где брать треки инди-разработчикам
Больше материалов в нашем блоге на Хабре:
- Муз. сервисы, аудио из старых игр и аудиостандарты
- Драм-машина для перерывов от работы — приложение drumbit
- Пачка чипсов, человеческий чих и стук игральных костей — необычная драм-машина, с которой можно работать в браузере
Источник: habr.com
Видео уроки для After Effects от AEplug
Как конвертировать звук в изображение Waveform (FFmpeg)
Похожие темы
Ссылки, описания, дополнительная информация для моих уроков на YouTube
2 сообщения • Страница 1 из 1
Автор темы
Как конвертировать звук в изображение Waveform (FFmpeg)
Сообщение #1 aeplug » 01 окт 2018, 02:11
waveform.jpg (27.9 КБ) 8762 просмотра waveform.jpg (27.9 КБ) 8762 просмотра
С помощью программы FFmpeg можно получить изображение, отображающее визуальное представление звука Waveform, которое впоследствии можно использовать для создания анимированной графики в After Effects. Например для зацикленного движения звуковой волны при создании шурешек. Ну и кончено полученную картинку можно использовать и в Photoshop для оформления тематических дизайнов при необходимости.
https://www.youtube.com/watch?v=OHJVrBrAXTg
Для работы с FFmpeg нужно знать форматы ее команд и использовать командную строку или пакетные файлы .BAT. Для себя я определил такие параметры запуска:
ffmpeg -i %1 -y -filter_complex «aformat=channel_layouts=mono,showwavespic=colors=#FFFFFF:scale=sqrt:s=1920×1080» -frames:v 1 waveform.png
скачать bat файл
bat.zip (261 байт) 1232 скачивания
bat.zip (261 байт) 1232 скачивания
%1 — это имя звукового файла для обработки, которое передается в bat файл при запуске (в уроке я для этого перетаскиваю файлы друг на друга). В итоге получается изображение белого цвета на прозрачном фоне, с которым легко работать в других программах. Описание параметров showwavespic можно почитать здесь: https://ffmpeg.org/ffmpeg-all.html#showwavespic
aformat=channel_layouts=mono — миксует все каналы в один, иначе они просто накладываются друг на друга прозрачными
split_channels=1 — рендерит каналы по отдельности
Вот примерно так будет выглядеть waveform для звука в формате 5.1.
audio 5.1.jpg (52.23 КБ) 8753 просмотра audio 5.1.jpg (52.23 КБ) 8753 просмотра
colors=#FFFFFF — цвет звуковой волны
scale=sqrt — масштаб амплитуды звука, мне понравился именно sqrt
s=1920×1080 — размер готового изображения в пикселях
sox spectrogram.jpg (38.14 КБ) 8762 просмотра sox spectrogram.jpg (38.14 КБ) 8762 просмотра
А с помощью программы SoX можно получить визуально другое распределение мощности звука по частоте, а не амплитуду громкости, которая тоже выглядит достаточно интересно и тоже может быть использована при работе над шурешками. Я сам не проверял, но команда будет подобно этой:
sox my.wav -n spectrogram
Обнаружилась еще одна программа для рисования спектрограмм звука — Spek – Acoustic Spectrum Analyser. Она тоже может экспортировать свой график в картинки, но без настроек размера — что на экране видите, то и сохранится.
http://spek.cc/
Полезные ссылки:
- Подборка уроков по созданию «шурешек» в After Effects
- FFmpeg
https://www.ffmpeg.org/ - Несколько примеров Waveform – FFmpeg
https://trac.ffmpeg.org/wiki/Waveform - Generating a waveform using ffmpeg | PHP
http://bighow.org/questions/32254818/ge . ing-ffmpeg - Программа для создания спектрограмм SoX — Sound eXchange
http://sox.sourceforge.net/
- Поделиться в Facebook
- Поделиться в Twitter
- Поделиться в Reddit
- Поделиться в VK
- Поделиться в Tumblr
- Поделиться в Google+
Источник: aeplug.ru
Sound Art — Приложение для конвертации изображений в звуки (x32, x64)
Sound Art — это абсолютно бесплатное приложение для преобразования изображения в звук для Windows. Разработано Василием Макаровым из студии Stone Voices. Он известен нам по работе над виртуальными синтезаторами PolyGAS и Brandulator. На этот раз выпущенное программное обеспечение это не плагин VST, а отдельная компьютерная программа. Её цель — конвертировать картинки в звуки и наоборот.
Так как же работает Sound Art и что она делает? Приложение использует принцип Фурье для анализа любого фото, предоставленного пользователем, и преобразования его в сэмпл. Аналогично, часть звука может преобразовываться в фотографию, подобно любому другому фото на вашем компьютере. Можете сохранить аудиозапись как фотоснимок, обработать в стороннем фоторедакторе, таком как Photoshop, а затем преобразовать его обратно в аудио для прослушивания изменений. Sound Art экспортирует аудиофайлы в формате WAV и изображения PNG, JPEG, BMP или TGA.
Предыдущая статья Brassinematic — Плагин оркестровых духовых инструментов (x64)
Источник: xsounder.ru