Если вы когда-либо мечтали увидеть, как знаменитость, ваш друг или любимый герой из видеоигры самозабвенно поет караоке-хиты, то благодаря нейросетям это желание теперь легко исполнить.
Приложение Wombo синхронизирует изображения, на которых есть лицо (или что угодно, напоминающее лицо человека), с популярной музыкой, превращая фотографии в сюрреалистичные короткие клипы.
Так фото любого человека, мультгероя или животного можно заставить подпевать хитам вроде I Will Survive или Ding Dong Song.
Wombo запустили в конце февраля канадские разработчики, пишет The Verge. По их словам, через две недели после релиза приложение скачали более двух миллионов раз.
«Мне пришла в голову идея для Wombo в августе 2020 года, когда я курил на крыше вместе со своим соседом. Я следил за тем, что происходит в сфере искуственного интеллекта, что сейчас с мемами и дипфейком, и вдруг увидел возможность сделать что-то крутое», — рассказывает глава компании Бен-Цион Бенхин. По его словам, запуск приложения стал для него «огромной радостью».
КАК ПОЛЬЗОВАТЬСЯ ПРИЛОЖЕНИЕМ WIMBOO / WOMBO
Название приложения отсылает к видеоигре Super Smash Bros. «Если игрок успешно выполняет сумасшедшую комбинацию, то начинает кричать «Вобмо комбо! Вомбо комбо!»», — объяснил Бенхин.
Wombo действительно пользуется популярностью среди геймеров. К тому же заставить петь можно любого персонажа игры или «оживить» картину.
Wombo — бесплатное и простое в использовании приложение. Чтобы сделать анимированное изображение, нужно просто загрузить фото и нажать на кнопку синхронизации. Подписку предлагают только для того, чтобы быстрее обрабатывать фото и убрать рекламу. Приложение доступно в App Store и Google Play.
По словам разработчиков, пользователи могут не беспокоиться по поводу безопасности данных. «Мы очень серьезно относимся к конфиденциальности, — сказал Бенхин. — Все данные удаляются, и мы не передаем их никому».
Инструкция о том, как пользоваться Wombo, не слишком сложная. Разработчики сделали удобное приложение с интуитивно понятным интерфейсом. Единственный недостаток программы — она не переведена на русский язык.
Варианты установки приложения
Wombo — достаточно нетребовательное приложение, которое стабильно работает даже на бюджетных смартфонах. Установить Вомбо можно на смартфоны под управлением Android и iOS.
Андроид-версию также можно поставить на компьютер, используя специальный эмулятор.
Инструкция по использованию Wombo AI
Приведём подробную инструкцию по тому, как пользоваться Вомбо на смартфоне. Иллюстрации и скриншоты актуальны для android-версии, но приложение имеет аналогичный интерфейс и на айфонах.
Загружаем фото
После установки необходимо запустить приложение — найдите его ярлык на рабочем столе. Wombo встречает пользователей приветственным чёрным экраном. Чтобы начать работу, нажмите на жёлтую кнопку с надписью Let’s go!
нейросеть vs человек
Если программа запускается впервые, разрешите ей использовать фотокамеру. Для этого нажмите на «Разрешить» в открывшемся окне. После чего аналогичным образом откройте доступ к файловой системе.
Дальнейший алгоритм действий зависит от того, какое именно фото вы хотите анимировать:
- Если необходимо сделать «поющее селфи», расположите телефон так, чтобы ваше лицо было в центре фронтальной камеры. Нажмите на кнопку снимка — белый круг.
- Если хочется анимировать чужое фото, нажмите на левую кнопку. Выберите снимок из галереи.
После этого вам остаётся только нажать на зелёную кнопку W.
Выбираем трек
В Вомбо загружена большая библиотека мелодий — от мемных до популярных хитов зарубежных артистов.
Сверху есть удобная система поиска — можно отобразить ТОП-10 треков, все, имеющиеся в базе, мемные, весёлые, классические, в стиле Боба Марли, индийские, из Латинской Америки и песни Нидерландов. Ряд треков доступен только после покупки премиум аккаунта.
Нажав на песню, можно её послушать. Если трек вам понравился, кликните на зелёную кнопку W по центру экрана.
Делимся видео
После загрузки картинки придётся немного подождать — в течение 2-3 минут нейросеть будет обрабатывать изображение. После этого на экране вы увидите весёлое видео — результат ваших трудов.
- Сохранив видео на смартфон. Для этого нажмите на кнопку Save. Смешной ролик появится в вашей галерее. Его можно залить на Ютуб, в ВК, Лайк или Тик-Ток.
- Прислав друзьям. Выберите Send Wombo to friend. Ролик можно скинуть в личку или опубликовать в ленте.
Рекомендации пользователям
При помощи Вомбо можно создавать смешные и интересные видео без навыков монтажа. Такие ролики пользуются популярностью в Тик-Токе — под «поющееселфи» даже выделен отдельный хэштег.
- Делайте чёткие фото на хорошую камеру. Тогда на ролике не будет «пикселей».
- Фотографируйтесь при хорошем освещении. Это очень влияет на итоговое качество картинки.
- Выбирайте снимки на однотонном фоне. В этом случае программа гарантированно распознает лицо и не «захватит» ничего лишнего.
- Не выкладывайте поющие селфи друзей в социальные сети без их разрешения. Не все захотят выставлять свои фотографии на всеобщее обозрение.
Понятие «дипфейк» известно активным пользователям интернета уже давно. Из разряда забавных шуток оно переросло в перспективную технологию. Дипфейк – это посторонний персонаж, внедренный в видеоролик посредством нейронных сетей и машинного обучения. Но возможности у этого явления чрезвычайно широкие.
Что может дипфейк
Помните шуточное приложение, которое позволяет увидеть, как вы будете выглядеть в старости? На самом деле это приложение является одним из продуктов технологии дипфейка. И сейчас она находит все новые области применения. И если раньше было удивительно, как можно состарить фото, такое показывали только в фантастических фильмах, то теперь фотографию можно даже заставить исполнять песни.
Как научить фото петь
Сделать живое поющее фото на телефоне Андроид можно при помощи специального приложения Wombo, которое есть в Плей Маркете. Данное приложение позволяет не просто оживлять снимок, но и делать движения человека, изображенного на нем, более активными и реалистичными при исполнении выбранной песни.
Следует оговориться: если ваша задача просто анимировать фото, то лучше это сделать при помощи специальных программ, таких, как Deep Nostalgia. Вомбо позволяет именно озвучить песню, которую будет исполнять персонаж. От пользователя требуется только загрузить нужный снимок и выбрать песню из представленного списка.
Чтобы заставить фото петь, необходимо:
Преимущество Вомбо в том, что оно не просто оживляет снимок, ведь такими приложениями уже никого не удивить. Программа позволяет уникализировать каждое фото в зависимости от выбранного трека. На поведение персонажа влияет стилистика музыки.
Принцип работы Wombo
Главное достоинство Wombo в том, что здесь есть поддержка липсинка, т.е. рот персонажа открывается точно в такт воспроизводимому треку. Качество результата оставляет желать лучшего, но и приложение пока находится в стадии тестирования. При этом представлять в качестве исполнителей можно не только собственный снимок, но и фото известных людей и даже животных. Подойдут также неодушевленные предметы и статуи.
Нейросеть приложения использует ранее созданную хореографию. В квартире одного из энтузиастов было снято базовое видео, на основе которого и разрабатывалась анимация для данного приложения. Пока в списке только 20 песен, но в будущем функционал планируется расширить, как только будет решен вопрос с
Прочитать позже
Как это работает?
Алгоритм Dream использует подход, основанный на CLIP. CLIP — это нейронная сеть с открытым исходным кодом (свободно доступный алгоритм, изучающий закономерности в данных) исследовательской лаборатории OpenAI. Сеть обучается на парах изображений и подписей, найденных в Интернете, и может оценивать, насколько хорошо введенные пользователями подписи относятся к изображениям.
Модель Dream создает свои произведения искусства с помощью случайно сгенерированного вектора, который, по сути, является математическим представлением изображения. Каждая запись в векторе соответствует определенной детали рисунка. Пользователь может наблюдать за ходом работы алгоритма в режиме реального времени, поскольку приложение генерирует несколько изображений до получения конечного продукта. Из-за случайности процесса искусственный интеллект не может создать одно и то же изображение дважды.
По мнению разработчиков, с появлением искусства, созданного ИИ, художники получат возможность создавать все более и более крутые вещи. Руководители проекта подчеркивают, что команда всегда прислушивается к предложениям пользователей, чтобы создавать лучшие модели для более качественных продуктов. Еще одна функция, которая скоро будет выпущена, позволяет пользователям вводить изображения, из которых алгоритм может черпать вдохновение.
Многоязыковая поддержка WOMBO Dream была расширена, позволяя модели принимать подсказки на различных языках, таких как японский, хинди и индонезийский. Помимо расширения языковых возможностей, приложение также планирует добавить социальные функции, которые позволят пользователям просматривать и «лайкать» изображений других пользователей, если они решат поделиться ими. Кроме того, в настоящее время команда изучает возможность 3D-анимации снов, чтобы пользователи могли погрузиться в созданные ими “мечты” с помощью технологии виртуальной реальности.
Вы можете выбрать любой художественный стиль — от богато украшенных картин в стиле барокко до футуристических пейзажей синтвейва. Вы даже можете подражать великому Сальвадору Дали, если захотите. Хотя каждый стиль, как правило, дает относительно одинаковые результаты, количество возможных перестановок в сочетании с пользовательскими подсказками ошеломляет.
Ваши творения можно сохранить в фотопленке или поделиться ими во всех обычных местах. Создание бесплатной учетной записи позволяет вам отправлять любимые композиции в свою галерею для потомков, и у вас есть возможность повторно создать любое произведение искусства, используя ту же подсказку, если результат не совсем правильный . Вы никогда не получите один и тот же результат дважды, даже с одним и тем же вводом.
Что очень удивительно для такого рода сервисов — это быстро, функционально и полностью бесплатно. В поле зрения нет рекламы или подписок — WOMBO зарабатывает деньги, предлагая услугу печати по запросу для ваших творений.
В общем, трудно не порекомендовать это приложение — оно забавное, уникальное, им можно поделиться, и оно дает удивительное представление об мастерстве художника на основе искусственного интеллекта.
Если вы решите поэкспериментировать, вот наш понятный гайд.
Первое
Для начала вам необходимо загрузить приложение Dream by Wombo из App Store или Google Play. Приложение бесплатное и легко находится в поисковой системе магазина по его названию.
Второе
Чтобы продолжить использование программы, необходимо зарегистрироваться в приложении и создать псевдоним для своего профиля после установки.
Все. Можете начинать пользоваться. Не будем перечислять всю палитру стилистических и цветовых возможностей, чтобы не лишать вас радости первооткрывателя.
Рядом с нашим офисом живет очаровательный кот, и мы решили преобразить его фотографию.
Мы использовали стили стрит-арта и ретро-футуризма, и вот результат.
Источник: neuralinsight.ru