Video2x как пользоваться программой

Содержание

Не так давно, чтобы выявить определённые нарушения на видеозаписях с камер наблюдения, приходилось часами их просматривать. Позже появились программные средства, нейронные сети, способные обрабатывать сотни часов видео и предоставлять заинтересованным лицам уже готовую аналитику.

3369 просмотров

Но одна проблема осталась – низкое качество видео. Человеку трудно разглядеть детали на изображении плохого качества, да и для обучения и работы моделей некоторые кадры получаются слишком размытыми. Либо для презентации результатов необходимо увеличить какой-то кадр, а он при увеличении превращается в абстракцию из пикселей.

Неплохо было бы немного улучшить картинку? Это можно сделать.

Существует инструмент на основе реализаций глубоких свёрточных сетей — Video2X.

Video2X — это программное обеспечение для масштабирования видео/GIF/изображений, основанное на:

Waifu2X (это ПО было вдохновлено свёрточной нейронной сетью сверхвысокого разрешения (SRCNN). Оно использует Nvidia CUDA для вычислений, есть реализации, позволяющие использовать OpenCL и Vulkan);
Anime4K ();
SRMD;
REALSR, написанное на Python 3

Он увеличивает масштаб видео, GIF-файлов и изображений, восстанавливая детали из входных данных с низким разрешением. Video2X также принимает ввод GIF на видеовыход и ввод видео на вывод GIF.

Увеличили качество и сравниваем. Обзор алгоритмов Video2x / Topaz Video Enhance & Gigapixel AI

Явный минус этого ПО – продолжительное время обработки полноценных видео файлов. Для наших целей лучше предварительно обработать видео, например, с помощью ffmpeg и отобрать кадры, например, с интервалом в 1.5 секунды.

Для включения инструмента в ваш конвейер работы, можно интегрировать следующий код:

!apt install ffmpeg !apt install libmagic1 python3-yaml !apt install libvulkan-dev !pip install —user youtube-dl !pip install -U PyYAML

Здесь мы устанавливаем:

ffmpeg (набор инструментов с открытым исходным кодом для работы с мультимедийными файлами);
libmagic1 (библиотека определения типа файла с использованием «магических» чисел);
python3-yaml (библиотека для работы с файлами-словарями с расширением yaml);
libvulkan-dev (загрузчик Vulkan. Загрузчик ищет методы драйвера в рантайме (во время исполнения));
youtube-dl (скачивает видео с youtube.com или с других видеоплатформ).

!git clone https://github.com/k4yt3x/video2x.git

Клонируем файлы с репозитория.

import os os.chdir(‘video2x/src’) !git checkout 4.7.0 !pip install -r requirements.txt !rm -rf video2x.yaml !wget -O video2x.yaml http://akas.io/v2xcolab os.chdir(‘../..’)

Устанавливаем зависимости и устанавливаем настройки.

!wget https://github.com/nihui/realsr-ncnn-vulkan/releases/download/20200818/realsr-ncnn-vulkan-20200818-linux.zip !7z x realsr-ncnn-vulkan-20200818-linux.zip !wget https://github.com/nihui/waifu2x-ncnn-vulkan/releases/download/20200818/waifu2x-ncnn-vulkan-20200818-linux.zip !7z x waifu2x-ncnn-vulkan-20200818-linux.zip !wget https://github.com/nihui/srmd-ncnn-vulkan/releases/download/20200818/srmd-ncnn-vulkan-20200818-linux.zip !7z x srmd-ncnn-vulkan-20200818-linux.zip

0052 Как улучшить качество видео / Davinci vs Topaz vs Video2x (4K AI Upscale)

Скачиваем разные реализации, конвейеры, драйверы.

Следующую строку передаём в систему для изменения файла mp4:

!python video2x/src/video2x.py -i /content/video2.mp4 -o video_4x.mp4 -d waifu2x_ncnn_vulkan -r 4.0

В данной команде:

после «!python» указываем путь к модулю video2x.py – это модуль интерфейса командной строки, через который мы обращаемся к исполняемым алгоритмам (в т. ч. upscaler.py);
после флага «–i» указываем путь к файлу, который подаём на вход/на обработку;
после флага «–o» указываем путь, куда будет сохранён новый файл на выходе исполнения модуля;
после флага –d мы указываем драйвер, который будет работать с медиа контентом (по умолчанию это waifu2x_ncnn_vulkan, но возможно также выбрать «waifu2x_caffe», «waifu2x_converter_cpp», «srmd_ncnn_vulkan», «realsr_ncnn_vulkan», «anime4kcpp»);
после флага –r указываем ранг пропорционально увеличению разрешения (так как по умолчанию это 4, то –r 4.0 можно и не указывать).

Дополнительно по ключам скажем следующее:

после ключа –c или –config мы можем указать путь к файлу video2x.yaml, в котором содержатся конфигурации сервиса, в том числе гиперпараметры моделей, настройки драйверов и т.п., по желанию их можно изменить. Например, ранг увеличения изображения по умолчанию 4, а мы исправим его на 2 и не уже не будем указывать в команде;
указав –v, узнаем версию утилиты;
флаги –h и –w указывают высоту или ширину соответственно у полученного файла;
параметр –p задаст количество процессов, используемых для увеличения масштаба.

От опции TTA в файле video2x.yaml (параметр драйверов в файле video2x.yaml, он увеличивает качество изображения, по умолчанию он false) мы особой пользы не увидели, а вот время работы увеличивается. Поэтому её не используем/не включаем.

Ниже приведём пример использования (ранг увеличения масштаба использовали отличный от примера):

Видно, что изображение справа воспринимается, как более чёткое.

Этот инструмент помогает как при ручном анализе изображений, так и при использовании моделей распознавания, которые обучались и работали на предобработанных данных.

А слона-то и не приметил или Video2X: повышаем качество видео/gif/картинок

Неплохо было бы немного улучшить картинку? Это можно сделать.

Существует инструмент на основе реализаций глубоких свёрточных сетей Video2X.

Video2X — это программное обеспечение для масштабирования видео/GIF/изображений, основанное на:

Waifu2X (это ПО было вдохновлено свёрточной нейронной сетью сверхвысокого разрешения (SRCNN). Оно использует Nvidia CUDA для вычислений, есть реализации, позволяющие использовать OpenCL и Vulkan);
Anime4K ();
SRMD;
REALSR, написанное на Python 3

Для включения инструмента в ваш конвейер работы, можно интегрировать следующий код:

!apt install ffmpeg !apt install libmagic1 python3-yaml !apt install libvulkan-dev !pip install —user youtube-dl !pip install -U PyYAML

Здесь мы устанавливаем:

ffmpeg (набор инструментов с открытым исходным кодом для работы с мультимедийными файлами);
libmagic1 (библиотека определения типа файла с использованием «магических» чисел);
python3-yaml (библиотека для работы с файлами-словарями с расширением yaml);
libvulkan-dev (загрузчик Vulkan. Загрузчик ищет методы драйвера в рантайме (во время исполнения));
youtube-dl (скачивает видео с youtube.com или с других видеоплатформ).

!git clone https://github.com/k4yt3x/video2x.git

Клонируем файлы с репозитория.

import os os.chdir(‘video2x/src’) !git checkout 4.7.0 !pip install -r requirements.txt !rm -rf video2x.yaml !wget -O video2x.yaml http://akas.io/v2xcolab os.chdir(‘../..’)

Устанавливаем зависимости и устанавливаем настройки.

Скачиваем разные реализации, конвейеры, драйверы.

Следующую строку передаём в систему для изменения файла mp4:

!python video2x/src/video2x.py -i /content/video2.mp4 -o video_4x.mp4 -d waifu2x_ncnn_vulkan -r 4.0

В данной команде:

после «!python» указываем путь к модулю video2x.py – это модуль интерфейса командной строки, через который мы обращаемся к исполняемым алгоритмам (в т. ч. upscaler.py);
после флага «–i» указываем путь к файлу, который подаём на вход/на обработку;
после флага «–o» указываем путь, куда будет сохранён новый файл на выходе исполнения модуля;
после флага –d мы указываем драйвер, который будет работать с медиа контентом (по умолчанию это waifu2x_ncnn_vulkan, но возможно также выбрать «waifu2x_caffe», «waifu2x_converter_cpp», «srmd_ncnn_vulkan», «realsr_ncnn_vulkan», «anime4kcpp»);
после флага –r указываем ранг пропорционально увеличению разрешения (так как по умолчанию это 4, то –r 4.0 можно и не указывать).

Дополнительно по ключам скажем следующее:

после ключа –c или –config мы можем указать путь к файлу video2x.yaml, в котором содержатся конфигурации сервиса, в том числе гиперпараметры моделей, настройки драйверов и т.п., по желанию их можно изменить. Например, ранг увеличения изображения по умолчанию 4, а мы исправим его на 2 и не уже не будем указывать в команде;
указав –v, узнаем версию утилиты;
флаги –h и –w указывают высоту или ширину соответственно у полученного файла;
параметр –p задаст количество процессов, используемых для увеличения масштаба.

Ниже приведём пример использования (ранг увеличения масштаба использовали отличный от примера):

Видно, что изображение справа воспринимается, как более чёткое.

Видео уроки для After Effects от AEplug

Как увеличить размер видео — искусственный интеллект улучшает качество

Похожие темы
Размер объекта в композиции Вложения
zhiks » 06 апр 2021, 12:32 » в форуме Adobe After Effects
Ссылки, описания, дополнительная информация для моих уроков на YouTube

Canonical Link

Автор темы

Как увеличить размер видео — искусственный интеллект улучшает качество

Сообщение #1 aeplug » 27 ноя 2020, 20:12

апскейлинг видео.jpg (29.06 КБ) 12238 просмотров апскейлинг видео.jpg (29.06 КБ) 12238 просмотров

В эпоху наступающего 4К нам, простым монтажникам, неплохо бы знать и уметь, как растягивать видео и делать увеличение разрешения кадра желательно без потери качества, ведь вокруг все еще существует огромное количество актуальных исходников и в FullHD и даже хуже. Тут вы можете узнать несколько хороших способов, как увеличить разрешение видео и сохранить качество картинки или даже сделать его лучше, повысив четкость и добавив приятные глазу недостающие детали. В этом нам помогут современные технологии нейросетей и машинное обучение.
https://www.youtube.com/watch?v=sTr68T_Acqc
Несколько лет назад, я уже тестировал возможности, доступные на тот момент, для аналогичных целей. Хочется сказать, что современные нейронные сети работают гораздо интереснее, а результат получается качественнее.

Например недавно для моего любимого Adobe After Effects и Premiere Pro появился новый плагин ScaleUp, который как раз и использует искусственный интеллект для «апскейла» видео без потери качества. Плагин ScaleUp легко применить прямо в нужной программе, у него мало настроек, результат получает гораздо лучше встроенного в After Effects старого стандартного эффекта Detail-preserving Upscale, но есть вариант поперспективнее!

ScaleUp.jpg (11.37 КБ) 12237 просмотров ScaleUp.jpg (11.37 КБ) 12237 просмотров

К техническим недостаткам ScaleUp могу отнести то, что все ограничения хоста применяются автоматом и к плагину. Например в After Effects у меня возникли проблемы с попыткой обработать FullHD, я пытался увеличить разрешение на 400%, и программа вела себя неадекватно: фрагменты кадров путались и пропадали, периодически программа отказывала показывать превью вообще.
Для еще лучшего результата существует отдельная программа Topaz Video Enhance AI специально для работы с видеофайлами. Уже из названия становится ясно, что интеллекта там выше крыши, и за счет машинного обучения получается изменить размер видео до 600% с сохранением резкости и деталей. Иногда кажется, что программа сама додумывает недостающие части в размытых областях. Вместе с Video Enhance AI поставляется несколько моделей ИИ, разработанных для разных типов видео. Короче, хорошая программа, если у вас много старых видео исходников небольшого размера, и им требуется апскейлинг до 4К, чтобы выглядеть более менее достойно и современно.

Topaz Video Enhance AI.jpg (73.04 КБ) 12237 просмотров Topaz Video Enhance AI.jpg (73.04 КБ) 12237 просмотров

Все эти методы апскейла с искусственным интеллектом не просто меняют масштаб изображения на более большой, из за чего растянутое видео становится размытым и мутным, а пиксели становятся весьма различимыми ступеньками. Но путем глубокого анализа картинки алгоритмы предсказывают поведение линий и дорисовывают контуры объектов в новом разрешении, чтобы улучшить качество и увеличить четкость увеличенного кадра.

Topaz Gigapixel AI.jpg (114.1 КБ) 12237 просмотров Topaz Gigapixel AI.jpg (114.1 КБ) 12237 просмотров

К слову, компания Topaz давно занимается алгоритмами обработки изображений и повышения качества, которые она использует в создании фильтров для Photoshop. Для увеличения размера статичной картинки или фотографии у них несколько лет существует Topaz Gigapixel AI, который достигает потрясающих результатов, вытягивая из исходника даже то, чего казалось бы не было в оригинале.

Topaz JPEG to RAW AI.jpg (116.39 КБ) 12237 просмотров Topaz JPEG to RAW AI.jpg (116.39 КБ) 12237 просмотров

Еще одна полезная программа для повышения качества — Topaz JPEG to RAW AI, она устраняет артефакты сжатия JPEG, бандинга и пытается повысить глубину цвете для последующей обработки, тоже за счет все того же ИИ и обучения. И это еще не все, но вы лучше сами посетите их сайту и изучите ассортимент. Уверен, вы сможете найти там что-нибудь и для себя, во всяком случае многие фотографы отзываются весьма положительно об этих продуктах.
Например программа Topaz Mask AI. Раньше у меня был урок про выделение объектов в Photoshop, в котором я как раз и показывал, как просто работать с ее предшественником ReMask. А теперь у нее под капотом сидит целый ИИ, и по идее все стало еще проще.

Поделиться в Facebook
Поделиться в Twitter
Поделиться в Reddit
Поделиться в VK
Поделиться в Tumblr
Поделиться в Google+

Читаю и комментирую советы подписчиков

Сообщение #2 aeplug » 05 дек 2020, 21:28

Я хочу продолжить тему, затронутую в предыдущем ролике про качественное увеличение размера кадра у видео. Вы в комментариях надавали мне кучу самых разных советов, и сейчас я проверю самые популярные. Мне кажется, тема очень полезная и интересная, многим может пригодится, а я любопытный и не могу удержаться, чтобы не разобраться хотя бы для себя, каким метод оказывается лучше обрабатывать видео на самом деле. Заодно сравним результаты, полученные из разных программ, с помощью которых можно делать апскейлинг до 4к с сохранением четкости кадра.
https://www.youtube.com/watch?v=uxdPZ46QM3Q

00:41 Пропустим секвенцию через Topaz Gigapixel AI
05:13 Пару слов про Dain-App
05:49 Про увеличение размера 3D рендеров
06:23 Размера плагина ScaleUp
07:31 Так себе Red Giant Instant 4K
08:40 Бесплатная программа Video2X
09:30 Алгоритм SRMD NCNN Vulkan
11:25 Тормозной RealSR NCNN Vulkan
12:35 Анимация SRMD и сравнение
12:55 И другие сравнения RealSR и проч.
15:00 Итоги и выводы

Самый популярный совет в комментариях — экспортировать видео в секвенцию картинок и обработать в программе для статичных изображений Topaz Gigapixel AI в пакетном режиме. И тут сразу бросается в глаза, что Gigapixel тратит гораздо больше времени на обработку одного кадра, соответственно полное видео будет обрабатываться еще дольше чем в Video Enhance AI, а это будет очень неприятным сюрпризом для тех, кто жаловался на его тормознуть.

Gigapixel AI.jpg (201.52 КБ) 12053 просмотра Gigapixel AI.jpg (201.52 КБ) 12053 просмотра

Каждый кадр сам по себе выглядит очень достойно, появились интересные глазу детали, а само изображения получило такую приятную ламповую атмосферу фотопленки. Но самый главный минус проявил себя в анимации — каждый кадр слишком сильно отличается в секвенции от соседей, и по краям объекта прыгает много неприятных артефактов увеличения от ИИ, создавая эффект небольших мазков кисти.

Старый и всеми давно позабытый в After Effects плагин Red Giant Instant 4K, который кажется даже авторы уже забросили. Во всяком случае Shooter Suite, в состав которого он входит, пропала из основного раздела на сайте Red Giant. В любом случае, интеллектом там и не пахнет — обычная зашарпленая увеличенная картинка со всеми минусами. У BorisFX тоже есть аналог — BCC Reframer и BCC UpRez, я не проверял, но даже по примерам на сайте они выглядят пустой тратой времени по качеству апскейла из прошлого века. Продавать такое в эру искусственного интеллекта и нейронных сетей уже несерьезно.

Еще посоветовал бесплатную программу Video2X, использующую машинное обучение, с помощью которой можно изменить разрешение видео несколькими разными алгоритмами waifu2x, Anime4K, SRMD и RealSR. Название некоторых как бы намекает нам, для чего эта программы была придумана — увеличение рисованного видео типа аниме и мультипликации. Вроде как, с этой задачей Video2X справляется хорошо, но нас-то интересует живое видео с кучей деталей и градиентов.

SRMD.jpg (96.81 КБ) 12053 просмотра SRMD.jpg (96.81 КБ) 12053 просмотра

В целом SRMD мне не понравился вообще, работает он, конечно, быстро, но такого качества увеличения видео и за так не надо. А вот RealSR выглядит более интересно, результаты его работы больше напоминают Gigapixel AI по деталям и уровню «заглажености» картинки. Но его скорость меня очень расстроила. по минуте на каждый кадр! Да и артефакты на месте.

Забавно, что с появлением в широком доступе технологий искусственного интеллекта и машинного обучения такие задачи, как изменить размер видео и улучшение качества видео, выглядят уже не так грустно. Теперь растянуть видео и увеличить четкость можно сделать даже в домашних условиях, и это доступно почти каждому, кто захочет разобраться в этой теме. Ну а я надеюсь, что эти два видео урока помогут вам разобраться с апскейлом и новыми большими размерами эры 4К и выше.

Источник: aeplug.ru

А слона-то и не приметил или Video2X: повышаем качество видео/gif/картинок

Видео уроки для After Effects от AEplug

Как увеличить размер видео — искусственный интеллект улучшает качество

Как увеличить размер видео — искусственный интеллект улучшает качество

Читаю и комментирую советы подписчиков

Составьте блок схему и программу вычисления значения функции вариант 3

Напиши программу которая в последовательности натуральных чисел определяет количество чисел кратных

Как записать музыку на сд диск в формате сд программа

Какая нужна программа на телефон чтобы скачивать музыку на телефон

Если не хватает места на диске с для установки программы

Задачи по ознакомлению с формой и геометрическими фигурами в программе радуга

Как расширение имени файла связано с форматом файла и программой обработки

Что программа 12111 переводит число 50 в число 20 определите значение b