При автоматизации работы с документацией иногда приходится иметь дело со сканами плохого качества. Особенно удручает ситуация, при которой вместо сканированного документа предоставляется фото с телефона.
В области обработки документов существует целый ряд задач, которые решаются с помощью машинного обучения. С примерным списком можно ознакомиться в данной статье. В этом руководстве я предлагаю решение проблемы различных помех на фото документа, которые могут возникнуть при плохом качестве съемки или плохом качестве самого документа.
Для борьбы с помехами на фото буду использовать автоэнкодер на основе сверточной сети.
Работать буду в облачном сервисе Google Colab.
Для начала скачаю набор данных с фотографиями документов на английском языке с помощью API сайта kaggle.com, который является популярной платформой для соревнований по Data Science. Для того, чтобы воспользоваться API сайта, нужно получить файл kaggle.json из личного кабинета, следуя инструкции.
!pip install -q kaggle from google.colab import files files.upload() !mkdir ~/.kaggle !cp kaggle.json ~/.kaggle/ !chmod 600 ~/.kaggle/kaggle.json !kaggle datasets download -d uurdeep/cleaning-dirty-documents-unzipped
Разархивирую скачанный архив с данными. Должно появиться две папки. В одной находятся зашумленные изображения (train), в другой чистые изображения (train_cleaned).
УДАЛЕНИЕ ШУМА в программе AUDACITY. Как убрать шум в аудиозаписи. Audacity уроки.
!unzip -q cleaning-dirty-documents-unzipped.zip
Импортирую нужные библиотеки. Для создания и обучения модели буду использовать библиотеку PyTorch.
import os import cv2 import torch import numpy as np import torchvision import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from google.colab.patches import cv2_imshow from tqdm import tqdm from torchsummary import summary from torch.utils.data import Dataset, DataLoader from torchvision.transforms import transforms from torchvision.utils import save_image from sklearn.model_selection import train_test_split
Рассмотрим, что представляют из себя данные:
import matplotlib.pyplot as plt import matplotlib.image as mpimg img = os.listdir(‘/content/train’)[0] fig, ax = plt.subplots(1,2, figsize=(20, 10)) img_noisy = mpimg.imread(f’/content/train/
Сформирую выборку для тренировки модели и для проверки её качества:
train_imgs, test_imgs = train_test_split(os.listdir(‘/content/train’), test_size=0.33, random_state=123)
Выберу устройство, на котором будет обучаться модель:
device = ‘cuda:0’ if torch.cuda.is_available() else ‘cpu’ print(device)
Для удобства работы с данными создам вспомогательный класс на основе torch.utils.data.Dataset . Переопределю методы __len__ и __getitem__ под наши данные.
Удалить шум с вашего изображения
Программа для подавления шума микрофона или как убрать шум микрофона в 2023 году
Эта функция снижает шум на фотографиях, сделанных в темных местах с помощью небольшого объектива, например смартфона.
Если вы конвертируете портретную фотографию, вы можете гладкий кожу, как детскую.
Поддерживаемые форматы файлов: JPEG, PNG, GIF и Heic.
Особенности ImageChef
Набросок Цветным Карандашом
Обнаруживать контуры объектов
Инвертировать цвета изображения (сделать негати.
Сделать белый фон прозрачным
Удалить шум с вашего изображения
Источник: tech-lagoon.com
Как убрать помехи с видео
Зачастую при съемке видеозаписи фотокамерой или съемке при недостаточном освещении или неподходящих настройках качество записи оставляет желать лучшего. Однако существует несколько программ, которые помогут в таких случаях.
Статьи по теме:
- Как убрать помехи с видео
- Как устранить помехи
- Как убрать помехи
Вам понадобится
- — программа AviSynth.
Инструкция
Скачайте в интернете любую программу с расширенными функциями редактирования видеозаписей, например, AviSynth. Естественно, вы можете воспользоваться любой другой программой, однако именного для этого приложения существует очень мощный фильтр для подавления помех видеозаписей, не говоря уже о том, что она является наиболее функциональной среди имеющегося ПО для обработки видео.
Выполните загрузку программы. Если скачивание производилось не с официального сайта, проверьте архив на вирусы и приступите к установке. Следуя указаниям меню инсталлятора, выполните настройку системы и программы нужным для вас образом. Перед установкой убедитесь, что на вашу видеокарту установлены обновленные версии драйверов.
Ознакомьтесь с функционалом программы, поскольку для выполнения функций редактирования видеозаписей в ней нужно уметь свободно ориентироваться в меню. После того, как вы освоите работу с фильтрами, скачайте fft3dfilter, это наиболее удобное и быстро развивающееся дополнение, которое поможет вам устранить недостатки видеозаписи.
Обратите внимание, что если недостатки связаны с дрожанием камеры, некачественной съемкой или съемкой при темном освещении, особых результатов вы не добьетесь ни одной программой.
Если вам часто приходится снимать видео, а качество записи вас не устраивает, замените аппаратуру на более подходящую условиям съемки, поскольку если изначально качество видео было плохим, это не исправить ни одной программой. При выборе камеры руководствуйтесь светочувствительностью и стабилизацией изображения, также обратите внимание на производителя оптики.
Не используйте функцию записи видео на цифровых фотоаппаратах, это портит его матрицу. Видео, записанное при помощи дополнительной матрицы зеркальной камеры, также не будет отличаться хорошим качеством, лучше всего приобрести отдельный аппарат.
Если вы хотите улучшить видимость при плохом освещении, увеличьте показатель светочувствительности, однако обратите внимание, что при показателе больше 800 на видео и фотографиях появляются помехи. Найдите баланс между качеством и светочувствительностью при съемке таким образом, чтобы шумы легко было изменить в программе.
Источник: www.kakprosto.ru