С помощью какой программы обычно создают и обрабатывают графический документ отметь

По горизонтали:
3 — Палитра. Элемент интерфейса графического редактора, обеспечивающий возможность выбора цвета.
4 — Сканер. Устройство ввода, выполняющее преобразование изображений в цифровой формат.
7 — Видеокарта. Электронное устройство, преобразующее графический образ, хранящийся как содержимое памяти компьютера, в форму, пригодную для дальнейшего вывода на экран монитора.
9 — Векторная. Разновидность компьютерной графики, в которой изображение формируется на основе наборов данных, описывающих те или иные графические объекты.
10 — Глубина. Длина двоичного кода, который используется для кодирования цвета пикселя.

По вертикали:
1 — Растровая. Разновидность компьютерной графики, в которой изображение формируется в виде растра.
2 — Примитив. Простая геометрическая фигура, для построения которой в графическом редакторе есть специальный инструментарий.
3 — Пиксель. Одна из точек, из совокупности которых формируется изображение на экране монитора.

Вебинар от 10.02.2021 года. ЭЦП и подпись документов.

5 — Графика. Область деятельности, связанная с созданием различных графических объектов.
6 — Растр. Совокупность точек (пикселей), образующих строки и столбцы.
8 — Фрактальная. Разновидность компьютерной графики, в которой изображение строится на основе математических формул (уравнений).

Источник: 5urokov.ru

С помощью какой программы обычно создают и обрабатывают графический документ отметь

Внимание Скидка 50% на курсы! Спешите подать
заявку

Профессиональной переподготовки 30 курсов от 6900 руб.

Курсы для всех от 3000 руб. от 1500 руб.

Повышение квалификации 36 курсов от 1500 руб.

Лицензия №037267 от 17.03.2016 г.
выдана департаментом образования г. Москвы

Тест по графическому редактору «ColorPaint»

Тест по графическому редактору « ColorPaint »

Вопрос 1. Графический редактор предназначен для обработки:

графической информации (правильный ответ)

Вопрос 2. Изображение в графическом редакторе Paint состоит из:

пикселей (точек экрана) (правильный ответ)

Вопрос 3. Для создания нового рисунка необходимо выбрать команду:

Файл/Создать (правильный ответ)

Вопрос 4. Выберите верный порядок действий для создания копии фрагмента рисунка:

Выделить, Копировать, Вставить (правильный ответ)

Выделить, Вырезать, Вставить

Выделить, Вставить, Копировать

Вопрос 5. Для рисования квадрата, необходимо выбрать инструмент Прямоугольник и удерживать клавишу:

Shift ( правильный ответ )

Вопрос 6. Каково назначение инструмента Надпись:

Для рисования буквы

Для ввода текста (правильный ответ)

Для рисования прямоугольника

Для заливки замкнутой области

Вопрос 7. Какое расширение имеют файлы, созданные в графическом редакторе Paint?

pureWMS описание функционала

.bmp (правильный ответ)

Вопрос 8. Панель инструментов, палитра цветов, рабочее поле, горизонтальное меню образуют:

полный набор графических примитивов графического редактора

среду графического редактора (правильный ответ)

перечень режимов работы графического редактора

набор команд, которыми можно воспользоваться при работе с графическим редактором

Вопрос 9. Графика с представлением изображения в виде совокупностей точек называется:

растровой (правильный ответ)

Вопрос 10. Для первичного сохранения рисунка необходимо выбрать команду:

Файл/Сохранить как (правильный ответ)

Источник: doc4web.ru

Как сделать свой проект по анализу больших массивов данных

Аннотация: В данной статье рассмотрено создание проекта по Data Science, проблемы, возникающие в ходе реализации проекта, а также способы и инструменты решения данных проблем. Также рассмотрены этапы анализа данных, где они подробно описаны: что конкретно требуется сделать и отобразить для успешной сдачи проекта своим заказчикам или работодателям.

Ключевые слова: Data Science, Big Data, Python, визуализация данных, машинное обучение.

Введение

Data Science (Наука о данных) – раздел науки, связанный с анализом больших массивов структурированных и неструктурированных данных и поиском оптимальных решений на их основе. Data Science это все, что связано с данными – от их сбора, подготовки и до обработки и анализа. Чтобы работать в этой области используют математику, статистику, машинное обучение и многое другое.

Data Science на сегодняшний день один из драйверов развития бизнеса, банковской сферы, медицины, транспортных компаний, химии, физики, астрономии, страховых компаний, сельского хозяйства, метеорологии и др.

Для исследования больших данных (Big Data) создаются проекты по анализу таких данных и ожидаемому прогнозу на основе этих данных.

Big Data – это огромные объемы разнообразных данных: разного формата, структурированные и неструктурированные.

Для работы с Big Data необходим специальный набор методик и инструментов, чтобы решать поставленные задачи.

Основная часть (методология, результаты)

Для проектов по анализу больших данных основным языком программирования является Python. Это самый распространенный язык в области Data Science. Python применяется для анализа, написания рабочего кода, создания моделей, проведения экспериментов и пр. Анализ данных также встречается на R и С++. В качестве среды тестирования («песочницы») используют инструмент Jupyter Notebook.

Для анализа данных и экспериментов программист определяет, что из себя представляют данные, строит диаграммы и различные графики, которые позволяют наглядно визуализировать данные.

Кроме анализа данных, в Jupyter Notebook удобно редактировать различные фрагменты кода, методы, классы. Этот формат подходит для создания сводок по аналитике. Таким образом, считается, что Jupyter Notebook – «рабочий стол» дата-сайентиста.

Для визуализации данных в виде сводных таблиц, диаграмм, графиков также можно использовать visual code и библиотеку streamlit.

В таблице представлен ход работы над проектом по анализу данных:

Название этапа

Описание

Для начала работы необходимо определить цели и проблемы, которые нужно будет решить, а также выяснить, что будет являться ответом, в зависимости от которого будут приниматься определенные решения

Находим в открытом или предоставленном доступе данные, которые предстоит обработать

Приведение данных в корректный вид, устранение пропусков и дубликатов данных

Категоризируем данные, учитываем данные без аномальных значений (например, для нормированного распределения характерно, что в интервал (µ-3σ; µ-3σ) попадают 99 % всех результатов, где µ – математическое ожидание, σ – среднеквадратическое отклонение)

Используем методы математической статистики для анализа данных; оформляем сводные таблицы по выбранным столбцам; представляем визуализацию данных в виде графиков; проводим моделирование с помощью машинного обучения для предсказания результатов

Оформление данных и принятие решений

Приведенные данные оформляем в виде документа (блокнота Jupyter Notebook) или веб-приложения, а затем на основе этих данных принимаем решение по бизнес-проблеме

Рассмотрим этапы реализации проекта по анализу данных подробнее.

1. Определение проблемы

Процесс анализа данных начинается с проблемы, которую необходимо сначала определить, а потом решить.

Определить проблему можно детально изучив функционирующую систему, ее механизмы или весь процесс. Для лучшего понимания функционирования системы необходимо исследование. Его лучше сделать так, чтобы выяснить принципы поведения и затем делать прогнозы.

Определение проблемы и планирование приводят к появлению директив, которым нужно следовать в течение всего проекта.

После определения проблемы и ее фиксирования, можно перейти к этапу планирования проекта.

Для максимально эффективного выполнения предписаний проекта, необходимо определить, какие ресурсы специалисты для этого понадобятся.

После определения проблемы, первое действие для анализа это – получение данных. Выбор данных – важный момент для качественного анализа. Данные должны максимально точно отражать функционирующую систему. Для сбора данных требуются необходимый опыт, знания и понимание природы и формы данных. Использование больших наборов неточных данных или, которые были собраны некорректно, приведут к неудаче.

Данные можно найти в открытых источниках или они могут быть предоставлены руководством с целью проанализировать их и сделать предсказание на их основе. Например, данные о фильмах (реестр прокатных удостоверений фильмов находится на Портале открытых данных Министерства Культуры РФ).

Эти данные хранятся в csv-файле. Этот файл можно скачать на компьютер, затем в среде реализации считать эти данные в виде Датафрейма. Пример кода приведён ниже:

import pandas as pd

Можно проанализировать, что представляют данные, с помощью такой операции:

1. Подготовка данных

Подготовка данных требует большого количества времени и ресурсов. Данные обычно собираются из различных источников и могут быть в разном формате. Их нужно подготовить для анализа.

В подготовку данных входят следующие этапы: получение, обработка, нормализация, преобразование в оптимальный набор данных (обычно в форме таблиц).

Для проверки корректности типов данных поможет такой запрос, где можно определить, какой столбец не соответствует нужному типу данных:

Как правило, в некорректных столбцах хранится информация в текстовом формате. Преобразовать столбец в корректный тип в зависимости от содержимого можно так:

data[‘column’] = pd.to_datetime(data[‘column’]) #дата

data[‘column’] = pd.to_numeric(data[‘column’]) #число

У данных могут быть дубликаты: явные и неявные. Явные дубликаты могут возникать при случайном добавлении одних и тех же данных из-за человеческого фактора или технических ошибок. Такие дубликаты можно проверить с помощи кода:

Устранить данные дубликаты поможет drop_duplicates:

Для устранения неявных дубликатов придётся проверить каждый столбец с текстовым форматом – object с помощью функции unique.

Если видим, что данные дублируют друг друга, но записаны по- разному, например: город Москва и Москва, то можем заменить дублирующие значения с помощью встроенной функции replace:

1. Обработка данных

У преобразованного Датафрейма есть качественные и количественные данные и данные даты и времени. В качественных данных в процессе подготовки нужно было устранить явные и неявные дубликаты и преобразовать данные в требуемый тип (текстовый формат с числами в численный).

С количественными данными ситуация другая, так как существуют выбросы значений, возможно связаны с тем, что при внесении данные ошибочно приписали цифру или имелась в виду другая величина, например, вместо рублей вписали копейки. Также по теории математической статистики по нормальному распределению в интервал (µ-3σ; µ-3σ) попадают 99 % всех результатов, где µ – математическое ожидание, σ – среднеквадратическое отклонение.

q = data[‘column’].var() ** (1/2)

data = data[data[‘column’] > mean — 3*q]

Для анализа данных удобно распределить данные по категориям (‘A’ – 1-1000, ‘B’ – 1001-5000, ‘C’ – 5001 и больше). В этом случае придется создать вспомогательную функцию, которая будет обрабатывать в столбце каждую строку и возвращать значение – категорию. К этой категории относится исходное значение, функция apply запоминает все эти значения в виде серии, а после создаётся новый столбец из серии категорий от полученной значений функции. Пример кода предъявлен ниже.

#функция для категоризации данных

elif row[‘column’] > 5000:

#добавление нового столбца

data[‘column2’] = data.apply(func, axis=1)

1. Исследование данных

Изучение данных – анализ в графическом или статистическом виде с целью нахождения моделей или взаимосвязей. Для отображения подобных моделей используется такой инструмент как визуализация.

В последнее время визуализация данных вышла на новый уровень и стала отдельной дисциплиной. Многочисленные технологии применяются исключительно для репрезентации данных, а многие типы представления работают так, чтобы получать только наилучшую информацию из Датасета.

На этапе выбора диаграмм для наилучшего зрительного восприятия обязательно нужно учитывать то, какие данные требуется визуализировать и с какой целью. Рассмотрим несколько распространённых видов диаграмм.

Линейный график (или линейная диаграмма).

Самый наглядный способ изображения изменений количественных показателей с течением времени это линейный график. Для построения графика точки откладываются на координатной сетке и соединяются прямой линией. По вертикали чаще всего отмечают количественные значения, а по горизонтали – качественные (числа, часы, дни, месяцы и др.).

Линейную диаграмму используют для отображения роста прибыли, количество проданных товаров и многое другое.

import pandas as pd

import matplotlib.pyplot as plt

plt.axis([xmin, xmax, ymin, ymax])

Столбчатые диаграммы используют для сравнения большого массива данных.

Есть два вида диаграмм: вертикальные столбцы обычно используют для иллюстрации изменения показателей, например, какое было среднее количество покупок в месяц на протяжении года; горизонтальные – для анализа большого количества показателей и визуального представления явного превосходства одного из значений.

data.plot.bar(x=data.index, y=’column’, rot=0) #вертикальный график

data.plot.barh(x=data.index, y=’column’, rot=0) #горизонтальный график

Гистограммы очень схожи со столбчатыми диаграммами, но используются по-разному. Гистограмма показывает значения числовых данных определенной группы и их изменения с течением времени. У каждого столбика в гистограмме свой отрезок времени на оси координат.

Основное отличие гистограмм от диаграмм в том, что нельзя столбцы менять местами, иначе нарушится последовательная логика.

С помощью этой диаграммы можно нагляднее иллюстрировать доли каждой части одного целого. Круговая диаграмма дает моментальное представление о соотношении чисел. При небольшом количестве секторов и значительной разницы значений обеспечивает эффективное визуальное восприятие. Но если много секторов сложно делать анализ диаграммы, и она занимает много места в сравнении с информацией, которую демонстрирует.

data.groupby([‘column’]).sum().plot(kind=’pie’, y=’column’, autopct=’%1.0f%%’)

Точечная диаграмма (или диаграмма рассеяния).

Эти диаграммы используются для иллюстрации зависимости одной переменной от другой, например, связь прибыли и затрат на закупку товаров.

Если на диаграмме точки можно соединить линией, близкой к прямой, то взаимосвязь между наборами данных очень высокая. А если они расположены хаотично, то корреляция низкая или близка к нулю.

Исследование данных это ознакомление с ними, которое нужно для понимания вида и значения собранных сведений. Категоризация этой информации определяет, какой метод анализа данных наиболее оптимальный для определения модели.

Этот раздел состоит из следующих пунктов: обобщение данных, группирование этих данных, изучение связей между разными атрибутами, определение моделей и трендов, разработка моделей регрессионного анализа, моделей классификации.

Анализ данных требует их обобщения, при котором количество данных для трактования уменьшается без потери важных сведений.

После обработки данных можно провести моделирование с помощью машинного обучения, которое позволяет предсказать данные в будущем. Модель машинного обучения «случайный лес» наиболее эффективна по сравнению с «деревом решений» и «логистическим решением».

Разбиение данных на обучающие (80% от исходных: в обучающих данных сами обучающие данные – 60% и валидационные – 20%) и тестовые (20%), т.е. в соотношении 4:1.

Разбиение обучающих данных на обучающие (75% или 60% от исходных) и валидационные (25% или 20% от исходных) в соотношении 3:1.

from sklearn.model_selection import train_test_split

features = data.drop([‘column’], axis=1)

features_train, features_test, target_train, target_test = train_test_split(features, target, test_size=.2, random_state=12345)

features_train, features_valid, target_train, target_valid = train_test_split(features_train, target_train, test_size=.25, random_state=12345)

Алгоритмы обучения чаще устроены сложнее, чем сама модель. В библиотеках Python доступны многие алгоритмы. Одна из
библиотек – scikit-learn, или sklearn. В sklearn много инструментов работы с данными и моделей, поэтому они разложены по подразделам.

Дерево решений

В машинном обучении, статистике и анализе данных с помощью метода дерева решений можно строить прогнозы, описывать данные, разделять их на группы и находить зависимости между ними.

Простая и популярная задача – это бинарная классификация. То есть разделение множества элементов на две группы, где, например:

• 1 – успех, да, ответ верный;
• 0 – неудача, нет, ответ неверный.

from sklearn.tree import DecisionTreeClassifier

Случайный лес

Случайный лес (random forest) обучает большое количество независимых друг от друга деревьев, а потом принимает решение на основе голосования. Случайный лес помогает улучшить результат предсказания и избежать переобучения. В библиотеке sklearn алгоритм случайного леса RandomForestClassifier находится в модуле sklearn.ensemble.

Чтобы управлять количеством деревьев в лесу, пропишем гиперпараметр n_estimators. Чем больше деревьев, тем дольше модель будет учиться, но результат станет лучше. Если сделать гиперпараметр n_estimators больше, модель начнёт разрастаться и медленно обучаться. Мало деревьев и результаты не лучше.

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(random_state=12345, n_estimators=15, max_depth=5)

Логистическое решение

Ещё один алгоритм машинного обучения – логистическая регрессия – это алгоритм классификации (двоичной классификации).

Логистическая регрессия сначала вычисляет, к какому классу близок объект, и в зависимости от ответа выбирает нужный класс: если результат
вычисления положительный, то – «1»; отрицательный – «0».

Модель LogisticRegression лежит в модуле sklearn.linear_model
библиотеки sklearn:

from sklearn.linear_model import LogisticRegression

Для определения качества модели машинного обучения и выбора лучшей из них используется метрика f1_score, которая сочетает в себе два показателя: точность и полноту ответов. Чем выше f1-score, тем лучше.

Полнота выявляет, какую долю положительных среди всех ответов
выделила модель. Точность определяет, как много отрицательных ответов нашла модель, пока искала положительные.

from sklearn.metrics import f1_score

Оформление данных и принятие решений

Это заключительный шаг процесса анализа, цель которого – предоставить результаты анализа, то есть сделать выводы по полученным данным в виде конструктивных решений.

Развертывание – это применение результатов анализа данных на практике. Как правило, развертывание состоит из написания отчета для заказчика. В отчёте должны быть подробно разобраны следующие темы: результаты анализа, развертывание решения, анализ рисков, измерения влияния на бизнес.

Отчёт может быть в виде документа, например, блокнота, где помимо графиков представлен код и его подробное описание или небольшого веб-приложения, в котором представлены только таблицы и графики с описанием. Отчет направляется руководству для принятия решения.

Выводы и дальнейшие перспективы развития

В данной статье был рассмотрен план действий по созданию проекта «Анализ больших массивов данных» с целью принятия соответствующих решений на основе визуализированных данных.

Работу над проектом можно разбить на несколько этапов: проблематика, сбор, подготовка, обработка и исследование данных, оформление данных и принятие решений.

Процесс анализа данных начинается с проблемы, которую необходимо сначала определить, а затем решить.

Спрос на специалистов по анализу больших массивов данных растёт во всём мире. Стремительное развитие алгоритмов машинного обучения и построения на их основе прогнозов говорит о том, что у профессии есть огромный потенциал. Такие специалисты нужны в разных отраслях: банках, логистических компаниях, IT-сфере, страховых компаниях, медицине, метеорологии, сфере продаж, на производстве и др.

1. Как правильно визуализировать данные в работе: официальный сайт «SF Education» – URL: https://blog.sf.education/kak-pravilno-vizualizirovat-dannye-v-data-science/ (дата публикации 09.04.2020).
2. Data Science для начинающих: обзор сферы и профессий: официальный сайт «Медиа нетологии» – URL: https://netology.ru/blog/03-2019-data-science-obzor/ (дата публикации 28.03.2019).
3. Основные инструменты дата-сайентиста: официальный сайт «Tproger» – URL: https://tproger.ru/articles/osnovnye-instrumenty-data-sajentista/ (дата публикации 04.03.2021).
4. Процесс анализа данных: официальный сайт «PythonRu» – URL: https://pythonru.com/baza-znanij/process-analiza-dannyh (дата обращения 01.04.2022).
5. Методы, модели и алгоритмы принятия решений о состоянии здоровья студентов в зоне действия неблагоприятных экологический условий [Текст]: дис. канд. ист. наук: 05.13.01: защищена / Медникова Оксана Васильевна. – Курск, 2007. – 162 с.
6. Применение блокчейн и умных контрактов в транспотных системах [Текст] / Каргина Л.А., Дмитриева Т.М.// Транспорт и логистика: стратегические приоритеты, технологические платформы и решения в глобализованной цифровой экономике. – Ростов-на-Дону, 2019. – С. 142-145.

Источник: na-journal.ru