Стремительное развитие информационных технологий, в частности, прогресс в методах сбора, хранения и обработки данных позволил многим организациям собирать огромные массивы данных, которые необходимо анализировать. Объемы этих данных настолько велики, что возможностей экспертов уже не хватает, что породило спрос на методы интеллектуального анализа данных (с англ. Data Mining), который с каждым годом постоянно увеличивается. Интеллектуальный анализ данных помогает найти скрытые ранее закономерности и отношения в данных для того, чтобы можно было принять более обоснованные решения [1-3].
В настоящее время существуют большое количество инструментальных средств, позволяющих решать задачи Data Mining. Особое место занимает система Deductor (флагманский продукт компании BaseGroup Labs) [4].
Deductor – аналитическая платформа, предназначенная для создания законченных прикладных решений в области анализа данных. Реализованные в Deductor технологии позволяют на базе единой архитектуры пройти все этапы построения аналитической системы: от консолидации данных до построения моделей и визуализации полученных результатов. Архитектура платформы Deductor представлена на Рисунке 1.
Chat GPT продвижение сайта
Data Mining – это не один метод, а совокупность большого числа различных методов обнаружения знаний.
Базовыми методами являются:
1. Классификация – это установление зависимости дискретной выходной переменной от входных переменных.
где Nкл – число правильно классифицированных объектов, N – общее число объектов, Nус – число объектов, удовлетворяющих поставленному условию.
Индекс Gini представляет вероятность того, что случайным образом выбранные объекты в одном узле относятся к одному классу и определяется как сумма квадратов долей классов в узле. При информационном подходе необходимо определить значение энтропии в зависимости от долей классов в узле. Если все классы присутствуют в узле с равной вероятностью, то энтропия максимальна. Список литературы
1. Data Mining for Business Application / Edited by L. Cao, Philip S. Yu, C. Zhang, H.Zhang. – Springer Science; Business Media, 2008
2. Ризаев И.С. Интеллектуальный анализ данных для поддержки принятия решений / И.С.Ризаев, Я.Рахал – Казань: Изд-во МОиН РТ, 2011 – с. 172
3. Кирпичников А.П. Повышение аналитических возможностей баз данных. / А.П.Кирпичников, А.Л.Осипова, И.С.Ризаев. Журнал Вестник Казанского Технологического ун-та, т.15, №3, 2012. – с.157- 160.
Источник: izron.ru
Аналитическая платформа Deductor
Deductor (BaseGroup Labs)является аналитической платформой для создания законченных прикладных решений. Реализованные в Deductor технологии позволяют на базе единой архитектуры выполнить все этапы построения аналитической системы: от создания хранилища данных до автоматического подбора моделей и визуализации полученных результатов. Эти свойства делают Deductor оптимальным базисом для создания систем поддержки принятий решений, в основе которых лежат методики интеллектуального анализа данных.
ПРАВДА для близких | Детектор лжи
Являясь системой, реализующей сложный математический аппарат, Deductor доступен для понимания и прост в работе. В отличие от специализированных систем статистического анализа, не требует от пользователей углубленной математической подготовки, что достигается разделением рабочей области специалиста, занимающегося построением моделей, и рабочей области пользователя. Одна из важнейших особенностей Deductor состоит в тщательном подходе к вопросу статистического качества данных и подготовки массивов информации для обработки. Это оказывает существенное влияние на качество результата работы моделей.
Реализованные в Deductor технологии обеспечивают решение широкого спектра задач, возникающих в бизнесе к числу которых можно отнести:
— Анализ тенденций и закономерностей, планирование, ранжирование. Простота использования и интуитивно понятная модель данных позволяют проводить анализ по принципу «что-если», соотносить гипотезы со сведениями, хранящимися в базе данных, находить аномальные значения, оценивать последствия принятия бизнес решений.
— Прогнозирование. Построив модель на исторических примерах, ее можно использовать для прогнозирования ситуации в будущем. По мере изменения ситуации нет необходимости перестраивать все, необходимо всего лишь дообучить модель.
— Управление рисками. Реализованные в системе алгоритмы позволяют достаточно точно определиться с тем, какие характеристики объектов и как влияют на риски, благодаря чему можно прогнозировать наступление рискового события и заблаговременно принимать необходимые меры к снижению размера возможных неблагоприятных последствий. Deductor уже используется в Российских банках для создания скоринговых систем.
— Анализ данных маркетинговых и социологических исследований. Например, анализируя сведения о потребителях, можно определить, кто является вашим клиентом и почему. Как изменяются их пристрастия в зависимости от возраста, образования, социального положения, материального состояния и множества других показателей. Понимание этого будет способствовать правильному позиционированию ваших продуктов и стимулированию продаж.
— Диагностика. Механизмы анализа, имеющиеся в системе Deductor, с успехом применяются в медицинской диагностике и диагностике сложного оборудования. Например, можно построить модель на основе сведений об отказах. При ее помощи быстро локализовать проблемы и находить причины сбоев.
— Обнаружение объектов на основе нечетких критериев. Часто встречается ситуация, когда необходимо обнаружить объект, основываясь не на четких критериях, таких, как стоимость, технические характеристики продукта, а на размытых формулировках, например, найти похожие продукты с точки зрения потребителя.
Аналитическая платформа Deductor содержит многомерное хранилище данных Deductor Warehouse, аналитическое приложение Deductor Studio, средство тиражирования знаний Deductor Viewer — рис.2.17.
Рис. 2.17. Структура аналитической платформы Deductor
Deductor Warehouse – многомерное хранилище данных, в котором аккумулируется необходимая для анализа предметной области информация. Использование единого хранилища позволяет обеспечить непротиворечивость данных, их централизованное хранение и автоматически обеспечивает всю необходимую поддержку процесса анализа данных.
Deductor Studio – программа, реализующая функции импорта, обработки, визуализации и экспорта данных. Deductor Studio может функционировать и без хранилища данных, получая информацию из любых других источников, но наиболее оптимальным является их совместное использование. В Deductor Studio включен полный набор механизмов, позволяющий получить информацию из произвольного источника данных, провести весь цикл обработки (очистку, трансформацию данных, построение моделей), отобразить полученные результаты наиболее удобным образом (OLAP, диаграммы, деревья решений) и экспортировать результаты на сторону.
Deductor Viewer — это облегченная версия Deductor St u dio, предназначенная для отображения постоянных в Deductor Studio отчетов. Она не содержит средств построения, выполнения и визуализации сценариев. Это инструмент тиражирования знаний.
Работа в Deductor выполняется с использованием шести Мастеров: Мастера подключений; Мастера импорта; Мастера обработки; Мастера визуализации; Мастера экспорта и реализуется в виде цикла обработки информации, представленной на рис.2.18.
Обмен данными между аналитической платформой и сторонними приложениями является одним из важнейших этапов анализа. В системе он разделен на 2 части: получение данных для анализа из источников информации и передача обработанных данных в приемники информации.
Рис. 2.18. Цикл обработки информации в Deductor Studio
Получение данных для анализа осуществляется путем подключения к источникам данных (рис.2.19). Подключение – это базовое понятие аналитической платформы, позволяющее отделить процесс анализа данных от процесса доступа к ним. Аналитику неважно, в каком месте хранятся данные, на каком носителе, в какой физической структуре, как производится доступ к ним и синхронизация работы нескольких пользователей. Ему важно, чтобы логическое представление данных было удобно для проведения анализа.
Рис. 2.19. Подключение к источникам данных в Deductor Studio
Последовательность обработки и визуализации данных объединены в сценарии древовидной структуры. Сценарий всегда начинается с импорта данных из произвольного источника. После импорта следуют обработчики данных любой глубины и вложенности. Пример различных сценариев представлен на рис. 2.20.
Вне зависимости от природы данных форма их представления как при импорте, так и при экспорте единая – это плоская таблица. Мастера экспорта и импорта обеспечивают взаимодействие с любыми источниками и приемниками данных, используя стандартные механизмы доступа (ODBC, ADO и др.) Обработка и визуализация — это еще две операции по работе с данными. Под обработкой понимаются любые действия с данными, начиная с простых (например, сортировка данных) и заканчивая сложными (например, построение модели нейронной сети).
Рис. 2.20. Цикл обработки информации в Deductor Studio
Реализованные в Deductor механизмы обработки данных обеспечивают практически все потребности анализа бизнес-данных и связанные с ним действия над данными (очистка, слияние, объединение, фильтрация). Инструменты визуализации в Deductor позволяют интерпретировать результаты анализа графическими методами.
Наличие мощного набора механизмов обработки и визуализации позволяет двигаться по шагам, от наиболее простых способов анализа к более мощным, таким образом, первые результаты пользователь получает практически сразу, но при этом можно легко наращивать мощность решения.
Рассмотрим решение задачи корреляционного анализа средствами аналитической платформы Deductor. Для оценки зависимости потребительских расходов на душу населения от таких входных факторов как численность населения, средне-душевые денежные доходы, валовый региональный продукт и других использовались данные Федеральной службы государственной статистики (https://www.gks.ru/bgd/regl/B10_14p/IssWWW.exe/Stg/d01/01-02-1.htm), представленные на рис.
2.21. Принцип корреляционного анализа состоит в поиске таких значений, которые в наименьшей степени коррелированы (взаимосвязаны) с выходным результатом. Такие факторы могут быть исключены из результирующего набора данных практически без потери полезной информации. Критерием принятия решения об исключении является порог значимости. Если корреляция (степень взаимозависимости) между входным и выходным факторами меньше порога значимости, то соответствующий фактор отбрасывается как незначащий.
Рис. 2.21. Исходные данные корреляционного анализа
Для корреляционного анализа необходимо выполнить загрузку данных из файла, содержащего информацию, используя Мастер импорта, выполнить настройку полей (Мастер Настройка набора данных), отфильтровать строки, не содержащие информацию (Мастер обработки Фильтр) и выполнить корреляционный анализ(Мастер обработки Корреляционный анализ). После проведения корреляционного анализа становится доступным обработчик Матрица корреляции (Рис.2.22)
Рис.2.22. Сценарий и корреляционная матрица
Источник: studopedia.ru
Deductor
Яндекс.Браузер — быстрый браузер с защитой от мошенников и вредоносных сайтов.
Тип лицензии:
Условно-бесплатное
Языки: Русский
Снимки экрана 7
Deductor – аналитическая программа для комплексной разработки и оформления проектных данных. Система оснащена передовыми инструментами, благодаря которым на основе единой программной структуры можно быстро создавать и визуализировать различные типы проектных моделей и базы данных.
Основной функционал программы Deductor обеспечивает работу по нескольким направлениям:
- Оформление рабочих отчетов о проделанной работе.
- Составление статистических прогнозов на основе собранной о проекте информации.
- Сегментация и анализ закономерностей при прогнозировании.
Решаемые задачи обеспечиваются наличием технологий – Olap, Knowledge Discovery, Data mining. Сочетание данных аналитических инструментов позволит принять нужное решение при проектировании.
Источник: www.softsalad.ru