Структура информационно аналитической программы

Транзакция – неделимая последовательность действий, которая должна быть осуществлена в рамках информационного процесса. В хранилище данные консолидируются, хранилища содержат ретроспективу. Выполняются операции по очистке данных, проверка на дублирование, на выбросы, замена пропусков. В результате онлайн-анализа реализуется гиперкуб.

Оси гиперкуба называются измерениями и содержат номинальные значения переменных, а на пересечении осей формируются факты, т.е. значения некоторых атрибутов, выраженных количественно. Системы бизнес-интеллекта основаны на системах ИИ «инженерия знаний». Задачей является создание аппаратно-программных устройств, которые в определенных условиях генерировали решение не хуже, чем это делает опытный специалист или эксперт в данной предметной области. Для того чтобы это создать необходимо научиться извлекать знания из экспертов, затем их нужно облечь в форму, пригодную для хранения в компьютере (формализация), обработать с помощью языков программирования декларативного типа (Пролог), затем необходимо наполнить систему соответствующими знаниями.

Информационно-аналитическая программа «Акценты»

Методы добычи данных можно разделить на статистические и методы машинного обучения. Статистические: корреляционный, регрессионный, многомерный анализ, который включает факторный, кластерный и дискриминантный анализ. Факторный анализ – в результате решаются 2 задачи: редуцирование факторов (сжатие), структурный анализ данных.

Кластерный анализ – в результате объекты предметной области разбиваются на группы по их похожести друг на друга. Дискриминантный анализ – это отнесение объектов к заранее выделенным классам. Машинное обучение – знания формируются путем аналитической обработки данных. Методы: нейронные сети, ассоциативные правила, деревья решений.

Нейронные сети. Каждый нейрон формирует некоторый суммарный сигнал. В математической модели искусственного нейрона присутствует функция активации, у которой 0 – пассивное состояние, 1 – активное состояние. Но вместо них используют модифицируемые функции. Нейронные сети имеют следующую структуру: есть вектор входных сигналов, вектор выходов, каждый нейрон связан с нейронами следующего уровня.

В основе машинного обучения лежит набор данных, который описывает исследуемые объекты, отражает их свойства и закономерности. Такой набор данных называют обучающей выборкой. Обучающая выборка может быть получена как совокупность наблюдений за исследуемым объектом в прошлом, так и сгенерирована на основе опыта, гипотез или интуиции эксперта.

Слово выборка используется в том смысле, что используются не все данные, а лишь некоторое подмножество, наиболее полно отражающее искомые закономерности. Процесс обучения заключается в том, что данные из обучающей выборки последовательно предъявляются модели, в результате чего корректируются её параметры для приобретения необходимых свойств. Обучение является интерактивной процедурой, в которой на каждом шаге в соответствии с правилом (алгоритмом обучения) производится корректировка свойств модели до тех пор, пока оно не придет в состояние, позволяющее выполнять требуемые функции, например, классифицировать объекты предметной области.

1/7 — Ю.И.Рягин Информационно-аналитическая работа

Можно говорить не о значениях переменных, а о векторе входного воздействия. Если модель работает корректно и выполняет требуемые преобразования, то каждому вектору входных воздействий будет соответствовать определенный вектор-результат. Если же модель находится в начальном состоянии, то вектор результата, сгенерированный путем рандомизации.

В процессе обучения модуль вектора приближается к некоторой функциональной зависимости, более или менее адекватной закономерностям объектов предметной области. Для реализации процесса обучения используют обучающий пример. Каждый такой пример содержит заданную реализацию входного воздействия и результат, соответствующий этому воздействию.

При формировании обучающей выборки первый вопрос, который возникает, это количество примеров, которое следует использовать. Решение этого вопроса зависит от структуры модели, характера данных, сложности решаемой задачи. Для увеличения числа примеров используются объем ОП. При увеличении числа примеров возрастает погрешность вычислений.

Необходимо оценивать репрезентативность – насколько хорошо обучающая выборка отражает закономерности преобразования, которая должна выполнить модель после её обучения. С одной стороны, чем сложнее преобразование, тем большее количество потребуется, с другой, если примеры плохо подобраны, то увеличение числа примеров не будет улучшать адекватность модели, т.е. сама выборка должна удовлетворять определенным критериям качества.

В целом набор данных, содержащих обучающую выборку должен содержать закономерности процесса, быть репрезентативным и удовлетворять условиям качества, то есть не содержать дубликатов, противоречий и пропусков. Определяются факторы, влияющие на решение задач, и подбираются примеры, подтверждающие сформулированные им гипотезы и правила.

Сформулированное правило должно иметь свойство обобщения. Такой способ используют как правило для решения оригинальных задач. Различают 2 метода: обучение с учителем и без учителя.

С учителем: модели предъявляются примеры, состоящие из пар независимых и зависимых переменным, т.е. обучение производится на основании имен, значений, которая должна сформировать модель на своем выходе, при этом коррекция параметров модели может осуществляться на основе ошибок результата, т.е. отклонения полученного значения от предписываемого. Без учителя: настройка параметров модели производится исключительно на основе данных о значениях входных переменных, где выходные значения не используются.

Такие модели называют самоорганизующимися. Одним из примеров обучения без учителя является модель кластерного анализа, где количество выделяемых кластеров заранее не определено. Самоорганизующиеся карты Кохонена – классы формируются моделью естественным образом на основании того, насколько близки друг к другу значения признаков объединяемых объектов. Чтобы модель позволяла решать конкретные задачи, она должна обладать свойствами обобщения.

Можно выделить 2 ошибки: ошибку обучения и обобщения. Ошибка обобщения проверяется на тестовом подмножестве. Если используются номинальные значения, то тогда невозможно оценить количественную ошибку. В этом случае ошибка вычисляется как отношение количества правильно классифицированных примеров к общему количеству примеров, входящих в обучающую или тестовую выборку.

Размер обучающего и тестового подмножества зависит от задачи, так и от располагаемого набора данных. Обучающее подмножество должно содержать количество примеров, достаточного для качественного обучения. Размер тестового подмножества определяется запасом выборки.

Если число примеров невелико, то размер тестового подмножества приходится брать небольшим и составляющим 5% от обучающей выборки. Если обучающая выборка велика, то размер тестового подмножества составляет 25–50% обучающего. Использование тестового подмножества позволяет ликвидировать негативные последствия так называемого переобучения модели.

Свойства алгоритма обучения.

При выборе алгоритма следует оценивать следующие свойства:

1. производительность – объем вычислений, которые необходимо произвести для обеспечения процесса обучения за приемлемое время.
2. устойчивость – алгоритм должен обеспечить достижение достоверных результатов даже при низком качестве данных, включая наличие шума, аномалий и противоречий.
3. точность – алгоритм должен обеспечивать работу модели на требуемом уровне, величина предельной ошибки модели не должна превышать некоторого заданного порога.
4. прерываемость и продолжаемость алгоритма – возможность остановить процесс обучения с целью проанализировать результаты и продолжить работу с остановки.

Чем точнее работает алгоритм, тем он сложнее в вычислительном плане. При выборе алгоритма необходимо оценивать его преимущества и недостатки и принимать решение исходя из задачи. Необходимо также учитывать масштабируемость алгоритма, возможность отсечения по времени.

Источник: studopedia.info

Общая структура информационной аналитической системы

Полная структура информационно-аналитической системы, построенной на основе хранилища данных, показана на рисунке 1. В конкретных реализациях отдельные компоненты этой схемы часто отсутствуют.

Рисунок 1. Структура информационной аналитической системы (ИАС)

Рассмотрим состав основных подсистем.

Подсистема хранения данных

Многомерное хранилище данных может быть организовано в виде одной из следующих структур:

1. физической структуры, называемой MOLAP, в которую с определенной периодичностью загружаются данные из файлов – источников, принадлежащих базам оперативных данных

2. виртуальной структуры, называемой ROLAP, которая динамически используется при запросах. ROLAP – система рассматривается просто как надстройка над реляционными базами данных, обеспечивающая удобный интерфейс пользователя. Типичными инструментальными средствами, поддерживающими ROLAP, является Business Objects.

3. гибридной структуры, называемой НOLAP, которая используется при построении многоуровневых информационных хранилищ, применяемых на разных уровнях управления больших корпораций.

Анализ параметров использования ROLAP и MOLAP информационных хранилищ показывает, что внедрение и эксплуатация ROLAP — систем является более простым и дешевым по сравнению с MOLAP – системами, но уступают последним в эффективности оперативного анализа данных.

Подсистема метаинформации

Репозиторий представляет собой описание структуры информационного хранилища: состава показателей, иерархии агрегаций измерений, форматов данных, используемых функций, физического размещения на сервере, прав доступа пользователей, частоты обновления.

В репозитории задается схема отображения структуры файлов-источников данных на структуре ИХ, а также схема отображения структуры ИХ на витринах данных. Через репозиторий осуществляется интерпретация запросов к ИХ на проведение оперативного анализа данных.

Подсистема преобразования данных (загрузки хранилища)

Подсистема загрузки ИХ создается только для MOLAP – систем. Для ROLAP – систем в процессе выполнения запросов осуществляется преобразование данных из файлов – источников. В том и другом случаях требуется выполнение следующих основных функций:

Сбор данных предполагает передачу данных из источников в ИХ в соответствии со схемой отображения, представленной в репозитории.

В процессе очистки данных осуществляется проверка целостности, исключение дублирования данных, отбраковка случайных данных, восстановление отсутствующих данных, приведение данных к единому формату.

В случае необходимости агрегирования данных осуществляется суммирование итогов по заданным в репозитории признакам.

Подсистема представления данных (организация витрин данных)

Под витриной данных понимается предметно-ориентированное хранилище данных, как правило, агрегированной информации, предназначенное для использования группой пользователей в рамках конкретного вида деятельности предприятия, например маркетинга и т.д.

Как правило, витрины данных являются подмножествами общего хранилища данных компании, которое служит для них источником. Обычно общее ИХ и витрины данных разрабатываются параллельно.

Подсистема оперативного анализа данных

Подсистема оперативного анализа данных, как правило, используется лицами, подготавливающими информацию для принятия решений, путем выполнения различных статистических группировок исходных данных.

В рамках пользовательского интерфейса для оперативного анализа данных используются следующие базовые операции:

· Поворот. Добавление нового признака анализа.

· Проекция. Выборка подмножества по задаваемой совокупности измерений. При этом значения, лежащие на оси проекции, суммируются.

· Раскрытие. Осуществляется декомпозиция признака агрегации на компоненты, например, признак года разбивается на кварталы. При этом автоматически детализуются числовые показатели.

· Свертка. Операция обратная раскрытию. При этом значения детальных показателей суммируются в агрегируемый показатель.

· Сечение или срез. Выделение подмножества данных по конкретным значениям одного или нескольких измерений.

Дата добавления: 2019-03-09 ; просмотров: 788 ; Мы поможем в написании вашей работы!

Поделиться с друзьями:

Источник: studopedia.net

Информационно-аналитическая деятельность: понятие, основы, структура

Информационно-аналитическая деятельность является одним из важнейших направлений интеллектуальной деятельности современного человека. Она связана с решением задач в самых различных сферах жизни: политике, истории, экономике, образовании и других. Такая работа проводится по определенной методике. В качестве основных источников информации служат текстовые данные, для упрощения обработки которых применяются автоматизированные системы.

Общее описание

В науке существует множество определений информационно-аналитической деятельности. Чаще всего ее рассматривают как один из процессов в сфере управления. Если рассматривать ее с терминологической точки зрения, то она состоит из двух слагаемых:

• анализ – расчленение объектов на отдельные элементы, что позволяет в конечном итоге получить общее представление об их строении и функциях;
• информация, а точнее, ее сбор, накопление, систематизация и обработка.

В более общем понимании аналитика – это разновидность техники мыслительной деятельности, с помощью которой производится обработка фактических данных с элементами прогнозирования. Содержание этого понятия у различных ученых и исследователей имеет свои специфические оттенки:

• инструмент для преобразования интуитивных понятий в логическую категорию;
• форма знания, используемая для выработки оптимальных управленческих решений;
• способ для исследования неявных процессов в социально-экономической и политической жизни;
• механизм обобщения разрозненных данных;
• основа научно-исследовательских изысканий и другие.

Сущность и структура

Основу структуры информационно-аналитической деятельности составляют следующие процессы:

• анализ целей и постановка задач работы;
• осуществление сбора информации в комплексе с адаптацией к изменяющимся условиям ситуации;
• анализ и оценка полученных данных в контексте управленческих целей;
• выявление сущности исследуемых процессов и явлений;
• формирование модели по существенной части данных и среды функционирования объекта;
• проверка соответствия модели и ее корректировка (при необходимости);
• планирование и осуществление эксперимента в естественных условиях или создание мысленной рабочей модели;
• формирование новых знаний на основе исследования, прогнозирование;
• обоснование и доведение результатов до потребителя, исполнителя или управленческого лица, принимающего решение.

Данная дисциплина включает в себя три главные составляющие:

• методологию работы в аналитическом и информационном аспекте;
• организационное обеспечение;
• технико-методологическое обеспечение (создание инструментальных компонентов для достижения поставленных целей).

Исходя из вышеуказанных базовых процессов, аналитика – это основа мыслительной деятельности, которая направлена на решение практических задач. В плане познавательной деятельности даже ошибочный вывод, полученный в результате аналитического осмысления, также обладает определенной ценностью, так как он способствует получению новых знаний.

История развития

Зарождение основ информационно-аналитической деятельности уходит своими корнями в историю Древней Греции. В IV веке до н. э. философ и основоположник логики Аристотель написал две книги – «Первая аналитика» и «Вторая аналитика». В них он сформулировал и истолковал законы классической логики.

Другого древнегреческого философа – Сократа – считают основоположником аналитических технологий. В своих трудах он использовал полемический анализ, целью которого было получение новых знаний в процессе спора с оппонентом.

В XX в. такая область знаний и осмысления стала профессиональной информационно-аналитической деятельностью. Во всех странах в государственных структурах существуют информационно-аналитические службы. Они создаются и в отдельных организациях, банках, образовательных и других учреждениях. Развиваются программные методы обеспечения.

В России эта сфера человеческой деятельности начала складываться лишь в конце XX в. в результате обострения социально-экономических проблем. В настоящее время активно создаются неправительственные аналитические центры, основной миссией которых является развитие гражданского общества и решение социальных проблем (ИАЦ «Сова», Московский центр Карнеги и другие).

Цели и управленческие задачи

Главная цель информационно-аналитической работы (ИАР) – это получение качественно новой информации по исследуемому вопросу в результате обобщения исходных материалов, которые были приняты к обработке не систематизированными и беспорядочными.

В рамках стратегического консалтинга организации задачами данного процесса являются:

• обеспечение руководства объективными данными о внутреннем и внешнем функционировании;
• подготовка основы для выработки курса развития предприятия;
• выявление «узких» мест в системе управления;
• внедрение масштабных проектов.

Уровни

Во время осуществления такой деятельности выделяют два уровня:

• Информационный уровень (или эмпирический). Работа на этом этапе связана с получением и предварительной обработкой фактических данных. Уровень состоит из нескольких стадий: добывание и фиксирование информации, ее осмысление и описание научными терминами, классифицирование и определение основных зависимостей. Работа исследователя также заключается в отсеивании несущественных деталей и данных, имеющих случайный характер, в выделении наиболее типичных, часто повторяющихся фактов, определении тенденции развития, выявлении очевидных связей.
• Аналитический уровень (или теоретический). На данном этапе проводится глубокий и всесторонний анализ фактического материала, исследование сущности явлений и процессов, качественное и количественное определение закономерностей. Итогом работы служит прогнозирование возможных событий и выработка рекомендаций для осуществления воздействия на будущие процессы.

Принципы

Основными принципами информационно-аналитической деятельности являются:

• ориентированность на определенные цели для выполнения прикладных задач;
• значимость исследования на данный момент времени (актуальность), своевременность выдачи результатов;
• использование достоверных данных для анализа, объективность при составлении выводов и предложений, беспристрастное отношение к исследованию;
• учет всей информации, имеющей отношение к поставленной задаче, непрерывный мониторинг условий и их изменений;
• лояльный подход к мнению каждого сотрудника аналитической службы, проработка альтернативных вариантов, в том числе тех, которые выходят за пределы общепринятых представлений;
• использование последних достижений науки и техники для получения обоснованных результатов;
• комплексное решение проблем с учетом взаимосвязи различных факторов;
• высокий уровень адаптации к изменяющимся общественно-политическим условиям.

Технология

Исходя из основных элементов структуры данного понятия, можно определить технологический цикл ИАР. Технология аналитической работы – это организованная во времени совокупность методов и операций, которые способствуют достижению поставленной цели. Ниже приведена ее краткая последовательность:

1. Подготовительные работы.
2. Проработка характеристик поиска.
3. Сбор информации и ее предварительный анализ (эмпирический этап).
4. Непосредственно аналитическая деятельность.

Подготовительные работы включают в себя следующие мероприятия:

• описание проблемы;
• выработка главной цели и ее уточнение, установление стиля работы, учитывающего специфику потребителя информационной продукции;
• определение предварительного бюджета для исследования.

Детальная проработка поисковых мероприятий содержит следующие операции:

• образование группы работников для проведения исследования, назначение менеджера проекта;
• разбиение главной цели на функции, задачи и операции;
• выработка частных (промежуточных) целей по направлениям;
• формирование списка возможных источников информации и оцениваемых признаков, состава выборки данных, достаточной для решения задачи;
• определение кадровых и других ресурсов для поиска информации;
• установление источников данных и оценка их информативности;
• разработка бюджета для информационного уровня.

Анализ и завершающий этап информационно-аналитической деятельности

Эмпирический этап работы состоит из таких процедур, как:

• определение средств для сбора данных;
• накопление информации;
• анализ репрезентативности выборки;
• интегрирование массивов данных, полученных из разных источников, оценка их противоречивости;
• анализ всего массива, определение тенденций;
• синтез модели;
• выработка выводов о целях, которые можно достичь без корректирующих мероприятий;
• определение бюджета для заключительного этапа.

Аналитический, заключительный этап работы, проводится в следующем порядке:

• выявление критических точек, влияние на которые может привести к максимальному эффекту;
• создание имитационной модели;
• оценка результата;
• выработка комплексной стратегии управления;
• сдача информационного продукта заказчику.

Источники информации

Данные, используемые во время информационно-аналитической деятельности, могут носить символьный и не символьный характер. Ко второму типу относятся конструктивные особенности, химический состав и другие виды образцов. Чаще всего применяются следующие источники символьных (текстовых) данных:

• объекты неоперативной информации (архивы, библиотеки, хранилища документов);
• традиционные носители: книги, журналы, газеты и другая периодическая литература, рукописи, фотоснимки;
• нетрадиционные носители данных: голографические, магнитооптические, оптические накопители, информационно-вычислительные сети различного уровня, магнитные ленты;
• объекты оперативной информации – информационно-коммуникационные системы (телевидение, радиовещание, мультисерверные и сотовые системы связи и другие).

Текстовые данные обладают наибольшей информационной емкостью. Их достоинством также является и то, что их сбор и обработка сравнительно легко поддаются автоматизации.

Типы средств автоматизации

Информатизация ИАР производится с помощью двух типов средств:

• для сбора и накопления данных;
• для обработки и анализа информации.

Применение автоматизированных систем позволяет значительно сократить затраты времени на поиск и обработку текстовой информации. Их недостатком является то, что сгенерированные результаты все-таки нуждаются в правке и редактуре человеком, а также невозможно произвести фильтрацию неявного упоминания терминов.

Информационно-аналитические системы

Современное программное обеспечение может предоставить следующую совокупность поисковых сервисов:

• анализ точного совпадения слова или набора слов с поисковым заданием;
• адаптационный поиск с учетом различных словоформ;
• поиск с учетом разнесения элементов фразы по тексту на заданное расстояние (оно измеряется в словах);
• поиск фразы с учетом перестановок и подстановок слов.

На отечественном и зарубежном рынках представлено много разработок подобного характера: программное обеспечение «Следопыт», «Арион», «Классификатор», Decision, «Аннотатор», Deductor, СУБД «Кронос», TextAnalyst, VisualLinks и другие.

Источник: fb.ru