Инструментальное средство Cognos 4Thought (рис. 25.2) входит в состав семейства современных программных средств обработки, анализа и прогнозирования данных, разработанного компанией Cognos.
Рис. 25.2. Интерфейс инструментального средства Cognos 4Thought
В основу программного продукта Cognos 4Thought положена технология нейронных сетей. Использование нейронных сетей позволяет строить достаточно точные сложные нелинейные модели на основе неполной статистической выборки данных.
Cognos 4Thought предназначен для моделирования и прогнозирования. 4Thought может анализировать исторические данные во времени, затем продолжить эту временную линию в будущее, предсказывая тенденции.
На рис. 25.3 представлена типичная схема взаимодействия Cognos 4Thought с другими продуктами семейства, выполняющими подготовку данных для 4Thought.
Рис. 25.3. Взаимодействие систем Impromptu, PowerPlay, Scenario и 4Thought
Системы Impromptu , PowerPlay , Scenario и 4Thought представляют собой взаимосвязанные и дополняющие друг друга инструментальные средства, поддерживающие наиболее эффективные технологии обработки данных и обеспечивающие решение широкого круга задач в бизнес-приложениях, от доступа к информации в распределенных базах данных до вычислительной обработки и интеллектуального анализа.
Intro to Cognos 11-Navigation
Cognos PowerPlay — это инструментальное средство для оперативного анализа данных и формирования отчетов по OLAP-технологии . Оно позволяет аналитикам исследовать данные под любым углом зрения, обеспечивая реальное многоуровневое видение текущего состояния организации. Главная особенность инструмента заключается в исключительной автоматизации процесса создания аналитического приложения, что позволяет за очень короткий срок создавать полномасштабные аналитические приложения, в основу которых положена технология OLAP .
Кроме того, инструмент отличается удобством применения: от пользователя требуются лишь навыки работы в среде Windows .
PowerPlay обеспечивает эффективный доступ ко всей имеющейся в организации информации, хранящейся в форме реляционных или не реляционных данных, таких как базы данных (Databases), склады данных ( Data Warehouses ), витрины данных ( Data Marts ) и электронные таблицы ( Spreadsheets ).
Созданный с помощью PowerPlay гиперкуб можно открыть в 4Thought. Гиперкуб представляет собой файл многомерных данных с расширением . mdc . Данные в таком файле организованы специальным образом для обеспечения быстрого доступа и детализации.
OLAP -кубы Cognos можно использовать как источники данных для модулей Data Mining (4Thought и Scenario ), таким образом в продукции Cognos реализована интеграция технологий OLAP и Data Mining.
Cognos Impromptu — это инструмент фирмы Cognos для построения запросов любой сложности и отчетов произвольного формата пользователями, от которых не требуется навыков программирования. Отличительная черта этого средства — простота в использовании, которая достигается благодаря продуманному и интуитивно понятному интерфейсу.
Dashboard Creation in Ibm Cognos Analytics 11.0 Part-01
Impromptu обеспечивает пользователей оперативной и детальной информацией, необходимой для принятия решений . Одним из основных достоинств Impromptu является возможность быстрого построения широкого спектра различных отчетов в зависимости от того, какие данные необходимы для принятия решения. Это означает, что пользователи могут формировать отчеты любой нужной структуры гораздо оперативнее и проще, чем при использовании других построителей отчетов.
Отчеты Impromptu также могут быть использованы в качестве входных данных для построения модели в Cognos 4Thought .
Cognos Scenario — это интеллектуальное инструментальное средство поиска (разведки) данных ( Data Mining), которое позволяет руководителям (даже не знакомым с методиками статистического анализа) выявлять скрытые тенденции и модели бизнеса и «извлекать на поверхность» его ранее неизвестные закономерности и корреляционные связи.
Система Scenario спроектирована для построения моделей, описывающих особенности бизнеса по данным, которые при использовании традиционных методов анализа могли бы быть незамеченными. Удобный интерфейс этого приложения позволяет пользователям легко визуализировать имеющиеся сведения о бизнесе. Он автоматизирует обнаружение и ранжирование наиболее важных факторов, влияющих на бизнес, и выявление скрытых связей между этими факторами. Обладая подобным интерфейсом, Scenario делает процесс анализа данных, традиционно трудоемкий и дорогостоящий, простым и оперативным.
Результаты работы Scenario (ключевые показатели и факторы) могут быть переданы в 4Thought для выполнения прогнозирования.
Cognos 4Thought использует технологии математического моделирования, которые позволяют изучить взаимную связь факторов, влияющих на выбранную сферу деятельности. Это программное средство дает возможность плановикам создавать точную модель бизнеса, используемую для сравнения, прогнозирования, интерпретации результатов измерений.
4Thought поддерживает анализ на всех этапах:
- Сбор данных. Данные вводятся непосредственно или получаются из внешних источников, например, MS Excel. Данные могут быть взяты у других программных средств семейства Cognos ( Impromptu , ReportNet, PowerPlay и Scenario ) или прямо из хранилища. Введенные данные отображаются в 4Thought в виде электронных таблиц, что позволяет достаточно просто их просматривать и анализировать;
- Преобразование данных. Прежде чем попасть в модуль 4Thought, данные обычно очищаются в модуле Impromptu , который делает запросы к источникам данных (реляционным базам данных), позволяет накладывать фильтры на выборки данных (например, исключать строки, в которых значение показателя — целевой функции равно нулю, либо превращать одинаковые строки в одну строку, либо отсеивать строки если значение показателя является аномальным — выходит за пределы двух среднеквадратичных отклонений вверх и трех вниз, и т.п., правила очистки данных можно произвольно настраивать). Отчеты Impromptu могут быть использованы в качестве входных данных для построения модели в 4Thought. В модуле 4Thought также есть возможность просматривать данные и исключать аномалии (задавая допустимые интервалы, в которых может изменяться значение показателя), а также заменить пустые значения показателей на конкретные значения. При этом создаются новые поля: коэффициенты, пропорции, процентные соотношения, дающие более полную картину проблемы.
4Thought позволяет выполнить обучение модели на репрезентативной выборке значений входных и выходных параметров нейронной сети. Для обучения может быть использована вся выборка либо ее часть — в таком случае оставшаяся часть выборки применяется для контроля точности (качества) обучения: отклонения значений выходов обученной нейронной сети от реальных значений. Обучение сети на одном наборе данных выполняется несколько раз (перед каждым обучением начальные значения весовых коэффициентов устанавливаются автоматически случайным образом), чтобы выбрать наилучшую точность обученной сети.
Cognos 4Thought позволяет, варьируя параметры сценарных условий, автоматически получать различные прогнозы на заданный период, отвечая на вопрос: «А что будет, если?» Результаты прогнозирования по всем отраслям региональной экономики можно получать в виде текстов, графиков, диаграмм, а также отчетных документов установленного образца, которые можно хранить в электронном виде или передавать потребителям по электронной почте. Такие возможности освобождают аналитиков от рутинной вычислительной и оформительской работы и позволяют сосредоточиться на вопросах стратегии и тактики регионального развития.
Cognos 4Thought отображает степень влияния факторов (входных переменных) на целевую переменную, что позволяет использовать его в качестве инструмента факторного анализа. То есть после настройки сети можно оценить, какие факторы вносят какой вклад в конечный результат.
4Thought может оперировать с временными рядами. Это позволяет обнаруживать и анализировать тренды в динамике экономических величин, а также строить прогноз значений показателей на несколько лет вперед. 4Thought поддерживает несколько способов нормирования входных и выходных параметров, что дает возможность оперировать с экономическими величинами, влияние которых нелинейно.
При комплексном использовании продуктов семейства Cognos (рис. 25.3) в единой информационно-аналитической системе возникают дополнительные преимущества (синергетический эффект). Задачи по сбору и обработке информации в системе решаются на этапе формирования витрин данных с помощью инструмента PowerPlay Transformation Server .
Вопросы безопасности в системе (защиты от несанкционированного доступа) решаются с помощью инструмента Access Manager , входящего в состав пакета PowerPlay Transformation Server .
Инструменты PowerPlay и Impromptu используются для решения задач, связанных с мониторингом показателей, многомерным анализом информации, формированием отчетов, а инструменты 4Thought и Scenario — для прогнозирования показателей социально-экономического развития, а также для факторного анализа данных. Организация передачи данных между инструментами полностью автоматизирована. Простота интерфейса продуктов Cognos и ориентированность на пользователей-непрограммистов позволяет эффективно выполнять сложные задачи анализа. Публикация информации в интранет/ экстранет -среде может осуществляться с помощью инструмента Upfront, входящего в состав пакета Cognos PowerPlay Enterprise Server .
Источник: intuit.ru
Современные Business Intelligence (BI) системы на примере IBM Cognos BI
В современном мире существуют определенные классы программного обеспечения, которое ориентированно в основном на корпоративный сегмент (крупный и средний бизнес) и соответственно не имеет широкого распространения. Но некоторые программные комплексы имеют достаточно интересные функции, которые можно применить не только в сфере мелкого бизнеса, но и в качестве персонального инструмента. Вот об одном из таких программных комплексов и пойдет речь в данной статье.
Примечание
Я являюсь техническим специалистом, соответственно статья имеет более технический уклон. Если есть желание почитать информацию по продукту, ориентированную на бизнес пользователей, то вам на офсайт IBM.
Основная цель этой статьи, показать вам как сделать свой первый «Hello World» (по аналогии с программированием) в IBM Cognos BI.
Также хочу отметить, что я имею большой опыт написания пошаговых инструкций со скриншотами каждого шага. Но эта статья не будет очередной пошаговой инструкцией, здесь я хочу показать концепцию работы с системой, а не сделать еще один мануал.
Что такое BI?
- возможность подключения к различным источникам данных (от файла Excel до универсального ODBC подключения)
- возможность построения как простых отчетов (типа график или таблица), так и сложных параметризированных отчетов с комбинированной структурой и ссылочными связями (Drill-Trough, Drill-Up/Drill-Down)
- возможность прозрачной работы с разными источниками данных (например, Excel и SQL Server) с полноценной обработкой связей между ними
- возможность интерактивной работы с данными (формирование отчетов «на лету»)
- возможность представления реляционных данных как многомерные
- возможность распределения прав доступа используя как внутренние источники аутентификации, так и внешние (NTLM, LDAP и т. д.)
- возможность запуска формирования отчетов как вручную, так и автоматически по расписанию
- возможность автоматической рассылки сформированных отчетов
- возможность построения отчетов в различных форматах (Excel, HTML, PDF и т. д.)
Возможность применения BI системы в качестве персонального инструмента
Сразу становится вопрос, как можно использовать эту систему в качестве персонального инструмента? Отвечу по личному примеру, я использую IBM Cognos BI в качестве инструмента по анализу статистики в своих проектах и инструмента по анализу статистики домашней бухгалтерии.
Тут конечно можно возразить, что-то в духе «я и обычным SQL запросами отлично анализирую статистику» или «встроенных функций Excel вполне достаточно чтобы проанализировать всю домашнюю бухгалтерию», но «все познается в сравнении». Как показывает практика, гораздо проще просто натаскать мышкой нужные элементы данных и получить результат в готовом виде, чем возится с написанием SQL запросов или перенастраиванием функций Excel.
Опять-таки, все написанное это лично мое мнение, с которым вы не обязаны соглашаться.
Архитектура IBM Cognos BI
Архитектура системы относительно несложная (как для системы корпоративного класса). Итак, ключевым элементом системы является IBM Cognos BI сервер (см. схему ниже), который работает с источниками данных, используя созданное пользователем описание (именуемое метаданными). Далее, посредством Web доступа, IBM Cognos BI сервер предоставляет доступ ко всем основным функциям системы.
Концептуальная архитектура комплекса IBM Cognos BI (схема получилась весьма громоздкой)
Этапы работы с системой
- Создать подключение к источнику данных
- Сформировать описание источника данных, т. е. создать метаданные
- Создать и опубликовать пакет метаданных на IBM Cognos BI сервере
- Создать отчет
Структура тестового источника данных
Перед тем как приступить к реализации вышеописанных этапов, я хочу сказать пару слов об тестовом источнике данных. С одной стороны, структура тестового источника данных относительно простая (как для промышленного хранилища данных) с другой стороны она несколько сложнее чем простой лист Excel. Все данные в источнике являются синтетическими (сгенерированы алгоритмами на основе случайных чисел), из-за этого агрегатные показатели выглядят весьма ровно.
Как видно на схеме выше, в тестовой базе данных содержится 3 иерархических измерения: «Группа товара -> Товар», «Континент -> Страна -> Город -> Торговая точка», «Год -> Полугодие -> Квартал -> Месяц -> Дата»; 2 плоских (одномерных) измерения: «Кассир», «Региональный руководитель»; и 2 таблицы фактов: «Продажи», «План продаж».
Причем измерение «Кассир» расположено в одной из таблиц фактов в денормализованном виде, а измерение «Региональный руководитель» привязано к уровню «Страна» измерения «Торговая точка» связью «многие ко многим» (подразумевается, что один руководитель может управлять разными странами).
Подключение к источнику данных
В IBM Cognos BI все необходимые параметры для подключения к источникам данных хранятся в специальных объектах системы, которые так и называются «Data Source Connections». Чтобы создать новое подключение, необходимо выполнить несколько простых шагов: зайти на портал IBM Cognos BI, перейти в раздел «Администрирование» («Administration»), открыть вкладку «Конфигурация» («Configuration»), выбрать подраздел «Подключения источника данных» («Data Source Connections») и нажать кнопку «Новый источник данных» («New Data Source») в панели инструментов. Далее появится серия диалоговых окон, в которых будет необходимо задать несколько параметров, таких как название подключения, тип соединения, сервер, логин, пароль и т. д.
Разработка метаданных
Разработка метаданных, это один из самых сложных и ответственных моментов. От качества метаданных зависит, как работоспособность системы (скорость формирования отчетов, корректность сформированных результатов и т. д.) так и удобство разработки отчетов. Но несмотря на вышесказанное, сложность разработки метаданных прямо пропорциональна сложности источника данных. Например, чтобы построить реляционное описание нашего тестового источника данных, достаточно запустить мастер построения метаданных, несколько раз кликнуть кнопку «Next», и метаданные готовы.
Итак, как я уже писал ранее, метаданные – это описание источника данных. В IBM Cognos BI. Фундаментом метаданных являются объекты «Query Subject» и связи между ними. Объект «Query Subject» это синоним «View» из реляционных СУБД. Т. е. в основе «Query Subject» стоит запрос к СУБД, определяющий структуру объекта источника, а связи между «Query Subject» это описание логического взаимодействия между этими запросами.
Для создания метаданных в IBM Cognos BI используется отдельное приложение IBM Cognos Framework Manager (единственное не Web приложение в комплексе IBM Cognos BI). После запуска Framework Manager будет предложено создать новый проект (необходимо будет ввести наименование проекта и его расположение в локальной файловой системе).
Следует понимать, что проект Framework Manager (также именуемый как модель Framework Manager) это набор локальных файлов, с которыми работает локальная программа, а пакет метаданных это результат, который располагается на IBM Cognos BI сервере (если проводить аналогию с программированием, то проект – это исходный код, а пакет – это скомпилированное приложение). На базе одного проекта Framework Manager можно создать несколько наборов пакетов.
После того как проект Framework Manager создан, лучше всего начать работу с запуска мастера импорта метаданных (Action -> Run Metadata Wizard …). Мастер импорта предложит выбрать существующий источник данных или создать новый и позволит выбрать необходимые объекты для импорта. В простейшем случае (например, когда источником данных является файл Excel, который в 99,9% случаев содержит данные в денормализованном виде) нужно будет полям объекта «Query Subject» задать правильный тип использования (атрибут «Usage») и на этом работу с моделью Framework Manager можно заканчивать и приступать к формированию и публикации пакета метаданных. В более сложном варианте (как в нашем тестовом примере), необходимо будет проверить правильность импортированных связей между объектами «Query Subject», исправить некорректные и добавить недостающие. В более профессиональных вариантах есть возможность создавать вычисляемые поля, менять структуру «Query Subject», сформировать многомерное (multidimensional) представление, определить алгоритмы безопасности и т.д.
Создание и публикация пакета метаданных
После того как метаданные созданы, необходимо сформировать метапакет и опубликовать его на IBM Cognos BI сервере. Как я упоминал ранее, метапакет – это некоторое подмножество метаданных, которое публикуется на сервере и с которым работают все Web приложения комплекса IBM Cognos BI. Настройки метапакета позволяют скрыть или не публиковать некоторые объекты метаданных. Например, в тестовых метаданных есть некоторый «Query Subject» [Country_RegDir], который влияет на логику обработки данных источника (является связующим звеном между страной и региональным директором), но не представляет ценности при разработке отчетов, вот такой объект метаданных имеет смысл скрыть на уровне пакета. Или, например, поля с идентификаторами, их тоже имеет смысл скрыть от пользователей метапакетов.
Чтобы создать метапакет необходимо в Framework Manager, в разделе «Packages» вызвать контекстное меню и выбрать пункт «Create -> Package», после чего появится мастер создания метапакета. После того как метапакет будет создан, система сразу предложит его опубликовать на сервере. Начинающему пользователю можно сильно не вникать опции мастера публикации пакетов (просто нажимать кнопку Next и Publish). Единственно что, на последней вкладке (где будет не кнопка Next, а кнопка Publish) будет птичка «Verify package before publish», она определяет проверять ли метапакет на наличие логических неоднозначностей перед публикацией и отображает список этих неоднозначностей, если они буду найдены. Настоятельно рекомендую никогда не пропускать этот шаг и исправлять все найденные неоднозначности перед публикацией.
Создание отчетов (анализ данных)
Вот мы потихоньку и подобрались к самому интересному и регулярному процессу – это создание отчетов. Так сложилось что инструменты для создания регулярных отчетов и инструменты для быстрого анализа данных в IBM Cognos BI одни и те же (несмотря на то что в одних удобнее проводить быстрый анализ, а в других удобнее формировать регулярные отчеты, все они позволяют сохранять свои результаты в виде отчетов).
Лично я предпочитаю для всех BI задач использовать инструмент IBM Cognos Report Studio. Это наиболее универсальный инструмент, позволяющий строить отчеты фактически любой сложности и в тоже время предоставляет относительно удобные инструменты для быстрого анализа данных.
- запустить веб приложение IBM Cognos Report Studio
- в окне приветствия нажать кнопку «создать» («create»)
- в списке базовых шаблонов выбрать «перекрестная таблица» («corsstab»)
- разместить элементы данных согласно схеме, представленной ниже
- запустить отчет на выполнение
После запуска отчета на выполнение, получится примерно такой результат.
Глядя на получившийся отчет можно смело сказать, что оформлен он откровенно плохо, числа не отформатированы, экономический смысл откровенно сомнителен и т. д. Но все эти недостатки оформления можно убрать путем задания свойств соответствующих элементов настроек, а чтобы экономический смысл был более интересен, можно, например, сделать план/факт анализ.
Например, чтобы сделать отчет, показанный ниже (на готовых метаданных) я, как специалист с опытом, потратил где-то 20-30 минут.
А чтобы его полностью переоформить в темную цветовую схему, я потратил где-то еще 10 минут.
Заключение
Я надеюсь, что в этой статье читатель смог получить общие сведения о BI системах и принципе их работы. Конечно в рамках небольшой статьи невозможно рассмотреть относительно подробно ни один из затронутых аспектов (например, о том, как правильно сформировать метаданные, можно написать целую книгу), но я думаю, что если вы решите попробовать, то эта статья подскажет с чего начать и какого результата ожидать.
Также я совсем не затронул некоторые интересные механизмы и функции (например, механизм представления реляционного источника данных как многомерного), но это из-за того, что количество необходимого материала (минимум теории и минимум практики) потянет на отдельную статью.
Немного о лицензиях
Если вы решите купить отдельно систему IBM Cognos BI для персонального пользования или для небольшой фирмы, то наверняка цены вас неприятно удивят, но у IBM есть специальная комплексная система IBM Cognos Express, которая рассчитана на небольшие организации, содержит в себе несколько продуктов (включая BI) и стоит значительно дешевле.
- Разработка веб-сайтов
- SQL
Источник: habr.com
IBM Cognos
IBM Cognos 8 Business Intelligence (BI) — решение, обеспечивающее полный спектр возможностей BI в одном продукте с использованием единой архитектуры, позволяет определить обобщенную систему взглядов на процесс принятия решений для всего предприятия, раскрывает взаимосвязь всей предыдущей деятельности и текущего состояния предприятия и позволяет сформировать наилучшее решение, преобразующее стратегию в действие.
Одним из основных назначений IBM Cognos BI является интеграция данных. Продукт предоставляет возможности непрерывного создания отчетов, анализа, скоринга, создания информационных панелей и управления событиями, упрощая конфигурацию ИТ и обеспечивая доступ к информации для каждого сотрудника. Результат – более высокая адаптация пользователей, лучшие решения и более высокая динамика управления предприятием.
В основе решений IBM Сognos лежит концепция управления эффективностью бизнеса — Business Performance Management (ВPM), охватывающая основные процессы менеджмента компании: прогнозирование, планирование, бюджетирование, консолидация данных, контроль, анализ деятельности предприятия, финансовая, управленческая и иная отчетность.
Cognos 10
Новое программное обеспечение Cognos 10 сочетает в себе мощь социальных сетей и инструментов для коллективной работы с аналитическими приложениями для бизнес-пользователей, предоставляя интеллектуальные возможности реального времени в виде единого интерфейса, дружелюбного к пользователю – в онлайновом режиме или через мобильные устройства таких платформ как iPad, iPhone и Blackberry. Решение объединяет мощь социального инструментария для совместной работы с приложениями Lotus Connections и бизнес-аналитику Cognos в одном универсальном предложении с интуитивно понятными функциями управления и навигации и упрощенным пользовательским интерфейсом. Это комплексное предложение делает «поток мысли» пользователя неразрывным, устраняя необходимость переключения между приложениями и формами представления данных для получения и обработки нужной информации. Новое программное обеспечение поддерживает естественную сквозную цепочку информационных представлений, от просмотра и изучения до принятия решения.
Это программное обеспечение дает бизнес-пользователям интегрированное представление статистической информации с возможностью обновления в реальном времени, открывая перед пользователями исчерпывающую картину их бизнеса. Теперь компании могут воспользоваться преимуществами доступа к информации в самых разных ее представлениях, от простой оперативной информации реального времени до результатов прогностического анализа возможных вариантов («what if»). Интегрированные возможности социальных сетей в сочетании с аналитикой позволяют сотрудникам компаний взаимодействовать друг с другом в реальном времени в сообществах, блогах и wiki-ресурсах. Эта комбинация возможностей управляет обменом идеями и знаниями – что реально трансформируется в процесс принятия решений, однако теряется в замечаниях на встречах, ручных процессах и сообщениях электронной почты. Пользователи теперь могут инициировать действия, привлекать коллег со специальными экспертными знаниями, рассылать сообщения, файлы и ссылки, представлять и обсуждать мнения – и все это в реальном времени для более быстрого и более точного принятия решений. Ранкинг TAdviser100: Крупнейшие ИТ-компании в России 2023
Так, например, местный торговый представитель может определять пики продаж отдельных позиций популярных товаров и обсуждать это в реальном времени с менеджерами магазинов и сотрудниками маркетингового отдела, чтобы лучше понять причины и оптимально согласовать спрос и предложение. Врач может определять тенденции в ходе лечения определенной болезни, делиться этим знанием со своими коллегами и обсуждать с ними соответствующие профилактические меры по предотвращению заболевания – без необходимости каких-либо изменений единого представления этой тщательно собранной информации. Менеджер, продвигающий определенный товар на рынке, видя неожиданное снижение объемов продаж, может оперативно обсудить это с производственным отделом, директорами магазинов, командой маркетологов – одновременно и в реальном времени. Руководитель организации может мгновенно организовать «дискуссионную сеть» для связи с нужными людьми и информацией, чтобы сделать важное сообщение, выслушать объяснения, ознакомиться с мнениями и принять решение.
IBM Cognos TM1
IBM Cognos TM1 — решение IBM Cognos Business Intelligence для многомерного анализа особенно больших объемов данных в режиме реального времени, базирующееся на приобретенных технологиях компании Applix. В основе IBM Cognos TM1 — 64-битный OLAP-сервер, работающий с данными непосредственно в оперативной памяти без их предварительной обработки, что позволяет добиться скорости обработки данных, недостижимой для обычных инструментов анализа, особенно в случае больших объемов данных (десятки и сотни миллионов записей). Выдающиеся скоростные характеристики при работе с большими и сверхбольшимиобъемами данных в сочетании с мощной функциональностью анализа и простотой использования (одним из интерфейсов для анализа является клиент на основе Microsoft Excel) делают IBM Cognos TM1 незаменимым решением для таких отраслей, как финансовый сектор, телекоммуникации илирозничная торговля.
Источник: www.tadviser.ru