Быстрое увеличение сложности и размеров современных комплексов программ при одновременном росте ответственности выполняемых функций резко повысило требования со стороны заказчиков и пользователей к их качеству и безопасности применения. Испытанным средством обеспечения высокой эффективности и качества функционирования программ и программных комплексов являются международные стандарты, разработанные при участии представителей ведущих компаний отрасли.
По мере расширения применения и увеличения сложности информационных систем выделились области, в которых ошибки или недостаточное качество программ либо данных могут нанести ущерб, значительно превышающий положительный эффект от их использования.
Во многих случаях контракты и предварительные планы на создание сложных программных средств и баз данных для информационных систем подготавливаются и оцениваются неквалифицированно, на основе неформализованных представлений заказчиков и разработчиков о требуемых функциях и характеристиках качества информационных систем. Значительные системные ошибки при определении требуемых показателей качества, оценке трудоемкости, стоимости и длительности создания программных средств — явление достаточно массовое. Многие информационные системы не способны выполнять полностью требуемые функциональные задачи с гарантированным качеством, и их приходится долго и иногда безуспешно дорабатывать для достижения необходимого качества и надежности функционирования, затрачивая дополнительно большие средства и время. В результате часто проекты информационных систем не соответствуют исходному, декларированному назначению и требованиям к характеристикам качества, не укладываются в графики и бюджет разработки.
Объективная оценка качества программного продукта — Владимир Обризан. QA Fest 2018
В технических заданиях и реализованных проектах информационных систем часто обходятся молчанием или недостаточно формализуются сведения о понятиях и значениях качества программного продукта, о том, какими характеристиками они описываются, как их следует измерять и сравнивать с требованиями, отраженными в контракте, техническом задании или спецификациях. Кроме того, некоторые из характеристик часто отсутствуют в требованиях на программные средства, что приводит к произвольному их учету или к пропуску при испытаниях. Нечеткое декларирование в документах понятий и требуемых значений характеристик качества программных средств вызывает конфликты между заказчиками-пользователями и разработчиками-поставщиками из-за разной трактовки одних и тех же характеристик. В связи с этим стратегической задачей в жизненном цикле современных информационных систем стало обеспечение требуемого качества программных средств и баз данных.
За последние несколько лет создано множество международных стандартов, регламентирующих процессы и продукты жизненного цикла программных средств и баз данных. Применение этих стандартов может служить основой для систем обеспечения качества программных средств, однако требуется корректировка, адаптация или исключение некоторых положений стандартов применительно к принципиальным особенностям технологий и характеристик этого вида продукции. При этом многие клиенты требуют соответствия технологии проектирования, производства и качества продукции современным международным стандартам, которые необходимо осваивать и применять для обеспечения конкурентоспособности продукции на мировом рынке.
Оценка качества услуг. Расчёт рейтинга KPI
Стандартизация характеристик качества
Одной из важнейших проблем обеспечения качества программных средств является формализация характеристик качества и методология их оценки. Для определения адекватности качества функционирования, наличия технических возможностей программных средств к взаимодействию, совершенствованию и развитию необходимо использовать стандарты в области оценки характеристик их качества.
Основой регламентирования показателей качества программных средств ранее являлся международный стандарт ISO 9126:1991 (ГОСТ Р ИСО / МЭК 9126-93) «Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению». Завершается разработка и формализован последний проект состоящего из четырех частей стандарта ISO 9126-1—4 для замены небольшой редакции 1991 года. Проект состоит из следующих частей под общим заголовком «Информационная технология — характеристики и метрики качества программного обеспечения»: «Часть 1. Характеристики и субхарактеристики качества» Часть 2. Внешние метрики качества» «Часть 3. Внутренние метрики качества» «Часть 4. Метрики качества в использовании».
В России в области обеспечения жизненного цикла и качества сложных комплексов программ в основном применяется группа устаревших ГОСТов, которые отстают от мирового уровня на 5-10 лет.
Первая часть стандарта — ISO 9126-1 — распределяет атрибуты качества программных средств по шести характеристикам, используемым в остальных частях стандарта. Исходя из принципиальных возможностей их измерения, все характеристики могут быть объединены в три группы, к которым применимы разные категории метрик:
- категорийным, или описательным (номинальным) метрикам наиболее адекватны функциональные возможности программных средств;
- количественные метрики применимы для измерения надежности и эффективности сложных комплексов программ;
- качественные метрики в наибольшей степени соответствуют практичности, сопровождаемости и мобильности программных средств.
В части стандарта ISO 9126-1 даются определения с уточнениями из остальных его частей для каждой характеристики программного средства, а также для субхарактеристик качества.
За последние несколько лет создано множество стандартов ISO, регламентирующих процессы и продукты жизненного цикла программных средств и баз данных, которые могут служить основой для систем обеспечения качества программных продуктов.
Вторая и третья части стандарта — ISO 9126-2 и ISO 9126-3 — посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных программных средств. Все таблицы содержат унифицированную рубрикацию, где отражены имя и назначение метрики; метод ее применения; способ измерения, тип шкалы метрики; тип измеряемой величины; исходные данные для измерения и сравнения; а также этапы жизненного цикла программного средства (по ISO 12207), к которым применима метрика.
Четвертая часть стандарта — ISO 9126-4 — предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества программных средств. В ней обосновываются и комментируются выделенные показатели сферы (контекста) использования программных средств и группы выбранных метрик для пользователей.
Выбор показателей качества
Процессы выбора и установления метрик и шкал для описания характеристик качества программных средств можно разделить на два этапа:
- выбор и обоснование набора исходных данных, отражающих общие особенности и этапы жизненного цикла проекта программного средства и его потребителей, каждый из которых влияет на определенные характеристики качества комплекса программ;
- выбор, установление и утверждение конкретных метрик и шкал измерения характеристик и атрибутов качества проекта для их последующей оценки и сопоставления с требованиями спецификаций в процессе квалификационных испытаний или сертификации на определенных этапах жизненного цикла программного средства.
На первом этапе за основу следует брать всю базовую номенклатуру характеристик, субхарактеристик и атрибутов, стандартизированных в ISO 9126. Их описания желательно предварительно упорядочить по приоритетам с учетом назначения и сферы применения конкретного проекта программного средства. Далее необходимо выделить и ранжировать по приоритетам потребителей, которым необходимы определенные показатели качества проекта программного средства с учетом их специализации и профессиональных интересов. Подготовка исходных данных завершается выделением номенклатуры базовых, приоритетных показателей качества, определяющих функциональную пригодность программного средства для определенных потребителей.
На втором этапе, после фиксирования исходных данных, которое должен выполнить потребитель оценок качества, процессы выбора номенклатуры и метрик начинаются с ранжирования характеристик и субхарактеристик для конкретного проекта и их потребителя. Далее этими специалистами для каждого из отобранных показателей должна быть установлена и согласована метрика и шкала оценок субхарактеристик и их атрибутов для проекта и потребителя результатов анализа. Для показателей, представляемых качественными признаками, желательно определить и зафиксировать в спецификациях описания условий, при которых следует считать, что данная характеристика реализуется в программном средстве. Выбранные значения характеристик качества и их атрибутов должны быть предварительно проверены разработчиками на их реализуемость с учетом доступных ресурсов конкретного проекта и при необходимости откорректированы.
Методологии и стандартизации оценки характеристик качества готовых программных средств и их компонентов (программного продукта) на различных этапах жизненного цикла посвящен международный стандарт ISO 14598, состоящий из шести частей. Рекомендуется следующая общая схема процессов оценки характеристик качества программ:
- установка исходных требований для оценки — определение целей испытаний, идентификация типа метрик программного средства, выделение адекватных показателей и требуемых значений атрибутов качества;
- селекция метрик качества, установление рейтингов и уровней приоритета метрик субхарактеристик и атрибутов, выделение критериев для проведения экспертиз и измерений;
- планирование и проектирование процессов оценки характеристик и атрибутов качества в жизненном цикле программного средства;
- выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка результатов.
Для каждой характеристики качества рекомендуется формировать меры и шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений. Реализация процессов оценки должна коррелировать с этапами жизненного цикла конкретного проекта программного средства в соответствии с применяемой, адаптированной версией стандарта ISO 12207.
Функциональная пригодность — наиболее неопределенная и объективно трудно оцениваемая субхарактеристика программного средства. Области применения, номенклатура и функции комплексов программ охватывают столь разнообразные сферы деятельности человека, что невозможно выделить и унифицировать небольшое число атрибутов для оценки и сравнения этой субхарактеристики в различных комплексах программ.
Оценка корректности программных средств состоит в формальном определении степени соответствия комплекса реализованных программ исходным требованиям контракта, технического задания и спецификаций на программное средство и его компоненты. Путем верификации должно быть определено соответствие исходным требованиям всей совокупности к компонентов комплекса программ, вплоть до модулей и текстов программ и описаний данных.
Оценка способности к взаимодействию состоит в определении качества совместной работы компонентов программных средств и баз данных с другими прикладными системами и компонентами на различных вычислительных платформах, а также взаимодействия с пользователями в стиле, удобном для перехода от одной вычислительной системы к другой с подобными функциями.
Оценка защищенности программных средств включает определение полноты использования доступных методов и средств защиты программного средства от потенциальных угроз и достигнутой при этом безопасности функционирования информационной системы. Наиболее широко и детально методологические и системные задачи оценки комплексной защиты информационных систем изложены в трех частях стандарта ISO 15408:1999-1—3 «Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий».
Оценка надежности — измерение количественных метрик атрибутов субхарактеристик в использовании: завершенности, устойчивости к дефектам, восстанавливаемости и доступности/готовности.
Потребность в ресурсах памяти и производительности компьютера в процессе решения задач значительно изменяется в зависимости от состава и объема исходных данных. Для корректного определения предельной пропускной способности информационной системы с данным программным средством нужно измерить экстремальные и средние значения длительностей исполнения функциональных групп программ и маршруты, на которых они достигаются. Если предварительно в процессе проектирования производительность компьютера не оценивалась, то, скорее всего, понадобится большая доработка или даже замена компьютера на более быстродействующий.
Оценка практичности программных средств проводится экспертами и включает определение понятности, простоты использования, изучаемости и привлекательности программного средства. В основном это качественная (и субъективная) оценка в баллах, однако некоторые атрибуты можно оценить количественно по трудоемкости и длительности выполнения операций при использовании программного средства, а также по объему документации, необходимой для их изучения.
Сопровождаемость можно оценивать полнотой и достоверностью документации о состояниях программного средства и его компонентов, всех предполагаемых и выполненных изменениях, позволяющей установить текущее состояние версий программ в любой момент времени и историю их развития. Она должна определять стратегию, стандарты, процедуры, распределение ресурсов и планы создания, изменения и применения документов на программы и данные.
Оценка мобильности — качественное определение экспертами адаптируемости, простоты установки, совместимости и замещаемости программ, выражаемое в баллах. Количественно эту характеристику программного средства и совокупность ее атрибутов можно (и целесообразно) оценить в экономических показателях: стоимости, трудоемкости и длительности реализации процедур переноса на иные платформы определенной совокупности программ и данных.
Система управления качеством
Выбор характеристик и оценка качества программных средств — лишь одна из задач в области обеспечения качества продукции, выпускаемой компаниями — разработчиками ПО. Комплексное решение задач обеспечения качества программных средств предполагает разработку и внедрение той или иной системы управления качеством. В мировой практике наибольшее распространение получила система, основанная на международных стандартах серии ISO 9000, включающей десяток с лишним документов, в том числе стандарт, регламентирующий обеспечение качества ПО (ISO 9000/3). Эти стандарты должны служить руководством для ведущих специалистов компаний, разрабатывающих ПО на заказ.
Определения характеристик и субхарактеристик качества (ISO 9126-1)
Функциональные возможности — способность программного средства обеспечивать решение задач, удовлетворяющих сформулированные потребности заказчиков и пользователей при применении комплекса программ в заданных условиях.
Функциональная пригодность — набор и описания субхарактеристики и ее атрибутов, определяющие назначение, номенклатуру, основные, необходимые и достаточные функции программного средства, соответствующие техническому заданию и спецификациям требований заказчика или потенциального пользователя.
Правильность (корректность) — способность программного средства обеспечивать правильные или приемлемые для пользователя результаты и внешние эффекты.
Способность к взаимодействию — свойство программных средств и их компонентов взаимодействовать с одной или большим числом компонентов внутренней и внешней среды.
Защищенность — способность компонентов программного средства защищать программы и информацию от любых негативных воздействий.
Надежность — обеспечение комплексом программ достаточно низкой вероятности отказа в процессе функционирования программного средства в реальном времени.
Эффективность — свойства программного средства, обеспечивающие требуемую производительность решения функциональных задач, с учетом количества используемых вычислительных ресурсов в установленных условиях.
Практичность (применимость) — свойства программного средства, обусловливающие сложность его понимания, изучения и использования, а также привлекательность для квалифицированных пользователей при применении в указанных условиях.
Сопровождаемость — приспособленность программного средства к модификации и изменению конфигурации и функций.
Мобильность — подготовленность программного средства к переносу из одной аппаратно-операционной среды в другую.
| 02.2007 | ||
|
Источник: www.interface.ru Тема 1.2. Критерии оценки качества ПОКритерии качества представляют собой измеряемые числовые показатели, в виде некоторой целевой функции, характеризующие степень выполнения объектом своего назначения. В общем случае критерии качества должны отображать обобщенную «полезность» для общества, анализируемого объекта, эффективность технологии проектирования. ПС в первую очередь характеризуется трудоемкостью и длительностью создания, а также достигаемым качеством программ при применении соответствующих технологий. Анализ критерий качества ПС ЖЦ программы является основой для оценки эффективности технологии проектирования. В процессе формирования технического задания на ПС, выявляются доминирующие показатели, устанавливается относительная важность каждого из них и строится обобщенная функция требуемого качества конкретного ПС, кроме того устанавливаются допустимые затраты и длительность разработки программных средств, которые должна обеспечить соответствующая технология. По мере создания комплекса программ, после завершения отладки и испытаний, уточняется достигнутое реальное значение каждого из показателей и обобщенные функции качества всего комплекса. Показатели качества могут уточняться также в процессе эксплуатации. Разработчики ПС стремятся выделить и определить единый критерий эффективности программ: 1. Численнои в наиболее общем виде характеризоватьстепень выполнения системой своей основной целевой функции. 2. Позволятьвыявить и оценить степень влияния на эффективность системы различных факторов и параметров, и в том числе затрат различного вида на ее реализацию. 3. Бытьпростым и иметь малую дисперсию, т.е. мало зависеть от неконтролируемых, случайных факторов. Возможность реализации системы, удовлетворяющим некоторым критериям качества, естественно зависит от обеспечения ресурсами и техническими средствами, выполняющими основные функции. Высокая стоимость сложных систем, длительные сроки их проектирования и изготовления особенно остро ставят задачу оценки затрат, при которых та или иная эффективность достигается. Особенно сложно в комплексах программ, содержащих сотни модулей, обеспечить наилучшее использование ресурсов комплекса, с точки зрения основного критерия эффективности, при сохранении ряда частных показателей качества в допустимых пределах. Многочисленность и сложность путей использования программ требует их высокой устойчивости, как по отношению к ошибкам во входной инф-ции, так и по отношению к внутренним сбоям компьютера, выполняющего программу. Для обеспечения такой устойчивости сложные программы обычно содержат контрольные операции различного типа и имеют специальные модули адаптации и самоорганизации для изменения структуры программ. А в ряде случаев и всей системы управления при перезагрузках, сбоях и частичных отказах. Команды и данные входящие в программные модули не имеют абсолютной надежности правильного исполнения. Поэтому приходиться применять специальные аппаратные и программные повышения надежности выполнения программ для получения правильных результатов и управляющих воздействий. Показатели качества могут уточняться также в процессе эксплуатации, в результате чего обеспечивается долгосрочная перспектива объективного измерения и повышения качества программ. 1. Функциональные критериикачества отражают основную специфику применения и степень соответствия ПС их целевому назначению. Для программ управления в них входят показатели точности выходных данных, диапазоны изменения параметров, время реакции, адаптивность к внешним воздействиям и т.д. В системах обработки данных функциональные показатели отражают номенклатуру исходных данных, достоверность результатов, разнообразие функций и другое. Функциональные критерии весьма различны и соответствуют разнообразию целевого назначения, функций и областей применения ПС. Они являются важнейшими для каждой системы (перечень исходных документов — конкретно). 2. Конструктивные критериикачества ПС более или менее инвариантны к их целевому назначению и основным функциям. К ним относятся сложность программ, надежность функционирования, используемые ресурсы, корректность программ и т.п. Некоторые конструктивные критерии могут быть важны с позиции прямого функционального назначения, определяемых программными средствами (надежность). Разделение критериев на две группы условно и преследует цель выделения критериев наиболее общих для всех типов ПС и в наименьшей степени зависящих от их основного функционального назначения. Особо следует выделить временные показатели ЖЦ программ: 1. длительность проектирования 2. продолжительность эксплуатации очередной версии 3. длительность проведения каждой модификации Продолжительность и модификацияпроведения этих работ в ряде случаев может быть более важным критерием, чем трудоемкость. В некоторых случаях суммарная длительность эффективной эксплуатации является доминирующим критериемкачества ПС. Для каждой из разработок целесообразно проводить ранжирование (ранги) критериев и факторов на этапах ЖЦ ПС. Программное обеспечение(softwаrе)на данный момент составляет сотни тысяч программ, которые предназначены для обработки самой разнообразной информация с самыми различными целями. В зависимости от того, какие задачи выполняет то или иное программное обеспечение можно разделять все программное обеспечение на несколько групп: 1. Системное ПО (или Системные программы) – предназначено для эксплуатации и технического обслуживания ПК, управления и организации вычислительного процесса при решении любой конкретной задачи на ПК и т.д. Системное ПО обязательная часть ПО, к нему относятся Оболочки операционных систем. 2. Прикладное ПО (или пакеты прикладных программ) – предназначено для решения определенного класса задач, т.е. это программы, используемые как инструмент при создании документов в повседневной деятельности. Или программы, с помощью которых пользователь решает свои информационные задачи, не прибегая к программированию. К ним относятся: текстовые и графические редакторы системы управления базами данных (СУБД) обучающие и учебные программы мультимедиа и т.д. 3. Инструментальное ПО (или системы программирования) обеспечивают создание всех классов программ: системных, прикладных и новых систем программирования. Или Инструментальное ПО (или системы программирования) обеспечивает создание новых прикладных программ для компьютера. Это комплексы программ и прочих средств, предназначенных каждый для разработки и эксплуатации программ на конкретном языке программирования для конкретного вида ЭВМ. Системы программирования обычно включают некоторую версию языка программирования, транслятор программ и т.д. Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями: Источник: studopedia.ru Ковалевская Е.В. Метрология, качество и сертификация программного обеспечения
Московский международный институт эконометрики, информатики, финансов и права. – М. , 2002. – 69 с. Похожие разделы
Смотрите также Бондаренкова И.В. Метрология, стандартизация и сертификация
Учебно-методическое пособие / сост. И.В. Бондаренкова, Г.А. Кнодель, И.С. Ковчин, Г.А. Кондрашкова. — ГОУВПО СПб ГТУ РП. — СПб., 2009. — 68 с. Учебно-методическое пособие содержит необходимые теоретические сведения и задания для выполнения практических занятий по дисциплине «Метрология, стандартизация и сертификация». Предназначено для студентов, обучающихся по направлениям 220200 «Автоматизация и управление», 240100 «Химическая технология и би. Димов Ю.В. Метрология, стандартизация, сертификация практикум
Димов Ю. В. Метрология, стандартизация и сертификация (ПРАКТИКУМ): Учеб. пособие. — Иркутск: Изд-во ИрГТУ, 2005. — 274с. Включены задачи для практических аудиторных занятий и самостоятельной работы студентов, а также методические указания по их решению. Темы задач охватывают такие разделы дисциплины «Метрология, стандартизация и сертификация», как: взаимозаменяемость, метрология, технические измерения и управление качеством. Приведены методическ. Ефимова М.В. Метрология, стандартизация и сертификация
Петропавловск-Камчатский: КамчатГТУ, 2006. — 92 с. Учебное пособие разработано в соответствии с рабочей программой по дисциплине «Метрология, стандартизация и сертификация» на основании требований государственных образовательных стандартов высшего профессионального образования для студентов специальности 271000 «Технология рыбы и рыбных продуктов» и направления 552400 «Технология продуктов питания». Цель изучения дисциплины «Метрология, стандарти. Курилов П.Г., Нефедов В.А., Фаюстов А.А. Лекции по метрологии, стандартизации и сертификации
Учебное пособие для студентов спец. «Управление инновациями»- М.: ГУУ, 2007. — 84 с. Метрология. Основы метрологического обеспечения. Средства измерений. Погрешности измерений. Нормируемые метрологические характеристики средств измерений. Государственная метрологическая служба РФ. Основы взаимозаменяемости. Понятие о допусках и посадках. Основы стандартизации и технического регулирования. Нормативные документы по стандартизации и виды стандартов. Подборка книг по Стандартизация, сертификация и метрология
Подборка книг по стандартизация, сертификация, метрология Крылова. Стандартизация, сертификация и метрология Разинкин. Метрология. Конспект лекций Ривкина Е. В., ТЕОРЕТИЧЕСКИЕ ОСНОВЫ МЕТРОЛОГИИ Теория измерений Учебники. Стандартизация и сертификация Учебники. Стандартизация и сертификация Всё о метрологии Голосов. Физические основы измерений. Базовый учебно-методический комплекс Голубев. Измерения. Контроль. Качество. ГОСТ Р ИСО 5725 Димов. Метр. Разбор решения типовых задач
Метрология, стандартизация и сертификация. Расчет абсолютной и относительной погрешности, математическое ожидание. 27 примеров. Сергеев А.Г. Метрология
Сергеев А.Г., Латышев М.В., Терегеря В.В. Метрология, стандартизация, сертификация
Учебное пособие. М.: Логос, 2003. 536 с: ил Освещено научное, методическое и организационное обеспечение работ в области метрологии, стандартизации и сертификации. Рассмотрены методы и средства достижения требуемой точности и единства измерений, организации метрологического обеспечения производства, разработки и применения стандартов в практической деятельности инженеров и менеджеров. Особое внимание уделено вопросам подтверждения соответствия то. Шевелёва Г.И. Метрология, стандартизации и сертификация. Часть 2 — Сертификация
Учебный комплекс для студентов специальности 271200 «Технология продуктов общественного питания» заочной формы обучения / Кемеровский технологический институт пищевой промышленности. – Кемерово, 2003. – 90с. Настоящий учебный комплекс состоит из учебного пособия «Сертификация»,части 2 пособия «Метрология, стандартизации и сертификация»; рабочей программы; методических указаний по выполнению практических работ; методических указаний по самостоятел. Яковлев В.П. Нормативные и организационные основы метрологического обеспечения
Источник: www.studmed.ru |
||
