Наряду с аналитическими методами для исследования и оценки параметров программ активно используются измерительные методы. Привлекательной стороной этих методов является их высокая достоверность. Поэтому они применяются для проверки имитационных и аналитических методов оценки характеристик программ по принципу: практика – лучший критерий истины.
В целом измерительные методы имеют следующее назначение:
1) Измерение параметров потребления программами ресурсов вычислительной системы с целью устранения дефектов производительности.
2) Предварительное измерение параметров системы для имитационных или аналитических моделей программ перед их последующим использованием. Это связано со сложностью оценки параметров моделей, особенно при использовании новых системных средств с неизвестными динамическими параметрами (например устройств ввода-вывода, нового процессора с не вполне известными характеристиками и т.п.).
3) Проверка адекватности имитационных или аналитических моделей и методов расчета характеристик выполнения программ по результатам моделирования.
2. Измерительные шкалы
Необходимые условия применения измерительных методов:
1) Наличие готовой программы, подлежащей измерительному исследованию;
2) Наличие реальной вычислительной системы (а не её модели) для прогона программы;
3) Наличие аппаратных или программных средств проведения измерений;
4) Создание условий снижения искажений, вносимых в функционирование системы в процессе проведения измерений, до приемлемого уровня.
Общая схема проведения измерений показана на рис.4.
Представленная на рис.4 схема измерений включает следующие компоненты:
1) Исследуемую ВС с установленными программами.
2) Средства регистрации параметров потребляемых ресурсов при выполнении данной рабочей нагрузки.
3) Архив для хранения результатов многочисленных измерений.
4) Результаты измерений обрабатываются некоторой ВС (отдельная ВС или та же, на которой снимались измерения, но после выполнения сеанса измерений.).
5) Рабочая нагрузка — одна или несколько программ или наборов данных для получения статистики проводимых измерений.
Процесс измерения подготовки и проведения измерений включает следующие три этапа:
1) Выбор рабочей нагрузки представительной с точки зрения исследования параметров выполнения программы на исследуемой системе.
2) Выбор (разработка) средств регистрации параметров потребления ресурсов системы.
3) Выбор (разработка) алгоритмов расчетов характеристик программ по результатам измерений.
Все эти три этапа увязываются в единое целое в зависимости от того, какой проводится эксперимент и как он планируется.
Существует два основных способа регистрации измеряемых параметров:
При трассирующем способе измеряемые параметры фиксируются в момент наступления какого-либо события, связанного с изменением управляющих таблиц операционной системы. В результате получаем множество значений ri потребления i — го ресурса, взятых в моменты времени наступления j-го события.
В качестве событий обычно рассматриваются обращения к некоторым операторам программы, программным модулям, наборам данных или устройствам системы.
Если рассматривается емкостная нагрузка — то берутся наборы данных, а если временная нагрузка — то выбираются обращения к программным компонентам.
Вторая группа событий — прерывания процессора как внутренние, так и внешние, наступаю-щие при обмене данными с внешними устройствами.
При выборочном способе измерения производятся в моменты времени tj, обычно равноудаленные друг от друга.
Трассирующий метод характеризуется меньшим количеством измерений параметров и сильной зависимостью от конкретной рабочей нагрузки.
Выборочный метод имеет на 1-2 порядка большее число измерений параметров в связи со статистическими методами последующей обработки результатов измерений.
Выборочный способ применяется потому, что регистрация событий — дело довольно сложное, но для того, чтобы не пропустить момент наступления события, измерения надо производить часто (через малые промежутки времени) и, как следствие, приходится брать много лишних отсчетов измеряемой величины, поэтому количество измерений возрастает.
Достоинства выборочного способа — более простой, т.к. не надо регистрировать наступление событий.
Средства обеспечивающие регистрацию измерений параметров называются измерительными мониторами.
К измерительным мониторам предъявляются следующие требования:
1) Минимальные искажения в системе при выполнении программы.
Искажения бывают двух типов:
— временные искажения — искажения связанные с рассогласованием реального времени наступления события и временем регистрации параметра монитором;
— пространственные искажения — сам монитор и собираемые им данные занимают место в памяти ЭВМ и препятствуют размещению объектов программы).
2) Достаточная точность измерений.
3) Достаточно высокая разрешающая способность (по интервалам времени фиксации событий).
4) Независимость от измеряемой системы (программы).
5) Низкая стоимость (Чтобы не отпугивать пользователей.)
6) Простота использования.
Классификация измерительных мониторов.
Общую схему классификации измерительных мониторов можно представить в виде, пока-занном на рис.5.
Обычно с помощью измерительных мониторов получают следующие типы характеристик:
1. Трассировочная запись — множество пар i; tj > значений, где:
ri — некоторое i-ый параметр потребления ресурсов системы;
tj — интервал времени между предыдущим и текущим регистрируемым событием, либо момент регистрации.
Трассировочная запись является наиболее полной характеристикой поведения анализируемой программы и может содержать 10-ки тысяч записей. Её достоинством также является хронология последовательности выполнения программы.
2. Профиль (динамический) выполнения программы.
Они делятся на две группы:
Частотные профили определяют количественное распределение потребления рассматриваемых ресурсных параметров.
Временные профили задают распределение времён потребления ресурсов в абсолютном или относительных масштабах.
Достоинства профилей — позволяют выявлять узкие места выполнения программ в монопольном режиме. В дальнейшем можно улучшить эти участки программы изменением алгоритма или заменой программных действий аппаратными.
Недостаток профиля — не содержит хронологии потребления ресурсов программой и поэтому не позволяет проводить анализ для конвейерных систем и взаимодействующих процессов.
Общий недостаток трассировочных записей и снятия профилей — зависимость от рабочей нагрузки. Профиль более универсален, т.к. трассировочные записи вообще не содержат статистики.
Примеры частотного и временного профилей распределения арифметических команд некоторого процессора приведены в табл.9
| Выполняемые операции. | Частотный профиль | Временной профиль | |
| абсолютный | Относител. | ||
| Сложение с фикс.запятой | 514 раз | 0,5 мс | 4,46 % |
| Умножение с фикс.запятой | 72 раз | 1,4 мс | 12,50 % |
| Вычитание, сравнение | 256 раз | 0,3 мс | 2,68 % |
| Деление | 14 раз | 2,0 мс | 17,86 % |
| Операции с плав. Запятой | 78 раз | 7,0 мс | 62,50 % |
3. Смеси (динамические) (команд/программ).
Позволяют оценивать для различных совокупностей команд или программ частотные распределения использования ресурсов системы. Для различных программ можно составлять различные смеси (смеси вычислительных задач, смеси для диалоговых сценариев, смеси для графических систем и т.п.). Смеси имеют меньшую зависимость от конкретных программ и предметную ориентированность. Позволяют анализировать производительность ВС в целом.
4. Коэффициенты загрузки позволяют оценить загруженность некоторого ресурса при выполнении программы как отношение времени использования ресурса к общему времени исполнения программы Кз = Тисп/Тобщ.
Аппаратные измерительные мониторы (АИМ).
АИМ подразделяются на встроенные и автономные.
Встроенные АИМ — включаются в аппаратуру системы заводом изготовителем, как правило, для выполнения тестовых измерений в фиксированном наборе внутренних точек устройств системы.
Основное назначение встроенного АИМ — для проверки, контроля и настройки ВС. Но т.к. в его составе могут находиться триггеры состояний схемы, счетчики и некоторые другие устройства, то они могут использоваться и ддя измерения параметров программ.
Автономные АИМ подключаются к измерительным точкам извне системы через специальные разъемы и могут задавать любые точки доступные для измерений. Автономные АИМ наиболее общий случай.
Рассмотрим структурную схему автономного АИМ, показанную на рис.6.
Зонд — высокоомный датчик сигналов, не влияющий на функционирование системы.
Фильтр событий – устройство, вырабатывающее сигнал истинности, при наступлении какого-либо события. Может содержать аналоговые компараторы для сравнения уровней сигналов с заданными границами, цифровые компараторы для сравнения кодов, простейшие автоматы типа детекторов последовательностей команд или адресов памяти (2-3 команды или адреса, повторяющиеся друг за другом могут служить признаком наступления события).
Регистратор — набор счетчиков, осуществляющих фиксацию и первичное сжатие результатов измерений.
Часы реального времени — служат для регистрации моментов наступления событий или длительностей интервалов времени между событиями.
Пример АИМ с фиксированной программой и последовательным входом (рис.7) для измерения коэффициента загрузки процессора или другого ресурса по формуле
Пример АИМ с фиксированной программой и параллельным входом для снятия частотного профиля операций процессора, используемых при выполнении программы.
Каждому коду операции процессора ставится в соответствие ячейка таблицы, размещаемой в памяти прямого доступа (ППД), подключаемой в инкрементном режиме. За одно обращение к ячейке ППД с заданным алресом читается ее содержимое, инкрементируется и возвращается в ту же ячейку. Смещение адреса ячейки задается выходом фильтра событий, фиксирующего операцию исполняемой команды программы. В результате ячейки таблицы работают как счетчики количества использования каждой операции процессора и формируют частотный профиль программы.
АИМ неудобны тем, что легко регистрируют события в аппаратных средствах, но менее ориентированы на измерения параметров, характеризующих выполнение программ. Более гибкими являются измерительные средства, в которых программно фиксируются события, а аппаратным способом осуществляется регистрация параметров при их наступ-лении — такой принцип работы заложен в гибридных измерительных мониторах (ГИМ).
Пример ГИМ для оценки распределения частот использования нерезидентных и резидентных модулей программы (например, при настройке конфигурации ОС) показан на рис.8. При ограниченном ресурсе основной памяти часть модулей резидентно располагается в памяти с произвольным доступом RAM, другие же модули загружаются в память по мере необходимости из дисковой памяти и после их использования память очищается. Так как нерезидентные модули загружаются в свободные сегменты памяти, их размещение может быть произвольным и поэтому на основе фиксации участков памяти, используемых ЭВМ в данный момент, трудно определить, какой модуль занимает процессорное время в данный момент (за исключением резидентных модулей).
Место загрузки нерезидентного модуля в RAM можно выяснить из управляющих таблиц ОС измеряемой ЭВМ — но для этого надо использовать дополнительную измери-тельную ЭВМ, которая может программно получить доступ к управляющим таблицам ОС измеряемой ЭВМ и соответствующим образом настроить компараторы фильтра событий.
На рис.8 показаны:
— RAM — память с произвольным доступом; управляющие таблицы ОС хранят адреса загрузки и размеры модулей программы в RAM;
— Контроллер диска с триггером состояния «занято» позволяет фиксировать моменты выполнения операций чтения — записи информации на диск, изменяющих размещение нерезидентных модулей;
— Фильтр событий (включающий счетчики и компараторы с уставками адресов размещения модулей), управляемый измерительной ЭВМ, позволяет отслеживать, с какими модулями работает программа и как часто к ним идет обращение;
— Через ШВВ (шину ввода — вывода) измерительная ЭВМ связана с управляющими таблицами RAM измеряемой ЭВМ, что позволяет ей определять, какой модуль программы размещен в заданных адресах ОЗУ.
Гибридные измерительные мониторы сочетают достоинства аппаратных и программных мониторов, но являются более специализированными, чем программные, и дорогими.
Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями:
Источник: studopedia.ru
Лекция 1 МДК 03.02 ИСиП. МДК 03.02. Лекция 1. Лекция Измерительные методы оценки программ
Единственный в мире Музей Смайликов
Самая яркая достопримечательность Крыма
Скачать 40.37 Kb.
Измерительные методы оценки программ:
назначение, условия применения.
Наряду с аналитическими методами для исследования и оценки параметров программ активно используются измерительные методы. Привлекательной стороной этих методов является их высокая достоверность. Поэтому они применяются для проверки имитационных и аналитических методов оценки характеристик программ по принципу: практика – лучший критерий истины.
В целом измерительные методы имеют следующее назначение:
1) Измерение параметров потребления программами ресурсов вычислительной системы с целью устранения дефектов производительности.
2) Предварительное измерение параметров системы для имитационных или аналитических моделей программ перед их последующим использованием. Это связано со сложностью оценки параметров моделей, особенно при использовании новых системных средств с неизвестными динамическими параметрами (например, устройств ввода-вывода, нового процессора с не вполне известными характеристиками и т.п.).
3) Проверка адекватности имитационных или аналитических моделей и методов расчета характеристик выполнения программ по результатам моделирования.
Необходимые условия применения измерительных методов:
1) Наличие готовой программы, подлежащей измерительному исследованию;
2) Наличие реальной вычислительной системы (а не её модели) для прогона программы;
3) Наличие аппаратных или программных средств проведения измерений;
4) Создание условий снижения искажений, вносимых в функционирование системы в процессе проведения измерений, до приемлемого уровня.
Общая схема проведения измерений показана на рис.4.
Рис.4
Представленная на рис.4 схема измерений включает следующие компоненты:
1) Исследуемую ВС с установленными программами.
2) Средства регистрации параметров потребляемых ресурсов при выполнении данной рабочей нагрузки.
3) Архив для хранения результатов многочисленных измерений.
4) Результаты измерений обрабатываются некоторой ВС (отдельная ВС или та же, на которой снимались измерения, но после выполнения сеанса измерений.).
5) Рабочая нагрузка — одна или несколько программ или наборов данных для получения статистики проводимых измерений.
Процесс измерения подготовки и проведения измерений включает следующие три этапа:
1) Выбор рабочей нагрузки представительной с точки зрения исследования параметров выполнения программы на исследуемой системе.
2) Выбор (разработка) средств регистрации параметров потребления ресурсов системы.
3) Выбор (разработка) алгоритмов расчетов характеристик программ по результатам измерений.
Все эти три этапа увязываются в единое целое в зависимости от того, какой проводится эксперимент и как он планируется.
Существует два основных способа регистрации измеряемых параметров:
При трассирующем способе измеряемые параметры фиксируются в момент наступления какого-либо события, связанного с изменением управляющих таблиц операционной системы.
При выборочном способе измерения производятся в моменты времени tj, обычно равноудаленные друг от друга.
Трассирующий метод характеризуется меньшим количеством измерений параметров и сильной зависимостью от конкретной рабочей нагрузки.
Выборочный метод имеет на 1-2 порядка большее число измерений параметров в связи со статистическими методами последующей обработки результатов измерений.
Выборочный способ применяется потому, что регистрация событий — дело довольно сложное, но для того, чтобы не пропустить момент наступления события, измерения надо производить часто (через малые промежутки времени) и, как следствие, приходится брать много лишних отсчетов измеряемой величины, поэтому количество измерений возрастает.
Достоинства выборочного способа — более простой, т.к. не надо регистрировать наступление событий.
Средства обеспечивающие регистрацию измерений параметров называются измерительными мониторами.
К измерительным мониторам предъявляются следующие требования:
1) Минимальные искажения в системе при выполнении программы.
Искажения бывают двух типов:
— временные искажения — искажения связанные с рассогласованием реального времени наступления события и временем регистрации параметра монитором;
— пространственные искажения — сам монитор и собираемые им данные занимают место в памяти ЭВМ и препятствуют размещению объектов программы).
2) Достаточная точность измерений.
3) Достаточно высокая разрешающая способность (по интервалам времени фиксации событий).
4) Независимость от измеряемой системы (программы).
5) Низкая стоимость (Чтобы не отпугивать пользователей.)
6) Простота использования.
Классификация измерительных мониторов.
Общую схему классификации измерительных мониторов можно представить в виде, показанном на рис.5.
Источник: topuch.com
Измерение и оценка характеристик качества по
Цель работы: Оптимизация программ (процесс замены имеющихся операторов на более быстро работающие, различные способы реализации вычислений).
Краткие теоретические сведения и методические указания к выполнению работы
Процессы разработки, приобретения и внедрения сложных систем, к которым относятся в частности программные комплексы, должны находиться под жестким управленческим контролем. В настоящее время практически во всех организациях обеспечивается контроль важнейших характеристик, связанных с производством и использованием программных продуктов, таких как время, финансовые средства, ресурсы и т.п.
Однако в большинстве случаев вне пределов сферы контроля оказывается наиболее важная характеристика программных продуктов, ради которой, собственно и осуществляются затраты времени, финансовых средств и ресурсов – это качество продукта, поскольку невозможно контролировать то, что нельзя измерить (You cannot control what you cannot measure). Отсутствие возможности установки полного контроля вызывает рост количества необоснованных решений, увеличивает финансовые и проектные риски, связанные с разработкой и внедрением систем. Однако в настоящее время уже существуют организации, в которых накоплен достаточно большой опыт использования метрик в управлении качеством разрабатываемых и внедряемых программных продуктов. Использование апробированных подходов в управлении качеством разработки и внедрения крупных программных систем значительно повышает предсказуемость проектов, снижает финансовые и ресурсные издержки. Сейчас существует несколько определений качества, которые в целом совместимы друг с другом. К числу наиболее распространенных относятся:
Определение 1 (ISO): Качество – это полнота свойств и характеристик продукта, процесса или услуги, которые обеспечивают способность удовлетворять заявленным или подразумеваемым потребностям.
Определение 2 (IEEE): Качество программного обеспечения – это степень, в которой оно обладает требуемой комбинацией свойств.
Анализ всех составляющих качества должен проводиться с учетом сфер ответственности заинтересованных сторон, как внутренних участников исполняемого процесса (in-process stakeholder), так и пользователей процесса (end-of-process stakeholders).
Очевидно, что управление качеством требует контроля всех измерений и оценок качества в жизненном цикле ПС (рис.1).
Измерение и оценка характеристик качества ПО
Программное обеспечение, в зависимости от особенностей разработки и применения, может представлять программу, программный комплекс, программное средство или программный продукт (изделие). Введем и будем в дальнейшем использовать следующие определения.
Качество программного обеспечения – это совокупность свойств, характеризующих способность программного обеспечения удовлетворять потребностям пользователя в соответствии с предназначением.
Рис.1. Анализ Измерения и оценки качества в контуре управления качеством.
Управление качеством – это система организационных, экономических, технологических и правовых мероприятий, осуществляемых для удовлетворения требований к качеству программного обеспечения в течение жизненного цикла.
Свойства программы – это особенности, объективно присущие программе, которые проявляются в ее жизненном цикле (разработке, применении, сопровождении).
Характеристика программы – это понятие, отражающее проявление отдельного измеримого фактора присущего программе свойства. Иначе говоря, характеристика – это проявляемый и измеримый атрибут свойства.
Измерение (оценка) одной или нескольких характеристик программы дает представление о том, насколько программе присуще то или иное свойство.
Каждому свойству соответствует одна или несколько характеристик программного обеспечения.
Для решения задачи количественной оценки характеристик программного обеспечения необходимо наличие системы измерений и методов оценки.
Система измерений характеристик программного обеспечения – это совокупность измеряемых характеристик, единиц измерения, измерительных шкал и связей, установленных между ними. Если между измеряемыми характеристиками установлены иерархические связи, систему измерений называют иерархической, в противном случае – одноранговой.
Измерительная шкала устанавливает границы (диапазон) и точность измерений характеристик свойств в установленных единицах.
Результаты измерений в избранной измерительной шкале позволяют обнаружить сходство и различие в свойствах программного обеспечения с целью последующей оценки и классификации. Применительно к ПО используют главным образом следующие известные виды измерительных шкал: номинальные (категорийные), порядковые, интервальные.
Номинальная (категорийная) шкала фиксирует наличие или отсутствие некоторой характеристики свойства без учета градаций и позволяет классифицировать программы по этому принципу.
Порядковая шкала фиксирует отношение порядка и позволяет ранжировать программы относительно некоторого опорного значения характеристик свойств.
Интервальная шкала фиксирует не только отношение порядка, но и величину, отличающую одно значение характеристики от другого (интервал между значениями).
Методы оценки характеристик программного обеспечения делят на следующие шесть групп: измерительные, регистрационные, органолептические, расчетные, экспертные, социологические, традиционные.
Измерительные методы основаны на получении информации о характеристиках программного обеспечения с использованием специальных инструментальных средств (технических или программных средств, обеспечивающих проведение измерений и их автоматизацию).
Регистрационные методы основаны на получении информации о характеристиках программного обеспечения во время испытаний или функционирования путем регистрации и подсчета определенных событий (например, моментов и количества ошибок, времени начала и окончания расчетов и т.д.), регистрируемых извне программы с помощью средств измерений общего назначения.
Органолептические методы основаны на получении информации о характеристиках программного обеспечения путем их восприятия органами чувств – в первую очередь зрения, слуха и осязания.
Расчетные методы основаны на получении информации о характеристиках программного обеспечения за счет использования теоретических или эмпирических зависимостей.
Экспертные методы используют опыт экспертов-специалистов, компетентных в оценке характеристик программного обеспечения.
Социологические методы используют обработку специальных анкет-опросников, содержащих качественные оценки характеристик программного обеспечения социальными группами, имеющими отношение к применению программного обеспечения.
Традиционные методы объединяют группу сформировавшихся и традиционно используемых в организациях, на предприятиях и иных учреждениях методов количественной оценки характеристик программного обеспечения.
Проявляемые свойства программного обеспечения условно можно разделить на две группы (рис. 1): функциональные (внешние), конструктивные (внутренние).
Для разработчиков и пользователей программы представляют интерес определенные функциональные и конструктивные свойства, (например, надежность, эффективность, модульность, структурность). Как правило, пользователя (заказчика) интересуют те функциональные свойства, которые характеризуют полезность программного обеспечения. Именно эти внешние свойства, отражающие точку зрения пользователя, обуславливают качество программного обеспечения, то есть являются его факторами (рис. 2). Заметим, что для разработчиков представляют интерес не только внешние, но и внутренние, или конструктивные свойства, от которых зависит выполнение требований к программному обеспечению и восприятие его пользователем.
Характеристики качества отражают свойства, определяющие качество программного обеспечения. В силу сложной природы количественной оценки характеристик качества программного обеспечения для их оценки используют иерархические системы измерений. Иерархию характеристик качества образуют факторы, критерии, метрики и оценочные элементы (рис.3). Факторы и критерии, составляющие два верхних уровня иерархии измерений, отражают функциональные характеристики программного обеспечения, а нижние (метрики и оценочные элементы) – конструктивные характеристики, от которых зависит качество программного обеспечения. Измеримость характеристик качества обеспечивается составом характеристик самого нижнего уровня – оценочных элементов.
Фактором качества будем называть свойство, в той или иной степени обуславливающее качество программного обеспечения. При оценке качества учитывают несколько факторов. Для получения численной оценки фактора качества используют один или несколько критериев качества.
Критерий качества – это понятие, признак или численный показатель, характеризующий оцениваемый фактор качества. Критерий качества может быть представлен имеющим физический смысл вычислимым выражением, составленным из характеристик качества, значением которого является показатель качества. Для вычисления значения критерия используют одну или несколько метрик.
Метрика– мера количественной оценки качества ПО по заданному критерию, система или способ измерений качества программного обеспечения. Метрика содержит один или несколько оценочных элементов.
Оценочный элемент – измеримая характеристика программного обеспечения, имеющая численное значение в избранной измерительной шкале.
Показатель качества – численное значение критерия качества, определяющее степень, в которой программе присуще определенное критерием свойство. В соответствии с ГОСТ 15467-79 под показателем качества следует понимать количественную характеристику одного или нескольких свойств программной продукции, составляющих ее качество применительно к определенным условиям ее создания и эксплуатации.
Комплексный показатель качества – показатель качества, значение которого получают в результате композиции значений других, в том числе комплексных показателей. Таким образом, качество ПС многомерное понятие.
Базовое значение показателя качества – это реально достижимое значение показателя, отражающее современный уровень развития программного обеспечения.
Совокупность операций, включающих выбор номенклатуры (состава) показателей качества, определения значений этих показателей и сравнения их с базовыми значениями, называют оценкой качества программного обеспечения.
Процесс определения соответствия программного обеспечения действующему стандарту качества называют сертификацией.Процесс определения соответствия программного обеспечения предназначению называют верификацией.Процесс подтверждения функциональной пригодности программного обеспечения называют аттестацией.
Очевидно, что сертификация, верификация и аттестация программного обеспечения не исключают, а предполагают проведение количественных оценок характеристик программ.
Учитывая, что по определению программное обеспечение состоит не только из программ, но и документации к ним, одной из задач оценки качества ПО является измерение и оценка характеристик программных и эксплуатационных документов.
Статьи к прочтению:
- Измерение количества информации, единицы измерения информации
- Изображения в html-документе
Специальная оценка условий труда Казань. Измерение микроклимата
Похожие статьи:
- Стандартная оценка значений показателей качества Оценка качества ПО согласно четырехуровневой модели качества начинается с нижнего уровня иерархии, т.е. с самого элементарного свойства оцениваемого…
- Тема лабораторной работы: оценка качества программного обеспечения ЛАБОРАТОРНАЯ РАБОТА №5 Процесс оценки качества программного обеспечения осуществляется для каждой фазы его жизненного цикла и включает: • выбор…
Источник: csaa.ru