По аналогии с сущностями (запросами) в Jira, такими как Epic (Тема), Story (История), Task (Задача), Sub-Task (Подзадача), Bug (Ошибка) и т.п. в Xray используются такие сущности как Test (Тестовое задание), Precondition (Предусловие), Test Set (Набор тестовых заданий), Test Plan (Тест-план) Test Execution (План тестирования).
Иными словами расширение/плагин Xray дает возможность оперировать новыми сущностями в рамках имеющегося бизнес-процесса. Задачи организации тестирования могут находиться как в одном проекте, на одном уровне с задачами разработки и управления, так и в отдельном проекте созданным только для тестирования.
Примечание:
Благодаря тому, что Xray использует те же сущности что и Jira при создании объектов тестирования, доступна реализация механизмов рабочих процессов.
Управление процессом тестирования происходит через контроль за переходами статусов сущностей (запросов) тестовых объектов.
Как исправить — Прекращена работа программы «X-Ray 1.6 Engine» в S.T.A.L.K.E.R.: Зов Припяти
С помощью вызова пост-функций при достижении определенных статусов, можно настроить уведомления определенных заинтересованных лиц или генерировать подробные отчеты.
Описание и сфера применения каждого элемента
Test (Тестовый сценарий)
Последовательное описание действий взаимодействия с тестируемым приложением и ожидаемого результата, с целью проверки на соответствие определенному требованию.
Может быть как ручным так и автоматизированным.
Синонимы, часто используемые для обозначения: test case, test scenario, test template.
Pre-condition (Предварительное условие)
Условие, необходимое для выполнение тестового сценария. Предусловия являются самостоятельными сущностями и могут быть использованы для различных тестовых сценариев, тестовых прогонов.
В предусловия рекомендуется включать все действия, необходимые выполнить для прохождения проверок, но не относящихся к тестируемому функционалу.
Примеры предусловий: настройка окружения, приведение приложения в определенное состояние, авторизация (если проверки не касаются авторизации) и т.п.
Test Set (Тестовый набор)
Группа Тестовых сценариев, организованная каким-то логичным образом. Тест может принадлежать нескольким наборам тестов.
Наборы тестов — это простые плоские списки тестов, которые можно использовать в качестве основы для создания тестовых заданий или планов тестирования.
Тесты группируются любым удобным способом, например, по типу связанному с целью тестирования, таким как регрессионное или проверки на безопасность, или по отношению к компоненту программы или какого-либо высокоуровневого функционального / бизнес-случая. Тестовые наборы также могут использоваться в качестве динамического способа удовлетворения требований.
Синонимы, часто используемые для обозначения: test group, test suite
Test Plan (План тестирования)
«Формальный» план тестов, предназначенных для выполнения для данной версии.
Как устранить ошибку X-Ray Engine 1.6 в S.T.A.L.K.E.R.: Зов Припяти (Способ Рабочий 100%)
Тест план может включать описание всего объема работ по тестированию, начиная с описания объекта, стратегии, расписания, критериев начала и окончания тестирования, до необходимого в процессе работы оборудования, специальных знаний, а также оценки рисков с вариантами их разрешения.
Test Execution (План испытаний, Тестовый прогон)
Назначаемая «планируемая» задача для выполнения одного или нескольких тестов/ревизии вместе с ее результатами.
Результатом выполнения Тестового прогона является отчет о результате, включающий кол-во найденных/известных ошибок, кол-во положительно/отрицательно пройденных сценариев.
Позволяет отслеживать изменения качества выпускаемой версии во времени, более точно оценивать риски.
Синонимы, часто используемые для обозначения: test cycle
Test Runs (Тестовый прогон)
Связь между Планом тестирования и выполнением тестов называется тестовым прогоном. Следовательно, выполнение теста — это список тестовых прогонов.
Общее состояние выполнения, обновляемое по мере выполнения каждого теста, информирует вас о ходе выполнения теста, в том числе о том, какие тесты пройдены, не пройдены, выполняются или ожидают выполнения.
Выполнение тестового прогона может быть назначена конкретному тестировщику или группе.
Схема зависимости сущностей
Допустимо создание связи как между сущностями Xray так и между сущностями Xray и Jira.
Основы работы
Создание базовой сущности Xray
Вариант 1 — самостоятельная сущность:
Шаг 1. клик на кнопку «Создать» в меню.
Шаг 2. выбрать Сущность (Тип запроса) в раскрывающемся списке.
Вариант 2 — предок типового запроса Jira:
Шаг 1. Открыть задачу/эпик/баг.
Шаг 2. Клик «Create new Test» в разделе Test Coverage.
Обратите внимание, что в этом случае поля сущности Xray будут предзаполненные данными родительского запроса.
Дальнейшее заполнение/редактирование полей сущностей ничем не отличается от заполнения полей обычных задач в Jira.
Рекомендую придерживаться единых правил оформления на проекте.
Ниже рассмотрены конкретные примеры создания базовых объектов.
Пример создания Предусловия (Pre-Condition)
Шаг 1. Открыть окно Создания задачи как самостоятельной сущности или на базе запроса Jira (см. Создание базовой сущности Xray).
Шаг 2. Вкладка General – поля заполняются в соответствии с принятыми стандартами на проекте, рекомендуется:
- Заполнить обязательное поле «Наименование».
- Поле описание – не является обязательным и НЕ является шагами предусловия.
Шаг 3. Вкладка Pre-Condition Details:
- Выбрать Pre-Condition Type.
- В поле Conditions описать необходимые действия.
Шаг 4. Вкладка Tests:
- Добавить ссылки на Тест-кейсы для которых требуется выполнить Создаваемое предусловие.
- Возможны одиночное и групповое добавление ссылок.
Шаг 5. Нажать на кнопку «Создать».
Пример создания Manual Test (Ручного Тест-кейса)
Ручные тесты разделены на разделы «Ручные шаги». Каждый шаг состоит из 4-х полей (действие, данные, ожидаемый результат и вложения), причем действие является единственным обязательным, но рекомендуется заполнять и поле ожидаемый результат, шаги далее.
Шаг1. Открыть окно Создания задачи как самостоятельной сущности или на базе Запроса Jira (см. п. 1 Создание базовой сущности Xray).
Шаг 2. Вкладка General – поля заполняются в соответствии с принятыми стандартами на проекте, рекомендуется:
- Заполнить обязательное поле «Наименование».
- Поле описание – не является обязательным и НЕ является шагами тест-кейса.
Шаг 3. Вкладка Test Details:
- Выбрать Test Type — Manual.
- В поле Step – указать действие, которое должно быть воспроизведено тестером.
- В поле Expected Result – ожидаемый результат, получаемый в результате выполнения шага.
- В поле Data — любые данные, необходимые для выполнения шага.
- Добавить вложение — внешние файлы, которые предоставляют дополнительную информацию, относящуюся к соответствующему шагу, например screenshots.
- Для изменения последовательности шагов – достаточно «перетянуть» шаг на нужное место.
Шаг 4. На Вкладках Test Sets, Pre-Conditions и Test Plans при необходимости добавить ссылки на соответствующие сущности. Каждый Тест-кейс может принадлежать к нескольким Тестовым наборам и Планам тестирования, но не рекомендуется использовать несколько предусловий для одного тест-кейса.
Шаг 5. Вкладка Link Issues:
- Выбрать тип связи.
- Добавить ссылки на задачи – в рамках которых разрабатывался тестируемый функционал. При создании тест-кейса на базе существующей задачи – поле Link Issues заполнится автоматически, Тип связи – tests, при этом задачи связанные с родительской задачи не учитываются.
Шаг 6. Нажать на кнопку Создать.
Пример создания Test Set (Тестовый набор)
Шаг 1. Открыть окно Создания задачи как самостоятельной сущности или на базе Запроса Jira (см. п. 1 Создание базовой сущности Xray).
Шаг 2. Вкладка General – поля заполняются в соответствии с принятыми стандартами на проекте, рекомендуется:
- Заполнить обязательное поле «Наименование».
- Поле описание – не является обязательным.
- Добавить ссылки на тест-кейсы, необходимые выполнить в рамках данного тестового прогона и тест-план, тест-кейсы можно удалять/добавлять в набор после создания.
Шаг 3. Нажать на кнопку «Создать»
Пример создания Test Execution (Тестового прогона).
Шаг 1. Открыть окно Создания задачи как самостоятельной сущности или на базе Запроса Jira (см. п. 1 Создание базовой сущности Xray)
Шаг 2. Вкладка General – поля заполняются в соответствии с принятыми стандартами на проекте, рекомендуется:
- Заполнить обязательное поле «Наименование».
- Поле описание – не является обязательным.
- Заполнить поля, согласно договоренностям оформления на проекте.
- Добавить ссылки на тест-кейсы, необходимые выполнить в рамках данного тестового прогона и тест-план. До того как тестовый прогон будет закрыт эти сущности можно будет удалять/добавлять в набор.
Шаг 4. Нажать «Сохранить».
Структура хранения или еще один способ создать Test Execution (Test Runs)
Для структурирования тест-кейсов доступно использовать:
- Все поля и параметры, настроенные в проекте.
- Объединение тест-кейсов в тестовые наборы.
- Использовать структуру вложенных папок.
Для добавление тестовых кейсов в Test Plan (План тестирования) или Test Execution (План испытаний, Тестовый прогон) достаточно:
- Шаг 1. перейти на вкладку Xray Test Repository.
- Шаг 2. выбрать все или несколько тест-кейсов из папки (кликом по наименованию в правой части экрана на вкладке Xray Test Repository).
Можно выбирать ТК вручную, но удобнее пользоваться фильтрами на основании заполненных полей.
Шаг 3. Выбрать в контекстном меню необходимое действие для Создания/добавления выбранных тест-кейсов.
Выполнение тестового прогона
Пример выполнения мануальных тестов в рамках выполнения тестового прогона.
Тестовый запуск — это внутренний экземпляр сценария тестирования, который используется для проверки конкретной версии исходного кода / SUT в конкретной среде. Различные тестовые прогоны позволяют легко обнаруживать дефекты кода, которые могут привести к сбоям системы.
Тестовые прогоны могут отображаться на определенных панелях, например, в «Выполнении теста» (тестовый прогон для каждого теста) или на экране выпуска теста (история предыдущих прогонов для этого теста).
При выполнении встроенных тестов статус ручных шагов должен быть изменен. Применяются следующие правила:
- PASS. Тест прошел успешно, в результате произведенных в шагах действий был достигнут.
- FAIL. Один из шагов «упал» с ошибкой (рекомендуется всегда указывать ссылку на ошибку).
- TO-DO. Не взят в работу.
- EXECUTING. В процессе выполнения.
- ABORTED. Проверку блокирует ошибка (рекомендуется всегда указывать ссылку на ошибку).
Чтобы указать пометку о выполнении тест-кейса следует:
- Шаг 1: Откройте тестовый выпуск, который вы хотите запустить.
- Шаг 2: Нажмите «Состояние» в столбце «Состояние» таблицы «Выполнения теста» и выберите один из доступных статусов.
Для формирования корректного отчета следует отмечать Запрос Jira (Bug), который «афектит» прохождение теста. В случае обнаружение ошибки в процессе выполнения теста можно создать Зарос (Bug) с экранной формы выполнения теста. Для этого следует выполнить шаги:
- Шаг 1. Перейти к Деталям проверки (изображение выше — первый пункт).
- Шаг 2. В поле «Execution Defects» выбрать «Create Defect».
Результаты проведенных проверок будут сохранены и доступны в разделе Плагины > Test Executions. По умолчанию отображаются плоские горизонтальные диаграммы.
Анализ результатов
Чтобы проанализировать состояние вашего текущего или прошлого выпусков, вам необходимо оценить состояние требований и других затронутых проблем с учетом соответствующих результатов.
С использованием встроенных отчетов или настройки собственных можно проанализировать только требования текущей версии, или из более ранних версий на основе вашего регрессионного тестирования.
Отчет о покрытии тестов предоставляет средства для анализа ваших статусов требований в режиме реального времени.
Как пользоваться
Отчет об испытании — этот отчет доступен либо с помощью значка Xray на левой боковой панели проекта в Jira, либо с помощью стандартного значка «Отчеты», который включает другие виды отчетов, кроме Xray.
В верхней части отчета есть несколько параметров, которые необходимо настроить:
- Анализ и сфера применения (Analysis Scope)
В крайнем левом поле определяется стратегия анализа, т.е. способ анализа выбранных/отфильтрованных требований.Сначала выбирается версия или план тестирования, а затем его можно дополнить тестовой средой.
Если выбран анализ по версии, то учитываются последние результаты выполнения тестов для указанной версии. Если выбран План тестирования, при расчете статуса, требования учитываются только выполнения теста (и результаты), связанные с данным планом тестирования. Если указана тестовая среда то будут рассматриваться только те прогоны (выполнения проверок), которые выполнялись в указанной среде.
Параметр: Группировать по (Group By)
Для визуального отображения графика доступна группировка требований по приоритету, компоненту или другим полям, чтобы анализировать требования.
Пример
Каждая полоса на диаграмме представляет группу требований с различным значением, указанным в поле Group By. Внутри каждого столбца собраны требования, сгруппированные по статусу покрытия: ОК, NoОК, Not Run (не пройдено), UnKnown (неизвестно) и UnCovered (Не определено).
Поскольку это нормализованный график, бары всегда имеют ширину 100%.
Таблица требований общего покрытия является интерактивной. При наведении курсора на каждую полосу отображается небольшое всплывающее окно с информацией о конкретной серии (Состояние, Поле группировки и Процент). Вы можете отключить определенную серию, щелкнув ее в легенде серии.
Диаграмма также поддерживает детализацию. Когда выбран раздел, под диаграммой появляется таблица с вопросами Требования.
Для каждого вопроса «Требования» в таблице приведены следующие показатели:
- Всего тестов. Общее количество связанных тестов.
- Пройдено. Общее количество пройденных тестов (т.е. тех, чей статус сопоставлен со статусом покрытия тестов «ОК»).
- Failed. Общее количество неудачных тестов (то есть тех, чей статус сопоставлен со статусом покрытия теста «NOK»).
- Другое. Общее количество тестов, чей текущий статус сопоставлен со статусами покрытия тестов «Не выполнено» или «Неизвестно».
Он также содержит столбец с индикатором выполнения, который показывает полноту каждой проблемы.
Некоторые значения могут содержать ссылку, поэтому вы можете быть.
Источник: dikiy-petr.livejournal.com
AWS X-Ray
Отслеживание запросов пользователей через ваше приложение при соблюдении безопасности и нормативных требований.
Выявление узких мест и определение причин возникновения высоких задержек для повышения производительности приложения.
Устранение изолированности хранилищ данных и получение информации, необходимой для улучшения качества обслуживания пользователей и сокращения времени простоя.
Отладка бессерверных приложений в режиме реального времени и мониторинг показателей стоимости и производительности облака.
Как это работает
AWS X-Ray обеспечивает качественное отображение запросов по мере их обработки в приложении, а также фильтрует визуальные данные по полезным нагрузкам, функциям, маршрутам, сервисам, API и многим другим параметрам без написания кода или с минимальным его использованием.
Нажмите для увеличения
Примеры использования
Анализ и отладка приложений
Получайте данные трассировок от простых и сложных приложений как на этапе разработки, так и на этапе эксплуатации.
Создание подробной карты сервиса
Компилируйте данные, полученные от ресурсов AWS, чтобы выявлять узкие места в облачной архитектуре и повышать производительность приложений.
Просмотр анализа эффективности
Сравнивайте комплекты трассировок с различными условиями для анализа первопричин.
Безопасный аудит данных
Настройте X-Ray в соответствии со своими целями в отношении безопасности и соответствия нормативным требованиям.
Источник: aws.amazon.com
X-Ray (игровой движок)
Движок был представлен общественности ещё в 2001 году. Изначально он был ориентирован на DirectX 8, но впоследствии многократно дорабатывался, чтобы соответствовать своему времени. Таким образом в нём появилась поддержка DirectX 9, а с выходом S.T.A.L.K.E.R.: Чистое небо добавился и DirectX 10. После выхода патча 1.5.07 для S.T.A.L.K.E.R.: Чистое небо в игре появилась поддержка DirectX 10.1. В S.T.A.L.K.E.R.: Зов Припяти в движке появилась поддержка DirectX 11.
Над графической частью движка в основном работали программисты Олесь Шишковцов и Александр Максимчук [1] (они же работали в 4A Games над проектом Metro 2033 по одноимённой книге Дмитрия Глуховского [2] ).
Скриншот из игры S.T.A.L.K.E.R.: Shadow of Chernobyl, первоначальная версия движка. На земле и кирпичной стене дома можно увидеть сложные мягкие тени.
Источник: wiki2.org