A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
Cancel Create
QA-Diploma / docs / Report.md
- Go to file T
- Go to line L
- Copy path
- Copy permalink
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Cannot retrieve contributors at this time
26 lines (18 sloc) 2.16 KB
- Open with Desktop
- View raw
- Copy raw contents Copy raw contents Copy raw contents
Copy raw contents
Отчет о проведенном тестировании
Было проведено тестирование комплексного сервиса, взаимодействующего с СУБД и API Банка.
Приложение представляет собой веб-сервис, который предоставляет возможность купить тур по определённой цене с помощью двух способов:
- Обычная оплата по дебетовой карте
- Уникальная технология: выдача кредита по данным банковской карты
На начальном этапе было проведено исследовательское (ручное) тестирование для ознакомления с проектом.
Тест-план и тест-стратегия / Отчет по тестированию
На следующем этапе были созданы авто-тесты, согласно Плана автоматизации тестирования.
Тестирование было проведено для двух баз данных — MySQL и PostgreSQL.
Количество тест-кейсов и % успешных/не успешных
Количество тест-кейсов — 30, % успешных/неуспешных 70/30 (9 упавших тест-кейсов).
Ниже приведен отчет из фреймворка Allure:
- Разработать спецификацию, либо другим способом оформить требования для данного приложения;
- Исправить выявленные ошибки;
- Добавить «тестовые» атрибуты в приложение для повышения устойчивости авто-тестов.
Источник: github.com
Пять простых шагов для создания профессионального отчёта тестирования ПО
Подготовка QA-отчётности — это этап разработки, на котором результаты тестирования доводятся до сведения участников проекта. На основании этих документов выполняются корректирующие действия и принимаются решения о том, достаточно ли качество продукта для его выпуска.
Кроме того, QA-отчёты существенно влияют на распределение бюджета компании. Руководители основываются на полученных данных, увеличивая размер инвестиций в проект или сокращая ресурсы. Поэтому информативные и точные доклады в процессе разработки ценятся на вес золота.
Итак, какие обязательные компоненты должен включать в себя образцовый QA-отчёт? И какие атрибуты придают ему ценность в глазах менеджера?
Во-первых, добивайтесь максимальной простоты при написании своего отчёта. Если это возможно, не используйте слишком сложную лексику и большое количество сокращений. Добавьте в документ таблицы и диаграммы, а также скриншоты выявленных блокирующих дефектов. Это поможет вам систематизировать записи, чтобы исполнительный директор мог сразу же обратить внимание на те их них, которые имеют наибольшее значение. Также рекомендуется из раза в раз использовать один и тот же шаблон отчёта, чтобы ваш руководитель сразу знал, где в документе искать интересующую его информацию.
Отчет о тестировании / Урок 19 / Тестировщик с нуля
Во-вторых, убедитесь в правильности данных. Всегда перепроверяйте свой отчёт перед отправкой, чтобы избежать грамматических и фактических ошибок. Обращайте особое внимание вашего руководителя на критические отклонения. Не пытайтесь скрыть назревшие проблемы, чтобы сохранить свою репутацию. Чем раньше будут обнаружены ошибки, тем выше вероятность того, что они будут исправлены без каких-либо последствий.
В-третьих, всегда помните, кто получатель вашего отчёта. Сфера интересов QA-менеджера отличается от того, на что обращает первостепенное внимание заказчик. Проблемы, вызывающие озабоченность команды разработчиков, мало волнуют отдел по работе с клиентами. Принимайте это в расчёт и видоизменяйте свой документ в зависимости от того, кто его конечный получатель.
В-четвертых, включите в отчёт основные показатели, такие как:
- общую информацию: название проекта, типы тестов и входные данные;
- цели и объём тестирования;
- сведения об устройствах и оборудовании, послуживших средой тестирования;
- выявленные ошибки, возможные способы их устранения и действия, которые необходимо предпринять;
- заключение о соответствии продукта установленным критериям выхода и его качестве.
Если вы отчитываетесь перед руководителем компании, вы также можете привести в документе информацию, которая напрямую определяет доход. Это может быть прибыльность клиентов, когда возможные риски влияют на отношения между компанией и заказчиком. Вы также можете указать общее количество и сложность задач, чтобы помочь менеджеру сформировать представление о работе QA-отдела.
Наконец, учитывайте деловую сторону вопроса. Вы можете “утопить” своё отчёт в многочисленных цифрах и неопровержимых статистических данных. Однако без динамики и чёткого «призыва к действию» этот документ так и останется абстрактным для тех, кто принимает решения. Так что не стесняйтесь направлять ваших руководителей по нужному пути, давая оценку представленной информации и предлагая конкретные шаги.
Существует ещё несколько полезных приёмов, которые придадут вашей работе принципиальную практическую ценность. Больше информации о том, как повысить эффективность QA-процессов, вы можете получить на странице нашего QA-коммьюнити.
Наши исследования показывают, что даже очерёдность расположения данных в документе имеет значение. Докладчик анализирует результаты тестирования и участвует в определении их стратегической ценности для всего проекта в целом. В конце концов, именно он обращает внимание аудитории на срочные вопросы, которые ставят под угрозу качество продукта, доверие клиентов и предполагаемую прибыль.
Источник: vc.ru
Отчеты в Test IT. Кому, зачем и как?
Источник: habr.com
Какие отчеты есть в Test IT?
Концептуально в системе существует шесть типов представления информации для создания виджета отчетности:
- Круговая диаграмма — может выводить результаты тестов, тесты и автотесты, и группировать их по статусам, по приоритетам, по типу автоматизации или по авторам.
- Тренды — то же самое, что круговая, но имеет другое графическое представление.
- Линейчатая диаграмма умеет выводить результаты по тест-планам и тест-ранам.
- Таблица выводит результаты по результатам тестов и тестам.
- Команда — отчет по сотрудникам проекта, которые принимали участие в тестировании.
- Таймлайн — график запущенных тест-ранов.
Некоторые типы отчетов доступны внутри модулей (автотесты и тест-планы), и абсолютно все типы отчетов можно вывести в модуль Дашбордов для удобства. Отчеты можно фильтровать по множесту параметров: по типу данных, конфигурациям, приоритетам, временным параметрам, отслеживать продуктивность команды от регресса к регрессу.
Все виджеты и отчёты можно прямо сейчас попробовать в облачной версии Test IT Cloud.
Отчеты для ручных QA-инженеров
Обычно основная обязанность QA-инженеров или тестировщиков на проекте — писать, а затем проходить тесты. В крупных компаниях эти обязанности могут быть разделены между несколькими специалистами. Выходят новые фичи, новые требования, нуждающиеся в покрытии тестами, старые тесты требуют поддержания и обновления. Работа всегда кипит.
Какие метрики интересны QA-инженеру?
- Статус теста (готов/не готов/требует доработки)
- Приоритет теста
- Автоматизирован тест или нет.
Также полезно отслеживать так называемые smoke-наборы (highest), те тесты, которые необходимо проходить ежедневно для проверки работоспособности системы. Хорошим показателем считается, когда таких тестов 5-10% от общего числа.
Вышеуказанные метрики также удобно смотреть в виде диаграммы трендов или круговой диаграммы.
Как построить такой отчет:
В выбранном проекте перейдите в модуль Дашборды, нажмите на плюсик справа внизу и выберите нужное представление данных.
Если документация в порядке, система Test IT это покажет. Например, если мы видим картину, что не менее 95% тестов готовы, то мы можем начинать регрессионное тестирование. В противном случае требуется поддержание тестовой модели.
В самих тест-планах также есть отчеты: зайдите в модуль «Тест-планы» выбранного проекта, выберите тест-план, раздел отчеты. В этом разделе можно отследить свой личный прогресс, посмотреть распределенные на себя тесты, а также общую картину по тест-плану.
Ниже есть отчет по дефектам, который также может быть полезен ручным тестировщикам. Например, чтобы не дублировать баги в Jira.
Также ручным тестировщикам при взаимодействии с автотестерами пригодится отчет, показывающий процент покрытия автотестами. Для этого, создавая отчет, в представлении “Тренды” выберите группировку тестов по типу автоматизации.
Какие отчеты нужны автоматизатору тестирования
QA-автоматизатора могут интересовать метрики:
- по тест-ранам,
- времени запуска,
- данные о причинах падения автотестов,
- отчет по стабильности тестов,
- процент автотестов от общего числа тестов.
В модуле «Автотесты» есть свои отчеты по запускам автотестов, где отображается информация о времени запуска, количестве, результатах и причинам падения:
Можно кликнуть по любому из тест-ранов и получить полную информацию, где будет представлено распределение тестов по результатам, анализ категории ошибок, датам, тестировщикам.
В модуле «Автотесты», начиная с версии Taurus, доступен раздел таймлайнов, который визуализирует информацию о том, когда запускались автотесты и сколько времени это заняло:
Раздел тест-планы сам по себе представляет свод отчетов по проведенным или проходящим процессам тестирования. В этом модуле пересекаются интересы ручных тестировщиков и специалистов по автоматизации.
В тест-планах есть также отчет по запускам автотестов. Практика показывает, что именно в этом разделе автоматизаторы работают чаще всего:
В разделе Дашборды можно вывести отчет по причинам падения автотестов в виде линейчатой диаграммы (не определена, проблема окружения, продукта или автотеста):
На дашборды также можно вывести отчет по соотношению тестов и автотестов, а также по конфигурациям, на которых прогонялись тесты:
Чтобы построить отчет по стабильности автотестов, необходимо в библиотеке автотестов выделять такие группы тестов и отметить их как нестабильные. При этом в библиотеке есть две колонки, обозначающие стабильность: одна выводится автоматически и показывает процент успешных запусков по мнению системы Test IT, вторая выводит данные, введенные вручную автоматизатором.
Напоминаем, что всю информацию, которая может быть отображена в виде трендов, можно представить в виде круговой диаграммы — это зависит от личных предпочтений.
С помощью линейчатой диаграммы можно показать запуски автотестов, и отслеживать их результаты в режиме реального времени.
С помощью таблицы с фильтром по автоматизации и конфигурациям можно смотреть, в каком модуле автотесты падают чаще всего:
Разработчики, как правило, редко заходят в Test IT, но и для них есть полезная информация, например, шаги тест-кейсов или информация по автотестам.
Какие отчеты нужны тест-менеджеру
Менеджера в первую очередь интересуют отчеты по тест-планам, где отражена информация о результатах и статусе тест-плана, на основе которых делается вывод о том, нужен ли еще один регресс или нет.
Менеджеру нужна вся информация, о которой упоминалось ранее (включая ручного тестировщика и автоматизатора). Также менеджеру важно смотреть отчеты по результатам работы команды, отслеживать нагрузку на каждого тестировщика и т.д.
Заходим в раздел отчетов по тест-плану и создаем отчеты в любом необходимом представлении: тренды, круговая, линейчатая, таблицы и люди…
Можно отслеживать результаты от регресса к регрессу, определять приоритетность конфигураций, процент покрытия тестами и автотестами и многое другое.
Как понять, когда будет релиз? Чем меньше упавших тестов на регрессе, тем лучше. Это зависит от специфики проекта и от тест-менеджера, но обычно не допускается падение более чем 3-5% тестов. Эту информацию также можно получить в отчете по тест-плану.
Что может быть интересно CEO компании?
Что интересно CEO (иногда ГД) на самом деле 🙂
- тренд по количеству багов на прод среде(качество тестирования и разработки)
- тренд по хотфиксам (сколько пересборок)
- тренд по сделаным сторипойнтам в релиз (скорость разработки), тренд по времени регрессивного тестирования (скорость тестирования).
В отчете по тест-плану можно посмотреть дефекты, чтобы понимать, в каком модуле проблемы. Если, например, в регрессе отваливаются старые модули, которые раньше работали, нужно разбираться, что им помешало:
Эту информацию можно также смотреть в отчете по результатам прогонов тестов. Например, мы делаем релиз по определенному модулю системы, к которому будет приковано внимание всех пользователей, и важно, чтобы он работал без проблем. Данный отчет работает в онлайн-режиме и постоянно обновляется:
В разделе Дашборды важен отчет по трендам, который можно отфильтровать по интересующим данным.
Для высшего руководства может быть интересно, как в целом работает отдел тестирования, есть ли прогресс, много ли ошибок находится. Эту информацию можно посмотреть в сводных отчетах в разделе Дашборды.
Любым отчетом по тест-плану можно поделиться: сохранить в pdf, распечатать или отправить заинтересованной стороне. Для этого зайдите в модуль «Тест-планы», выберите тест-план, зайдите в его отчет и нажмите на «принтер» вправа внизу. Получите отчет в виде сводной информации:
Источник: testit.software