Представьте, что вы создаете приложение вроде WhatsApp и выпускаете его на рынок. Однако, когда пользователи загружают и начинают использовать программное обеспечение, они не могут отправлять или получать сообщения. Это сразу сделает софт непопулярным, и он потеряет пользователей. Этого сценария можно было бы избежать, если бы было проведено тестирование программного обеспечения.
Каждое программное обеспечение, известное вам сегодня, прошло процесс тестирования. Прежде чем приложение будет отправлено конечным пользователям, заинтересованные стороны должны убедиться, что оно готово к рынку и не содержит большого количества ошибок. Существует два основных способа тестирования программного обеспечения: вручную или автоматически. Как правило, ручное тестирование должно быть выполнено до того, как будет выполнена какая-либо автоматизация. В этой статье мы поговорим о ручном тестировании и различных типах этого критически необходимого вида тестирования.
Что такое ручное тестирование?
Как следует из названия, ручное тестирование — это тестирование программного обеспечения, которое выполняется человеком вручную. Никакие инструменты для автоматизации не используются, и эксперты должны сами найти ошибки. Это отличается от автоматизированного тестирования, которое выполняется с помощью скриптов и программ.
Тестирование Программного Обеспечения — урок №3 — сообщения об ошибках
Теперь давайте обсудим процесс, который проходят эксперты при тестировании программного обеспечения и приложений.
Процесс тестирования программного обеспечения
Несмотря на то, что существуют различные типы ручного тестирования, есть и общий процесс, которому необходимо следовать, чтобы провести хороший тест.
Анализ требований. Первым этапом процесса ручного тестирования является анализ требований клиентов к приложению. Здесь тестировщик пытается найти пробелы в требованиях. Ему необходимо убедиться, что все требования клиентов включены в приложение. Например, клиент просит компанию создать веб-сайт, на котором пользователи могут добавлять и удалять товары из корзины.
QA-специалист читает требования и сообщает разработчикам, реализована эта функциональность или нет.
Планирование тестирования. Как только вы поймете требования, следующим шагом будет планирование того, как должны выполняться тесты. На этом этапе тестер пишет план, используя информацию, полученную на предыдущем этапе. Он пишет план, основанный на типе ручного тестирования, которое он хочет выполнить. Основная цель состоит в том, чтобы определить набор требований и организовать структуру тестирования.
Создание тестового набора. На этом этапе тестировщик должен придумать сценарии и создать тестовые наборы для требований.
Выполнение теста. Когда у тестировщика есть требования, он может начать выполнять тесты, чтобы проверить наличие ошибок в функциях. Например, вам нужно вручную открыть веб-сайт и попытаться добавить и удалить товары из корзины. Если вы обнаружите ошибку, о сценарии сообщается команде разработчиков, которая исправит ее и отправит на повторное тестирование. Этот процесс выполняется для всех функций, пока все они не пройдут тестирование.
Программы для исправления ошибок Windows 10, 8.1 и Windows 7
Различные типы ручного тестирования
Существует множество различных методов и приемов, с помощью которых можно проводить ручное тестирование. Ниже приведены некоторые из наиболее распространенных.
Тестирование белого ящика (White box)
При тестировании «белого ящика» тестировщик обеспокоен тем, что происходит в коде, написанном для этой конкретной функциональности. Здесь важно понимать, как пишется код и что он делает. Основная цель этого метода тестирования — проверить все ответвления решений, операторы и циклы в коде.
Тестирование черного ящика (Black box)
Обычно термин «черный ящик» используется, когда нет сведений о внутренней работе системы, и вы просто проверяете вывод на основе ввода. Как тестер, вы вводите данные и проверяете результат. Если результат соответствует ожидаемому, то тест пройден. При тестировании методом «черного ящика» QA ничего не знает о конкретной тестируемой реализации или функции.
Например, предположим, что вы тестируете функцию «Создать учетную запись» для веб-сайта. Ваша цель — убедиться, что при нажатии кнопки «Создать учетную запись» пользователи перенаправляются на страницу, где они могут создать учетную запись. Если вы не знаете реализаций на стороне сервера или кода, который был написан для выполнения этого действия, то это называется тестированием методом черного ящика.
Тестирование серого ящика
Тестирование «серого ящика» — комбинация тестирования «белого ящика» и «черного ящика». Это стратегия отладки программного обеспечения, при которой тестировщик имеет ограниченные знания о внутренних деталях или реализациях программы. Основная цель этой методики тестирования — найти ошибки из-за неправильной структуры кода.
В процессе серого тестирования обнаруживаются контекстно-зависимые ошибки, связанные с приложением. Здесь тестируются все слои системы. Это очень полезно при тестировании на проникновение и интеграцию.
Например, если тестировщики проверяют веб-сайты на наличие ссылок и обнаруживают плохие ссылки, они могут немедленно внести изменения в HTML-код и проверить результаты в режиме реального времени.
При тестировании серого ящика эксперту не обязательно иметь доступ к исходному коду. Вместо этого тест создается с использованием знаний об архитектуре, алгоритмах, внутренних состояниях и другом поведении программы. Основные методы, используемые в тестировании серого ящика, включают матричное, регрессионное, ортогональное тестирование и тестирование шаблонов.
Тестирование дыма
Дымовое тестирование, smoke testing, также известное как приемочное тестирование сборки или проверочное тестирование, представляет собой тип метода анализа программного обеспечения, который обеспечивает работу всех жизненно важных функций приложения, не вдаваясь в подробности. Термин «тестирование дыма» происходит от тестирования оборудования, когда устройство проходит тест, если оно не дымит и не загорается при первом включении.
Смоук-тестирование — это предварительная проверка приложения после сборки и перед его выпуском на рынок. Эксперт находит наиболее важные компоненты, необходимые для работы программного обеспечения, и проверяет их на наличие ошибок. Этот тест выполняется каждый раз, когда поставляется новая сборка программного обеспечения.
Если программное обеспечение проходит, оно переходит к более строгим тестам. Если нет, то обнаружена серьезная ошибка, и никакие другие тесты не выполняются. Вместо этого тестировщики просят разработчиков прислать еще одну сборку.
Кроссбраузерное тестирование
Многие люди сталкивались с проблемами, когда приложение не работает в одном браузере, но нормально работает в другом. Такая ситуация часто возникает, если программное обеспечение не тестировалось на совместимость с браузером. Как следует из названия, кроссбраузерное тестирование означает тестирование веб-сайтов или приложений в нескольких браузерах.
Приложение, которое будет выпущено на рынок, должно быть протестировано в нескольких браузерах, как это определено клиентом в его требованиях. Эти тесты также выполняются для поиска конкретных проблем, связанных с браузером, и их устранения.
Кроссбраузерное тестирование концентрируется на базовой функциональности, гарантируя бесперебойную работу диалоговых окон, форм и файлов cookie во всех браузерах. Этот тип тестирования также проверяет, что внешний вид веб-сайта одинаков для всех браузеров.
Приемочное тестирование
Приемочное тестирование проводится для того, чтобы убедиться, что функциональность программного обеспечения соответствует потребностям и требованиям заказчика. Часто это последний этап тестирования перед отправкой приложения конечному пользователю.
Бета-тестирование
Это тип пользовательского приемочного тестирования, при котором приложение отправляется группе конечных пользователей, которые используют его в реальных условиях и оставляют отзывы. Бета-тестирование не имеет стандартов, поэтому тестировщики просто используют программное обеспечение, как и любой другой пользователь.
Перед бета-тестированием разработчикам необходимо убедиться, что программное обеспечение стабильно и обладает всеми функциями. Также тестировщики должны быть частью аудитории, которая будет пользоваться приложением. Этот тип тестирования также является подтипом тестирования методом черного ящика, поскольку тестировщики не имеют ни малейшего представления о реализации и исходном коде. Они просто проверяют, даст ли ввод желаемый результат.
Исследовательское тестирование
Это тип тестирования, при котором тесты не документируются заранее; тестировщики проверяют приложение в режиме реального времени. Они могут написать некоторые идеи о том, что нужно проверить заранее. Исследовательское тестирование обычно используется в моделях разработки Agile и в основном связано с открытием, исследованием и обучением. Тестирование этого вида случайное и неструктурированное и выявляет некоторые ошибки, которые структурированные тесты могут пропустить.
Отрицательное (негативное) тестирование
Отрицательное тестирование — это тип тестирования, которое выполняется в системе путем ввода неверных данных. Основная цель отрицательного тестирования — предотвратить сбой приложения или выполнение непредвиденных действий при вставке неправильного значения. Эти тесты значительно повышают стабильность программного обеспечения.
Выполнение только положительного тестирования гарантирует, что система работает должным образом в нормальных условиях. Но вы узнаете, как система ведет себя в непредвиденных ситуациях, когда вы выполняете отрицательные тесты.
Например, в форме веб-сайта, в которой есть поле для номера телефона, положительные тесты будут проверять, принимает ли поле числа. Однако при отрицательном тестировании эксперт должен проверить, будет ли поле принимать только числа. Таким образом, они будут вводить другие символы, чтобы увидеть, вернет ли форма сообщение об ошибке. Если да, то тест пройден.
Юзабилити-тестирование
Пользовательский опыт (UX) и дизайн пользовательского интерфейса (UI) являются одними из наиболее важных факторов, которые следует учитывать при создании программного обеспечения. Они имеют решающее значение для успеха и принятия конечными пользователями. Юзабилити-тестирование гарантирует, что приложения удобны и просты в использовании.
Здесь тестировщики должны наблюдать за другими пользователями, когда они пытаются перемещаться по программному обеспечению. Тесты могут быть проведены с различными дизайнами, чтобы увидеть, какие из них лучше и нравятся пользователям. Юзабилити-тестирование проводится неоднократно с начала разработки до выпуска приложения.
Ручное тестирование требует большого терпения, творческого мышления и концентрации. Оно обеспечивает «человеческий подход» к тестированию программного обеспечения, которое, по мнению многих людей, должно быть автоматизировано. Однако ручное тестирование по-прежнему в значительной степени необходимо, и его необходимо выполнить перед любым автоматическим тестированием.
Это связано с тем, что автоматизированное тестирование не обладает способностью предсказывать или мыслить. Он также не может представить все различные сценарии, которые могут возникнуть при использовании программного обеспечения. Вот почему ручное тестирование по-прежнему необходимо — и останется таковым в обозримом будущем.
Асах Сикстус
Асах Сикстус, контент-менеджер c опытом работы с технологическими стартапами.
Источник: www.careerist.com
Какие существуют сервисы для нефункционального ручного тестирования для новичков
Прежде чем научиться автоматизированному тестированию, было бы полезно узнать, как продукты тестируются вручную. Спросили, какие инструменты используются новичками для нефункционального ручного тестирования.
Святослав Лобанов
Менеджер программы бета-тестирования IVI
Выполняя функциональное тестирование, мы проверяем, что делает продукт, тогда как нефункциональное тестирование описывает, как он работает. Например, когда вы вводите в поисковую строку сайта какой-либо запрос, то за релевантность выданных результатов отвечает функциональный тест, а за скорость выгрузки — нефункциональный.
Я бы выделил все виды тестирования производительности:
- нагрузочное тестирование (Performance and Load Testing),
- стрессовое тестирование (Stress Testing),
- тестирование стабильности или надежности (Stability / Reliability Testing),
- объемное тестирование (Volume Testing).
А также по возможности проверить следующий список нефункционального тестирования:
- тестирование установки (Installation testing),
- тестирование удобства пользования (Usability Testing),
- тестирование на отказ и восстановление (Failover and Recovery Testing),
- конфигурационное тестирование (Configuration Testing),
- тестирование безопасности (Security and Access Control Testing).
Нефункциональные тесты по возможности стараются автоматизировать. Чаще всего автоматизируют или частично автоматизируют нагрузочное тестирование, тестирование производительности, тестирование безопасности — эти виды отнимают много времени при ручных проверках, но являются важными и требуют регулярной актуализации.
А вот тестирование удобства использования, тест на отказ и восстановление и конфигурационное тестирование проводятся реже, и иногда эффективнее организовать их в ручном режиме, чем тратить время на автоматизацию редкого процесса.
Чтобы выбрать программу для тестирования, сначала нужно понять, что вам нужно проверить. Например, для тестирования установки или совместимости можно взять Browsera или Browserling. Первая программа предоставляет подробный отчет о проблемах макета, также может тестировать сайты целиком. Второй вариант предназначен только для веб-тестирования, он создает интерактивные сеансы в режиме реального времени для кросс-браузерного тестирования.
Тестирование удобства пользования можно осуществлять в UserTesting — этот инструмент создает видео людей, использующих тестируемый сайт или приложение. По итогам предоставляется отчет, в котором выявляются основные проблемы. Есть еще Validately — это приложение позволяет тестировать живые сайты и анализировать результаты с помощью отчетов и видео, здесь можно общаться с тестировщиками вживую.
Для тестирования безопасности можно выделить несколько утилит.
- OWASP ZAP (Zed Attack Proxy) — это наиболее широко используемый в мире веб-сканер уязвимостей, он полностью бесплатный и имеет открытый исходный код, поэтому вы можете адаптировать его под свои нужды. Эта программа активно поддерживается международным сообществом добровольцев, которые работают над постепенным улучшением инструмента, а также включают новые функции.
- Burp Suite — во многом аналогичен OWASP ZAP.
При выборе инструментов также важно понимать, каков бюджет и как часто вы планируете использовать программы — для этого есть платные и бесплатные решения. В некоторых случаях можно запросить краудсорсинговое тестирование, например для тестирования удобства использования, либо нанять фирму на аутсорсе для одиночного нагрузочного теста.
Если вы начинающий тестировщик и только изучаете инструменты, то стоит присмотреться к новинкам, там часто попадаются удобные, но пока еще непопулярные инструменты.
Что касается нашей компании, то для тестирования безопасности мы используем OWASP ZAP. При нагрузочном тестировании наши разработчики работают в Яндекс.Танк в частично автоматизированном режиме, а тестировщики иногда используют Siege. С помощью этой программы проверяется ресурсоемкость кода в условиях, максимально приближенных к реальным. Остальные нефункциональные тесты мы проводим в ручном режиме.
2022-04-18T15:27:47+03:00
Рейтинг полезности ответа:
Алия Токарева
Инженер-тестировщик 2 категории компании ICL Services
Если говорить кратко и ёмко, то функциональное тестирование – это то, что программа должна выполнять по требованиям и нуждам заказчика. А вот нефункциональное – то, с помощью чего приложение должно выполнять поставленные требования к функционалу.
Здесь даже можно отметить, что заказчик и/или конечный пользователь задает свои «хотелки» и то, как он видит продукт с ними к функциональной части программного продукта. Команда разработчиков в свою очередь помогает подобрать различные инструменты, чтобы этот функционал мог работать, но и конечно же команда разрабатывает функциональную часть тоже.
Как пример – ситуация: сможем ли мы оплатить покупку в онлайн-магазине, если интернет недоступен? Не сможем. И в данном случае функционал – это оплата онлайн-покупки, а интернет – это инструмент, т. е. нефункциональная часть, которая поддерживает оплату покупки. Исходя из логики, здесь стоит проверить восстановление системы путем отключения/включения интернета.
В целом автоматизировать тесты в нефункциональном тестировании можно, но некоторые существующие инструменты нефункционального тестирования являются более сложными для новичка и требуют набор определенных навыков. Есть и программное обеспечение, не требующее больших навыков для начинающих тестировщиков.
Для ручного нефункционального тестирования важно проверить документацию. Документация – это не только различный набор файлов, но и сам графический интерфейс программного продукта, который может иметь неверный шрифт, неправильные размеры изображений, какие-то орфографические ошибки. Соответственно, здесь применяются тесты для проверки верстки веб-страницы.
Здесь можно говорить об инструментах сравнения документации (один из популярных инструментов – это «CompareTools»). Открываем через этот инструмент два схожих файла или изображения, которые имеют небольшие отличия, и «CompareTools» отобразит, где есть расхождения. Также существует и онлайн-версия инструмента сравнения – «DiffNow».
Для тестирования верстки веб-страницы устанавливается плагин для браузера «Perfect Pixel», который помогает также делать сравнение между утвержденным шаблоном и реальной «картинкой» на той же веб-странице.
И, в конечном счете, почему бы такое нефункциональное тестирование не назвать автоматизацией? Ведь мы не делаем ручное сравнение, за нас это делают средства тестирования.
Приведенные мной программы и плагин достаточно просты в понимании – и, кроме того, очень четко подсвечивают несоответствия. В «CompareTools» и «DiffNow» отображаются окна с двумя (или более) схожими файлами, а различия подсвечиваются красным цветом – это достаточно удобно для тестировщика. А вот сам плагин «Perfect Pixel» даже может показать размер и стили шрифта, размер изображения на веб-странице, и в утвержденном макете.
Проблема, что может возникнуть еще на начальных этапах – это, конечно же, «замыливание» глаз, если не применять наших «помощников» и искать несоответствия вручную.
Вполне вероятны и трудности с программами для нефункционального тестирования: неверной установкой инструмента, установкой плагина на разных браузерах (конечные пользователи используют разные браузеры), установкой плагинов на разных устройствах (компьютер, планшет, мобильный телефон), разные операционные системы на всех этих устройствах, разные браузеры у этих операционных систем. И сколько таких площадок для нефункционального тестирования – известно только самому тестировщику.
Более сложное нефункциональное тестирование для повышения навыков
- Проверка производительности (мощности) системы – Apache JMeter, NeoLoad, HP LoadRunner, Dynatrace, JHM (Java Microbenchmark Harness), BenchmarkDotNet, Google Lighthouse;
- Инструменты для нагрузочного тестирования – снова Apache JMeter, Gatling, HP LoadRunner, Яндекс.Танк, Taurus;
- Тестирование безопасности – Netsparker, Metasploit, Acunetix, Core Impact, w3af, Wireshark, Kali Linux, Nessus, Burpsuite, Cain
- Тестирование масштабируемости – BlazeMeter, WonderNetwork, Loader, Load Impact, Blitz;
И последнее нефункциональное тестирование, которое можно предложить для начинающего тестировщика – это анализ сетевого трафика в Fiddler.
Источник: tproger.ru
Топ 10 бесплатных инструментов для автоматизированного тестирования
В современном мире существует множество инструментов, помогающих ускорить достижение цели.
Я подготовил список из 10 лучших инструментов автоматизации, которые помогут справляться с задачами намного быстрее. Они используются в таких областях, как автоматическое/ручное тестирование, модульное тестирование, тестирование производительности, веб, мобильное тестирование и пр.
Самое главное, что все эти инструменты являются бесплатными.
Что ж, приступим!
Selenium
Selenium использует Web Driver для Chrome, чтобы тестировать команды и обрабатывать веб-страницы для получения нужных данных.
Он совместим практически со всеми языками программирования, предлагая при этом широкий набор команд и опций для управления.
Beautiful Soup
Beautiful Soup — это библиотека Python для извлечения данных из файлов HTML и XML. Она создаёт деревья считывания данных, позволяющие с лёгкостью эти данные получать.
Одни только мощные возможности этого инструмента и простота использования ставят его в число излюбленных мной инструментов.
Robotium
Robotium — это бесплатный фреймворк для автоматизированного тестирования приложений Android. Он поддерживает множество областей тестирования, включая тестирование серого ящика UI, системное тестирование и пользовательское приемочное тестирование, как для нативных, так и для гибридных приложений Android.
Robotium — это фреймворк для автоматического тестирования, имеющий полную поддержку нативных и гибридных приложений. Он облегчает написание мощных и надёжных автоматических тестов чёрного ящика UI в приложениях Android. С его поддержкой разработчики тестовых случаев могут писать сценарии тестирования функций, системы и пользовательского приемочного тестирования, охватывающие несколько видов активности.
Watir
Watir — бесплатная библиотека Ruby, позволяющая выполнять автоматизированное тестирование в виде кликов, заполнения форм и пр.
Ее имя — это акроним, происходящий из Web Application Testing In Ruby.
Информация с официального сайта:
Являясь открытой библиотекой Ruby для автоматических тестов, Watir взаимодействует с браузером, симулируя поведение пользователей: открывает ссылки, заполняет формы и проверяет текст.
Apache JMeter
Apache JMeter — это бесплатное десктопное Java-приложение, которое в основном используется для нагрузочного тестирования веб-приложений. При этом функциональное и модульное тестирование он поддерживает в ограниченной форме.
У Apache JMeter есть множество опций, вроде динамического отчёта, переносимости и мощной IDE тестирования. Помимо этого, он поддерживает различные типы приложений, скриптов оболочек, Java объектов и баз данных.
Информация с официального сайта:
Приложение Apache JMeter является открытым ПО, 100% чистым Java приложением, спроектированным для нагрузочного тестирования функционального поведения и измерения производительности. Изначально оно было создано для тестирования веб-приложений, но с тех пор было расширено другими функциями тестирования.
Apache JMeter может использоваться для испытания производительности как на статических, так и на динамических ресурсах, веб-динамических приложениях.
Его можно использовать для симуляции сильной нагрузки на сервер, группу серверов, сеть или объект, чтобы протестировать их выносливость или проанализировать общую производительность под различными видами нагрузки.
Katalon
Katalon — это открытое ПО, предназначенное для автоматизированного тестирования в веб и на мобильных устройствах. Это очень простой кроссплатформенный инструмент, имеющий, помимо прочего, удивительную реализацию JIRA.
Информация с официального сайта:
Katalon помогает вам быстро генерировать автоматизированные кросс-платформенные тесты, а также без усилий интегрировать эти тесты в CI/CD линию сборки. Помимо этого, он предоставляет централизованные отчёты и качественные аналитические данные, формируемые Katalon TestOps.
Maven
Maven — это бесплатный инструмент для автоматизированного тестирования проектов Java. Я использую его достаточно часто и должен сказать, что он весьма впечатляет.
Информация с официального сайта:
Maven — это инструмент с открытым исходным кодом, предназначенный для автоматизации сборки и использующийся чаще всего для проектов Java. У нас также есть доступные плагины для тестирования. Цель “surefire: test”, преследуемая одноимённым плагином Surefire, связана с фазой тестирования жизненного цикла управления ПО.
Selendroid
Это бесплатный фреймворк для автоматизации приложений Android и мобильных сетей. Его главная особенность — поддержка масштабирования и параллельного тестирования.
Информация с официального сайта:
Selendroid является фреймворком для автоматизации тестирования, который работает с UI нативных и гибридных приложений, а также с мобильной сетью. Тесты написаны с использованием клиентского API Selenium 2.
Linux Desktop Testing Project
LDTP — это бесплатный инструмент, главным образом нацеленный на тестирование GUI с широким спектром языков (Python, Java, Ruby, Perl, C#, VB.NET, PowerShell, Clojure).
Информация с официального сайта:
Проект тестирования GNU LDTP направлен на создание высококачественного фреймворка для автоматизации тестирования, снаряжённого новейшими инструментами, которые могут использоваться для тестирования и улучшения рабочих столов GNU/Linux или Solaris. Он использует библиотеки доступности, чтобы произвести проверку UI приложения.
OpenTest
Это бесплатный инструмент для тестирования веб, мобильных приложений и API.
Информация с официального сайта:
OpenTest является открытым фреймворком для автоматизации функционального тестирования веб и мобильных приложений, а также API. Он разработан для масштабирования и расширения с акцентом на включение основных методов автоматизации процесса тестирования. OpenTest имеет богатый арсенал инструментов, требует минимум навыков написания кода и может обрабатывать почти любой проект по автоматизации тестирования.
Существует великое множество инструментов, не рассмотренных мной в рамках этой статьи, но, по моему скромному мнению, перечисленные выше являются наилучшими вариантами.
Спасибо за чтение!
- 12 привычек эффективного разработчика
- 6 шагов до карьеры блокчейн-разработчика
- Программируем с интерфейсами: и у нас на это 5 причин
Источник: nuancesprog.ru