MRG Effitas 2022: Тестирование антивирусов для Android
Лаборатория MRG Effitas проводит расширенное тестирование антивирусов для Android. Серия тестов под названием «Android 360 Degree Assessment Programme» позволяет оценить защиту мобильных антивирусов в реальных сценариях
Обновлено: 23.11.2022. Опубликованы результаты тестирования «Android 360 Degree Assessment Programme» за третий квартал (Q3, июль-сентябрь) 2022 года.
Лаборатория MRG Effitas провела расширенное тестирование нескольких антивирусов для Android. Уровень защиты оценивался в реальных сценариях с настоящими вредоносными программами из сети. Также проверялась обработка легитимных образцов, чтобы выявить потенциально слабые места механизмов обнаружения. В отчете собраны результаты тестирований, которые проводилось независимой лабораторией MRG Effitas по следующему сценарию:
- 8 мобильных антивирусов для Android
- 220 вредоносных образцов «in-the-wild»
- 5 симуляторов атак
- 1 сценарий реального времени по новой методике тестирования
- Операционная система: Android 8.0.0 (эмулятор Genymotion) / Android 8.1.0 (Nexus 5x)
В тестах использовался эмулятор Genymotion с образами ОС Android 8.0.0, актуальными по состоянию на январь и апрель 2022 года. Данная тестовая среда позволяет охватить значительную часть пользовательских устройств, представленных на рынке. Чтобы обеспечить максимальную совместимость с образцами, содержащими нативный ARM-код, в эмуляторе использовался пакет ARM Translation. В случаях, когда широко использовались собственные библиотеки ARM и установка антивируса в эмуляторе x86 не поддерживалась, эксперты лаборатории прибегали к помощи тестовых устройств Nexus 5x на Android 8.1.0. Чтобы обеспечить «чистоту эксперимента» функция Google Play Защита была отключена на устройствах.
Тестирование мобильных приложений. Что должен знать тестировщик. Мобильное тестирование iOS Android
Тестируемые антивирусы
В тестировании принимали участие следующие мобильные антивирусы. Кроме решений всем известных имен с хорошей репутацией и богатой истории, в испытании участвовали продукты менее крупных вендоров с небольшой долей рынка. Поскольку в магазине приложений Google Play размещено много антивирусов для Android, приоритет отдавался приложениям защиты с большим количеством загрузок.
- AVG AntiVirus FREE для Android
- Avira Antivirus Security для Android
- Bitdefender Mobile Security для Android
- Comodo Mobile Security для Android
- ESET Mobile Security для Android
- Malwarebytes для Android
- Norton 360 для Android
- Zoner AntiVirus Free для Android
Методика тестирования
Первоначальная методика тестирования антивирусов для Android включала два независимых типа тестовых испытаний:
- Обнаружение угроз на ранней стадии (Early Stage Detection) — образцы проверялись на SD-карте
- Тесты на установку (Install Tests) — включали непосредственно установку образца
Специалисты лаборатории уделяли внимание следующим аспектам тестируемых продуктов.
Тестировщик с нуля / Урок 23. Как тестировать мобильные приложения? Тестировщик мобильных приложений
Обнаружение угроз на ранней стадии
В первом сценарии (Early Stage Detection) оценивалась эффективность обнаружения угроз на раннем этапе, когда тестовые образцы копировались на SD-карту тестового устройства. Устройство еще не было заражено, а вредоносные файлы были загружены и готовы к установке. Действительно качественный антивирус должен обнаруживать угрозы как можно раньше, не позволяя пользователям устанавливать вредоносное ПО на свои устройства. В данном испытании предпринимались следующие шаги:
- Подготовка тестового устройства включала установку и инициализацию антивирусного приложения (принятие лицензионного соглашения, загрузка новейших антивирусных определений, принятие всех запросов предоставления разрешений и др.). При запросе разрешалось сканирование файлов на SD-карте 1 . Если вендор предоставлял дополнительные инструкции по настройке, то они принимались во внимание на данном этапе.
- Настройка мобильного антивируса на сканирование файлов на SD-карте.
- Загрузка тестового набора образцов на SD-карту и запуск сканирования.
- Антивирус был настроен на удаление подозрительных файлов.
- Сканирование запускалось повторно до тех пор, пока не переставали появляться предупреждения или не были удалены все подозрительные файлы.
- Подсчет оставшихся образцов.
1 Этот параметр был отключен для большинства антивирусов после стандартной инициализации из соображений производительности.
Обнаружение на этапе установки
Во втором сценарии (Detection During Installation ) выполнялась установка каждого отдельного тестового экземпляра с целью проверки уровня защиты мобильных антивирусов.
- С помощью инструментария Android Debug Bridge (adb) выполнялась установка вредоносного приложения на устройство. После установки антивирус получал информацию о новом приложении и запускал механизмы обнаружения.
- Антивирусу предоставлялось необходимое время для завершения всех процедур сканирования. 2 3
- Создавался скриншот экрана с результатами проверки. Показ предупреждения или тревожного оповещения рассматривался как успешное прохождение тестового сценария. Все журналы инструмента logcat были сохранены на внешнем устройстве.
- С помощью adb образец удалялся, после чего устанавливался следующий образец.
2 Значение задержки (timeout threshold) является критическим аспектом тестирования. Если значение будет слишком низким, результаты теста не будут отражать фактические результаты, так как антивирус не сможет завершить обнаружение. Лаборатория стремится добиться реалистичного значения, поскольку маловероятно, что пользователь ожидает несколько минут после установки, прежде запустить новое приложение, поэтому «слишком позднее» обнаружение или обнаружение без четкого уведомления считается пропуском.
3 На этапе обсуждения результатов ведется активное взаимодействие с вендорами, чтобы устранить проблемы, связанные с превышением времени, и убедиться, что цифры в отчете отражают результаты реалистичного сценария.
В 2022 году стандартный подход в тестировании претерпел изменения. Корректировки внесены для того, чтобы отразить более обоснованный и реалистичный взгляд на серию тестовых испытаний в смоделированной среде.
Теперь, чтобы оценить фактическую эффективность антивирусов для Android, лаборатория придерживается обновленного алгоритма для каждого образца. Пересмотренная методология позволяет лучше понять, как отдельные антивирусные продукты обеспечивают защиту, и каковы могут быть ограничения и потенциальные проблемы.
- Убеждаемся, что антивирус обновлен, снабжен последними сигнатурами, а устройство подключено к Интернету. Перед тестированием нужно удостовериться, что функция «Play Защита» по умолчанию отключена.
- Браузер по умолчанию переходит на сайт с нейтральной репутацией и получает указание загрузить образец apk. Все функции безопасности браузера отключены, предупреждения о репутации URL игнорируются.
- Пакет загружается и инициируется автоматическая последовательность установки загруженного пакета.Все предупреждения отклоняются, и все появляющиеся системные диалоги принимаются.
Затем проверяется, в какой момент антивирус отображает предупреждение или оповещение:
- a) на этапе загрузки образца: «Обнаружение во время загрузки».
- b) после завершения загрузки, но до того, как началась установка приложения: «Обнаружение перед установкой».
- c) после завершения установки приложения: «Обнаружение после установки».
Если антивирус не отображает предупреждение, то конкретный тестовый случай считается проваленным.
Примечание: на устройствах Android установка вредоносного приложения не всегда вызывает нежелательные последствия, в отличие от первого запуска, когда вредоносный код непосредственно исполняется. Запуск образца может иметь пагубные последствия с точки зрения безопасности. После первого запуска вредоносная программа, запрашивающая разрешение SYSTEM_ALERT_WINDOW, способна непрерывно отображать пользователю экран запроса доступа к администратору устройства. В таких случаях пользователь не может избавиться от приложения, поскольку у него нет доступа к лаунчеру, меню приложений или к настройкам устройства для удаления приложения. 4
4 Чтобы смягчить данный типичный тип вредоносного поведения, команда разработчиков Android API проверила экраны «Администратор устройства» и «Запрос специальных возможностей», чтобы включить флажок, который можно использовать, чтобы ОС не отображала этот экран снова. Эта функция появилась в последних версиях Android API.
Тест на ложные срабатывания
Чтобы провести всестороннюю оценку эффективности защиты участников тестирования, использовался ограниченный набор легитимных образцов: 10 приложений. Все они были загружены из известного стороннего магазина приложений, не демонстрировали вредоносное поведение и не запрашивали слишком много сомнительных разрешений.
Тестовые образцы
Реальные угрозы из сети
Рис.1. Распределение тестовых образцов
В тестировании использовался набор из 220 вредоносных образцов. Всех их можно разделить на следующие категории:
- SMS-платежи (SMSs, SMS Payment). Приложение предоставляет функции отправки SMS-сообщений на платные номера. Большинство выбранных образцов были способны автоматически отправлять SMS и запрашивали системное разрешение SEND_SMS, что приводило к прямым финансовым потерям для жертвы.
- Трояны (Trojans). Трояны – приложения, которое, согласно описанию, предлагают определенный набор функций. У пользователя складываются определенные ожидания по функциональности, но по факту приложение запрашивает разрешения, которые не соответствуют описанным функциям. Типичным примером является приложение Фонарик, которое может запрашивать доступ к контактам, данным местоположения и к передачи данных.
- Шпионское ПО (Spyware). Образцы, относящиеся к данной категории, отправляли на внешние сервера информацию, которую можно использовать для отслеживания поведения пользователя и его привычек. Большинство рекламных приложений считаются шпионскими программами, поскольку они отправляют рекламным сетям IMEI, номер телефона, наименование производителя и модель телефона и другие данные.
- Финансовое ПО / Интернет-банкинг (Financial/banking). Данный тип угроз направлен на кражу денежных средств. Типичная финансовая вредоносная программа проверяет подключение к сеансу мобильного банкинга в браузере и может попытаться показать фишинг-сайт или всплывающее окно. Пользователь может подумать, что данные сеанса внезапно сбросились. Как правило, такие образцы запрашивают разрешение SYSTEM_ALERT_WINDOW, а также разрешение доступа к списку заданий.
- ПНП (PUA). 5 Термин «Потенциально нежелательные приложения» (ПНП) применяется для описания приложений, которые выполняют действия, не соответствующие намерениям пользователя. Под данную категорию подпадают приложения с агрессивными рекламными модулями, которые позволяют рекламодателям отслеживать активность отдельных пользователей. Для многих пользователей конфиденциальность важнее функциональности, и никакие функции не смогут компенсировать продажу данных активности через Интернет. Антивирусы должны сообщать пользователю об установке ПНП.
Многие образцы могут быть отнесены сразу к нескольких категориям. Например, вредоносное приложение показывает агрессивную рекламу и при этом получается получить доступ к разрешению SEND_SMS для отправки сообщений на платные номера. Рисунок 1 показывает распределение тестовых образцов.
5 Приложения Android с интегрированным рекламным модулем социальных сетей часто попадают в «серую зону» с точки зрения обнаружения, поскольку любое легитимное приложение может быть превращено в ПНП, если разработчики активируют агрессивный рекламный модуль. Поэтому представлены отдельные графики для тестового набора с ПНП и без ПНП.
Симуляция угроз
Симуляторы – отдельные образцы, введенные в процесс тестирования для проверки процедур обнаружения. Симуляторы были созданы для имитации модели атаки с использование «стороннего магазина с вредоносными приложениями», предоставляющий пользователям модифицированные версии надежных приложений с бэкдорами и вредоносными модулями.
Образцы-симуляторы были созданы с использованием механизма проверки концепции, использующего методики статического внедрения байтового кода без обфускации вредоносных модулей. Многие образцы симуляторов были модифицированы для реализации функций специальных возможностей, что является общей характеристикой для нескольких семейств вредоносных программ.
Для нужд тестирования использовалось 5 специально созданных образцов симуляторов. Важно подчеркнуть, что эти образцы не были собраны в реальных условиях. В образцах была реализована известная техника эксплуатации функций специальных возможностей Android API, которая используется для чтения содержимого с экрана, SMS-токенов, платежных реквизитов и другой конфиденциальной информации. Симуляторы представляли собой модифицированные версии легитимных приложений Android, которые отправляли данные о нажатиях клавиш, содержимое SMS-сообщений, пароли и другие данные на внешний веб-сервис по HTTP.
Образцы для проверки на ложные срабатывания
Для тестирования на ложные срабатывания использовался набор из 10 безопасных образцов из сторонних магазинов приложений. Приложения запрашивали различные разрешения и предлагали разную функциональность.
Итоги тестирования
Следующие продукты продемонстрировали 99%-ный (и выше) уровень обнаружения вредоносных образцов тестового набора, в котором отсутствовали ПНП. В процессе сертификации не делается различий по месту обнаружения, т.е. для получения награды необходимо, чтобы показатель пропущенных угроз (Miss) был ниже 1%. Следующие мобильные антивирусы получили сертификат MRG Effitas:
- AVG AntiVirus FREE для Android
- Avira Antivirus Security для Android
- Bitdefender Mobile Security для Android
- ESET Mobile Security для Android
- Malwarebytes для Android
- Norton 360 для Android
Источник: www.comss.ru
Smmi test что это за программа на андроид
1. Buffer
Функционал позволяет управлять сразу несколькими аккаунтами в рамках одной социальной сети и откладывать посты. Работает для Twitter, Facebook, LinkedIn и Google+. Также Buffer выдает статистику активности по каждому опубликованному посту. Новая версия для iOS интегрирована с Safari, так что релевантный контент, найденный в сети, можно сразу же отправить на свою страницу.
2. Tweetbot
Один из самых популярных клиентов для Twitter. Основное удобство — в списках (каналах), с помощью которых удобно следить за важными аккаунтами.
3. Facebook Pages Manager
Жизнь администраторов страниц в Facebook станет еще насыщеннее — публиковать посты, следить за всеми изменениями, уведомлениями и статистикой можно и со смартфона.
4. Flow for Instagram
Приложение для iPad — на планшете разглядывать картинки в родном приложении Instagram не очень удобно. Flow пригодится тем, кто ведет страницу своего бренда и постоянно работает с визуальным контентом. Загружать через него фотографии нельзя, однако «серфить» и лайкать гораздо удобнее.
5. Mention
Приложение для мониторинга упоминаний в социальных сетях — можно искать свой бренд и следить, что о нем думают пользователи Twitter, авторы блогов и так далее.
6. IFTTT
Супер приложение, выбор редакции магазина AppStore. В нем в один поток можно соединить колоссальное количество сервисов, не только соцсети, но и даже браслет Jawbone. IFTTT работает с Facebook, Instagram, Reddit, Twitter, Tumblr, YouTube, а также с Pocket, Jawbone Up, Soundcloud, Gmail, Evernote, Dropbox, Buffer, Craigslist, Feedly.
Есть много рецептов о том, как организовать работу в IFTTT (например, отправлять твиты прямо в гуглдок).
7. Over
Иногда нужно что-то быстро расшарить, но симпатичной картинки для привлечения внимания под рукой нет. Тогда на помощь приходят фоторедакторы.
8. Canva
Еще одно приложение для создания визуального контента — с шаблонами и красивыми шрифтами. Можно быстро и красиво сделать визитку, объявление, создать презентацию, инфографику или коллаж. Есть и веб-версия.
9. Daily
Tinder для новостей — предложенные статьи можно либо пролистнуть свайпом, либо расшарить через кнопку Buffer.
10. Feedly
Один из лучших агрегаторов для RSS-лент. Можно искать и шарить контент, привзяав приложение к Buffer.
11. Flipboard
Flipboard также агрегирует RSS-ленты, но еще и может собирать контент в Twitter, преобразуя это все в красивый «журнальный» формат.
12. Dashboard for Google Analytics
iOS
«Приборная панель» для Google Analytics — удобно смотреть статистику и следить за ходом медиакампаний вашего бренда вдали от компьютера.
- Analytiks
- Google Analytics for Android
- gAnalytics
- Analytics Pro
13. MailChimp
Работа с email-рассылкой на новом уровне. Показывает статистику кампаний, позволяет отправлять рассылки (редактировать их можно в следующем по списку приложении для iPad) и добавлять подписчиков.
14. MailChimp Editor
Версия MailChimp для планшетов, в которой можно создавать рассылки
15. Gather
Приложение от MailChimp. С его помощью можно отправлять текстовые сообщения своим подписчикам и рассказывать о мероприятиях компании.
16. Mailchimp Snap
Позволяет отправлять рассылки своим подписчикам прямо с телефона, однако менее «сложные» — по сути это просто фотография с описанием, но подходит для тех, чей бренд завязан на внешнем виде продукта.
17. SlideShare
Один из самых популярных сервисов, на которых стартапы размещают свои презентации. С помощью мобильного приложения можно организововывать все нужные публикации и сохранять их, чтобы просмотреть офлайн.
Источник: rb.ru