Каждый, играя, хоть раз думал: «вот бы написать программу, которая играла бы за меня!». Но обычно эта мысль, так мыслью и остается… Постоянно что-то мешает: незнание с чего начать, страх перед неподъемностью задачи, шепоток из-за левого плеча «и зачем это? кому это надо, чтобы программа играла с программой?» и т.д.
В данном цикле статей я собираюсь показать, что, во-первых: «не так страшен черт, как его малюют», а во-вторых: позже собираюсь ответить и на вопрос: «зачем это надо?».
Сейчас начнем с простого. С установления взаимосвязи между игрой и программой-игроком (ботом). В качестве подопытного кролика берется широкоизвестная игра Zuma.
Всякое взаимодействие складывается из двух процессов: отправки данных «им» и получения данных от «них». В Zuma всё управление делается мышой, а обратную связь игра выдает с помощью изображения. Соответственно, перво-наперво необходимо научиться программно эмулировать поведение мыши и получать изображение от игры.
Основная цель этой статьи: получить программу, которая самостоятельно раз за разом заходит в игровой процесс, там что-то делает, а при game over-е начинает всё заново. Далее этот каркас будет развиваться в направлении, чтобы бот всё дальше и всё дольше продержался в игре до game over-а.
Программа для автоматизации действий Tinytask?
Решаемые вспомогательные подзадачи: эмуляция мыши, перенаправление мыши на виртуальную машину, захват изображения.
Отступление
При разработке кода для данного цикла статей используется подход: как можно быстрее получить результат за минимум усилий. Такой подход позволяет поддерживать мотивацию на высоком уровне, и не дает опустить руки при виде неподъемности задачи. Из-за этого:
— во-первых, многие малозначимые (с точки зрения текущего результата) моменты будут быстро пробегаться, оставляя в коде «костыли и подпорки». И только на следующих итерациях эти моменты будут отдельно разбираться, и «костыли» будут заменяться на полноценный код.
— во-вторых, стиль кода больше «хакерский», чем классический C#-ный. В коде будет много лямд, анонимных данных, трюков, авторского произвола и полное отсутствие комментариев.
Эмуляция мыши
Windows поддерживает 2 штатных способа эмуляции мыши с помощью 4 различных функций WinApi.
Первый способ : посылка программе своих window-сообщений (WM_MOUSEMOVE , WM_LBUTTONDOWN и т.д.) с помощью функций SendMessage или PostMessage .
Для DirectX-игр (как в нашем случае) такой способ не подходит, потому что такие программы для опроса мыши используют DirectInput, который опрашивает мышь напрямую, игнорируя windows-сообщения.
Второй способ : прямая эмуляция поведения мыши с помощью функций mouse_event или SendInput . Этот способ подходит для любых программ, в том числе и для полноэкранных DirectX-игр. Функция mouse_event попроще, но она считается устаревшей, SendInput — современнее, но более громоздкая. Остановимся на mouse_event.
WinApi-функции из C# вызываются с помощью технологии PInvoke . PInvoke-описание для большинства распространных WinApi-функций можно взять на сайте PInvoke.net . Функция mouse_event не является исключением .
Как установить и настроить программу для автоматизации действий на компьютере Clickermann
public static extern void mouse_event(uint dwFlags, int dx, int dy, uint dwData, UIntPtr dwExtraInfo);
Координаты мыши
Функция mouse_event имеет специфическую особенность: координаты мыши задаются в mickey, а не в пикселях. Перерасчет mickey в пиксели (и обратно) зависит от разрешения основного используемого монитора. (0,0) соответствует левому верхнему углу монитора, а (65535, 65535) нижнему правому, что дает формулы для пересчета mickey в пиксели и обратно: mickey_point = pixel_point * (65536, 65536) / screen_size и pixel_point = mickey_point * screen_size / (65536, 65536) .
Основные операции
Суммируя всё вышеперечисленное, получаем следующие операции для управления мышью.
Передвижение курсора мыши в точку (x,y):
mouse_event(MouseEventFlags.MOVE | MouseEventFlags.ABSOLUTE, x * 65536 / screen_width, y * 65536 / screen_height);
Клик левой кнопкой мыши:
mouse_event((MouseEventFlags.LEFTDOWN), 0, 0); System.Threading.Thread.Sleep(100); mouse_event((MouseEventFlags.LEFTUP), 0, 0);
Клик правой кнопкой мыши:
mouse_event((MouseEventFlags.RIGHTDOWN), 0, 0); System.Threading.Thread.Sleep(100); mouse_event((MouseEventFlags.RIGHTUP), 0, 0);
Проблема: эксклюзивность ввода
При эмуляции мыши через функцию mouse_event присутствует серьезное неудобство: mouse_event имитирует мышь для всей ОС сразу, а не для отдельного приложения. Из этого следует, что пока бот запущен и играется, то невозможна другая работа за компом: отладка бота, активный просмотр состояния бота, чтение интернета и т.д. Но есть выход: виртуальная машина!
Перенос игры на виртуальную машину
Перенос игры на виртуалку решает следующие проблемы:
— во-первых, упрощается взаимодействие с играми, которые не поддерживают оконный режим и работают только в полноэкранной режиме,
— во-вторых, ввод мыши подменяется только на виртуалке, а на основной машине продолжает работать в нормальной режиме, позволяя пользователю компьютера заниматься своими делами.
Бота, в отличии от самой игры, удобнее запускать на основной машине. Это позволяет перезапускать бота напрямую из Visual Studio, там же его отлаживать, есть куда выводить внутреннее состояние бота и т.д.
Развертывание виртуальной машины (в данном случае использовалась Oracle VirtualBox), установка гостевой ОС и перенос игры делается штатным образом за исключением одного момента: для бота необходима возможность установки связи по сети между хостовой ОС и гостевой ОС. Это делается множеством способов. Один из способов, прокинуть с помощью VirtualBox конкретный порт из гостевой ОС в хостовую. Другой способ, настроить режим Bridged Adapter, тогда виртуалка для всей сети будет выглядеть как обычный компьютер, и гостевая ОС будет получать свой ip-адрес через dhcp от роутера. По этому адресу и будет происходит доступ из хостовой ОС в гостевую. (автором, в данном случае, использовался вариант с bridged adapter)
Прокси
Для управления мышью на гостевой ОС напишем прокси, представляющий из себя простенький консольный tcp-сервер. Его полный код небольшой и представлен под катом. Для упрощения кода и уменьшения зависимостей прокси написан на голом socket-е без использования remoting-а, wcf и т.д.
Код прокси-сервера
Для работы прокси достаточно его скопировать на виртуальную машину и запустить. Прокси ждет сообщения на порту 7001 и выводит лог своей работы на консоль. Для завершения работы прокси достаточно закрыть консольное окно.
Клиент
Перехват изображения
Изображение проще всего захватывать напрямую с экрана. В.net-е для этого есть готовая функция Graphics.CopyFromScreen . На этом способе и остановимся подробнее.
Во-первых, на выходе хочется получить Bitmap, а не Graphics — это решается с помощью вспомогательной функции:
public static Bitmap GetScreenImage(Rectangle rect) < var bmp = new Bitmap(rect.Width, rect.Height, PixelFormat.Format32bppArgb); using (Graphics graphics = Graphics.FromImage(bmp)) < graphics.CopyFromScreen(rect.Left, rect.Top, 0, 0, rect.Size, CopyPixelOperation.SourceCopy); >return bmp; >
Во-вторых, необходимо знать какую часть экрана надо захватывать. Можно, конечно, захватывать всегда одну и ту же часть экрана, а игру руками располагать в этой части экрана, но это не спортивно не удобно. Тем более автоматизация этого процесса делается минимальными усилиями. В этом нам опять поможет WinApi и PInvoke, а конкретнее две функции: FindWindow и GetWindowRect . FindWindow позволяет по заголовку окна получить handle окна, а GetWindowRect по handle-у возвращает позицию и размер окна на экране.
Pinvoke-описание обеих функций есть на сайте pinvoke.net: FindWindow и GetWindowRect .
public static extern IntPtr FindWindow(string lpClassName, string lpWindowName); public static extern bool GetWindowRect(IntPtr hwnd, out RECT lpRect); public struct RECT < public int Left; public int Top; public int Right; public int Bottom; >
И код захвата изображения окна виртуальной машины получается следующим:
var vm_left = 8; var vm_right = 8; var vm_top = 50; var vm_bottom = 30; var vm_title = «Windows81 — Oracle VM VirtualBox»; var handle = FindWindow(null, vm_title); if (handle == IntPtr.Zero) throw new Exception(«Окно не найдено»); RECT rect; GetWindowRect(handle, out rect); var gameScreenRect = new System.Drawing.Rectangle(rect.Left + vm_left, rect.Top + vm_top, rect.Right — rect.Left — vm_right — vm_left, rect.Bottom — rect.Top — vm_bottom — vm_top); var gameBmp = GetScreenImage(gameScreenRect);
Слабое место
Существенным недостатком данного подхода является то, что захватываемое окно, во-первых: обязано целиком располагаться на экране, а во-вторых: обязано располагаться поверх всех остальных окон. Это неудобство нивелируется с помощью двух (и более) мониторов:), тогда окно виртуальной машины располагается на вспомогательном мониторе, ни кому не мешая, оставаясь поверх остальных окон. Также данная проблема полностью решается с помощью ранее расмотренного способа: переноса функции (захват экрана) внутрь виртуальной машины. Для этого достаточно добавить соответствующую функцию в InputProxy.
Зацикливаем игровой процесс
Резюме
Поставленная цель выполнена: каркас бота написан — игровой процесс зациклен.
Следующие цели: подключить OpenCV, распознать положение и цвет шаров.
Ps
Изображение для привлечение внимания. (Оранжевым показаны области, которые следующая версия бота распознала как шары)
Move Mouse служит для имитации присутствия пользователя за компьютером за счёт движения курсора мыши и нажатия её кнопок. Кроме того ею можно воспользоваться для запуска каких-то программ, выполнения команд или скриптов PowerShell. Активироваться утилита может вручную или автоматически, при отсутствии активности пользователя и по расписанию, тоже самое касается и прекращения заданных операций.
Для каждой из операций арсенала программы доступны дополнительные опции, позволяющие задать дистанцию и направление движение мыши, выбрать кнопку, нажатие которой будет имитироваться, указать аргументы для команды или скрыть окно консоли. Все действия могут повторяться (с настраиваемой паузой) или выполняться один раз.
Кроме автоостановки и автозапуска, о которых мы уже упоминали, в настройках поведения Move Mouse доступна опция автоматического изменения громкости звука, скрытия окна программы с рабочего стола, кнопки и иконки с панели задач, миниатюры из диалогового окна ALt+Tab и перезаписи заголовка. Последние опции помогут скрыть следы ей присутствия и использования на компьютере, если кому-то это потребуется.
Настроить расписание активации действий можно как при помощи простейшего планировщика, позволяющего выбрать день недели и время запуска или остановки программы, так и более продвинутого, поддерживающего ввод выражений Cron. По расписанию Move Mouse может и приостанавливать свою деятельность, длительность «блэкаута» также изменяется.
Распространяется программа бесплатно, язык интерфейса в текущей версии доступен только один — английский. Воспользоваться Move Mouse можно на компьютерах и планшетах с Windows 10. Судя по всему, после публикации программы в Магазине Windows, от распространения через другие источники разработчик отказался.
Установить из Microsoft Store
Очень часто при работе на компьютере приходится выполнять ряд однотипных действий с мышью, клавиатурой, и т.д. Всё это выматывает и сообразительные программисты (а они всегда сообразительные!),для облегчения работы пользователя написали такие программы, которые называются автокликеры. Рассмотрим, как можно избежать рутинной работы на примере замечательной программы eMouse.
eMouse
Заходим на сайт и её с . Установка — ничего сложного. После установки её запускаем — появляется окно.
Слева кнопка «Rec»(запись) -после нажатия будут записаны ваши действия с мышью и на клавиатуре. «Play» проиграет (повторит записанные действия). А сколько раз можно установить в поле «х» (на картинке установлено 1 раз), при этом ставим галочку в поле «loop Playback»
Внизу слева стоят галочки Record: Keys и Mouse, т.е. если эти галочки стоят, то будут записываться действия мыши и клавиатуры (а если не стоят, то соответственно).
Можно посмотреть (и изменить) настройки. Жмем на ссылку «Edit» и в контекстном меню выбираем «Settings»
Вот и настройки.
Установлены «Горячие клавиши». Для начала записи действий — F5, а для паузы- F11, для воспроизведения- F12.
Записанные действия (скрипт) можно сохранить,т.е. можно написать кучу всяких последовательностей и вызывать их по мере необходимости.
Открываем «File» и выбираем «Save Script as…» (Сохранить скрипт как…) и сохраняем его где нам нужно.
AutoClicker (самый примитивный)
Если нужно делать огромное количество кликом правой или левой кнопкой мыши то эта прога для вас. Отлично использовать Вконтакте в играх PROFIT! Супер Кликер или Кликер.
Программа платная, но её «бесплатный » вариант можно скачать по . Её и запускаем. Интерфейс программы довольно простой.
Как работать с левой кнопкой мыши -написано в левой части, а с правой — в правой(с ползунками разберемся позднее). Используем горячие клавиши.
Запускаем программу, т.е. жмем на клавиатуре ALT+1. Это не значит, что мы нажимаем на клавиатуре клавишу ALT, потом клавишу «+», а потом и клавишу с цифрой «1!. Нет, мы просто одновременно нажимаем клавиши «ALT» и «1».
Заходим Вконтакте, ищем игру где нужно делать кучу кликов, подводим мышь и жмем ALT+1. И пока не нажмем ALT+2 клики будут продолжаться.
Ghost Mouse можно скачать на . Установка -ничего сложного. Запускаем.
Для записи действий нажимаем красную кнопку. Или нажимаем F9, Для воспроизведения действий нажимаем «Ctrl+Q «.
Источник: labelproject.ru
3 программы-автокликера
Большинство одних и тех же действий в различных программах можно автоматизировать. Например, в Microsoft Excel пользователи создают макросы, для браузеров реализованы специальные дополнения для автоматизации рутинных задач. То же самое касается и компьютерной мыши: полностью автоматизировать процесс нажатия компьютерной мыши способы специальные программы-автокликеры.
Автокликер – специальная утилита, которая позволяет имитировать щелчок мыши. Подобная необходимость может возникнуть, например, при прохождении компьютерной игры, где дальнейший успех зависит от многократного нажатия кнопки мыши или выполнения определенной повторяющейся последовательности. Чтобы не выполнять данную процедуру самостоятельно, ее можно доверить одной из программ-автокликеров, приведенных ниже.
Mouse Recorder Pro
Функциональная программа-автокликер, которая оснащена широким спектром настроек для создания макросов, имитирующих действия компьютерной мыши. Отличается достаточно приятным и понятным интерфейсом, в котором можно быстро освоиться, несмотря на отсутствие поддержки русского языка.
Clickermann
Если требуется куда более функциональное решение, направленное преимущественно на опытных пользователей, то определенно стоит обратить свое внимание на программу Clickermann.
Программа способна детально имитировать работу человека за компьютером, позволяя создавать точнейшие сценарии работы компьютерной мыши. Обладая базовыми навыками работы с языком программирования Pascal, у вас не возникнет особых трудностей при эксплуатации данной программы.
GS Auto Clicker
А эта программа, в отличие от вышеописанных, куда более простой инструмент для автоматизации работы мышки.
Для работы данной программы достаточно указать кнопку мыши, нажатие которой будет имитировать программа, а также интервал и периодичность выполнения щелчков. Дополнительно программа позволяет назначить горячую клавишу на клавиатуре, которая, пока вы будете ее удерживать, будет имитировать клики мыши.
Каждая из предложенных программ распространяется бесплатно, а значит, это отличная возможность упростить работу на компьютере, автоматизировав процессы работы с мышкой.
Источник: softrew.ru
Как клик-боты имитируют реальных пользователей: 8 способов
Классический бюджет интернет-маркетолога включает в себя расходы на SEO-продвижение сайта, контекстную рекламу, SMM и таргетированную рекламу в соцсетях, управление репутацией бренда и прочие множественные варианты лидогенерации. И всё для того, чтобы снизить стоимость одного обращения (CPO и CPA), сгладить влияние негативных отзывов недовольных покупателей и уменьшить процент показателя отказов и брошенных корзин. Но, к сожалению, там, где есть активное платное привлечение покупателей, там же и недействительный трафик, или скликивание.
Содержание скрыть
Что такое клик-бот
Клик-боты (от англ. click — нажимать на клавишу мыши и bot (сокр.) — робот) — это специальные скрипты или программы, которые созданы для автоматического скликивания PPC-рекламы на поиске, сайтах рекламной сети или в социальных сетях. Они имитируют заранее заданные бот-мастером действия и поведение реальных пользователей. Могут использоваться как самим рекламным партнером, на сайте которого размещается реклама, так и третьей стороной, которая зарабатывает на мотивированных кликах и участвует в других мошеннических схемах.
Как правило, их пишут на Python или Java-скрипт в связке с браузерным драйвером Selenium WebDriver. На выходе они представляют собой exe-файл для ОС Windows или бинарный файл для Linux. Для обхода блокировки бота по его IP-адресу он может быстро менять прокси-сервер. Для повторного использования того же бота его программируют на смену заголовка ответа браузера. Например, первый визит якобы был совершен через Internet Explorer, а после смены – через Opera.
Нужно понимать, что это не просто какая-то домашняя программка, установленная на ПК у мастера, а еще и целая сеть зараженных вирусом (червем или Трояном) устройств, будь-то мобильный телефон или тостер. Мастер отправляет команды «зомби»-устройствам, и те их выполняют, например, массово скликивают рекламу на указанном сайте.
О ботнетах, видах, их принципах работы и известных представителях подробнее можно прочитать в этой статье.
Где они используются
Ниже приведены результаты исследования одного американского агентства, которое проанализировало поведение клик-ботов, когда те переходили на сайт по рекламе. Он выполнен на примере сайтов с высокими рекламными бюджетами. Вот топовые тематики ресурсов, где была замечена высокая концентрация скликивания:
- красота и здоровье (уходовая косметика);
- доставка еды и продуктов;
- магазины одежды, спортивные товары;
- сайты о путешествиях (заказ туров, авиабилетов);
- онлайн-образование.
В течение недели проводился анализ каждого клика — и реального пользователя, и бота — в рамках рекламных кампаний.
Способы имитаций ботами реальных пользователей
Клик-боты способны полностью копировать поведение реальных покупателей. Просто прокручивать страничку – это лишь малое, на что они способны. Он может заполнять форму, отправлять ее, копировать текст на странице и имитировать нажатие клавиш на клавиатуре, добавлять товары в корзину, подписываться на рассылку и многое другое.
Вот 8 способов, которые использовали боты, согласно проведенному анализу, в копировании действий реальных покупателей.
1. Оформление заказа
На каждые 50 ботов, которые кликали по рекламному объявлению, приходился один «заказчик». То есть он целенаправленно переходил на страницу оформления заказа (/checkout/). В общей сложности было зафиксировано 3,5 миллиона таких кликов.
► Алгоритм действий: добавление товара в корзину, заполнение формы для оформления заказа и совершение покупки.
► Как результат: потери на рекламном бюджете и логистике (если указывался вымышленный или реальный адрес доставки), возврат средств, влияние на корректный анализ показателей конверсии в метриках. В случае с финансовыми организациями это означало возврат займа, если на сайте предлагалось оформить кредит, например. Как только выяснялось, что данные были поддельные, а заявка мошеннической, то она откланялась. Для посредников это значительные потери собственных средств.
2. Вернувшиеся «покупатели»
Тысячи разных ботов могли сотни раз возвращаться на сайты, которые уже посетили. И не по простоте душевной, а так как на основе их раннего посещения была настроена таргетированная реклама.
► Алгоритм действий: рекламная система, предполагая, что это реальный пользователь, показывала роботу настроенные под его сегмент объявления.
► Результат: 2117 ботов возвращались таким образом на сайты 34 031 раз.
3. Скрейпинг
Скрейпинг — это технология автоматического сбора больших массивов данных ботами путем извлечения их со страниц веб-ресурсов и приложений. Сюда, например, относятся всем известные парсеры, которые автоматически полностью копируют информацию с популярных в своей нише ресурсов. Такие боты играют основную роль в рекламном мошенничестве. Во время проведения исследования на одном лишь сайте было обнаружено 5000 кликов, совершенных такими «поскрёбышами».
► Алгоритм действий: например, один из рекламных партнеров, владеющий кулинарными сайтами с рецептами, обнаружил, что боты крали его качественный контент и монетизировали его на своих площадках через онлайн-рекламу.
Результат: снижение ставок, лояльности рекламодателей и дохода.
4. VPN
Каждый пятый бот использовал VPN-подключение или другие методы сокрытия своего реального местоположения. Например, клик-бот мог притвориться для интернет-магазина покупателем из Германии, России или Японии (в зависимости от зоны охвата магазина). А по факту же находился совершенно в другом месте, например в Пакистане или Вьетнаме, — вне зоны доставки ИМ.
► Результат: к примеру, топовый бренд женской косметики проанализировал клики по контекстной рекламе и обнаружил, что сотни тысяч долларов рекламного бюджета расходовались на посетителей, использующих VPN-трафик. А одна из крупнейших площадок товаров ручной работы, которая тратит на рекламу 2,5 миллиона долларов в месяц, обнаружила 14 000 таких недействительных кликов, где реальным местоположением «посетителей» были преимущественно Китай и Малайзия.
5. Ретаргетинг
Ретаргетинг и ремаркетинг — основа интернет-маркетинга. Это когда под определенный сегмент покупателей, которые не совершили какое-либо целевое действие — покупка, обращение — при своем последнем визите сайта, настраиваются индивидуальные рекламные объявления. У каждого пятого маркетолога на ретаргетинг может быть выделен даже отдельный бюджет. Но как же обидно, когда этот бюджет расходуется на возвращение ботов, а не реальных покупателей.
► Результат: например, один из рекламодателей потратил 3500 долларов на ретаргетинг под клик-ботов.
6. Отмена оплаты и возврат денежных средств
Боты очень часто используются в банковском мошенничестве, и не только для кражи средств с карт. В нашем случае применялась другая схема.
► Алгоритм: бот заходил на сайт, заполнял форму оплаты, якобы делая покупку, а затем требовал ее отмены с возвратом средств.
► Результат: зафиксированы тысячи недействительных кликов по рекламным объявлениям на поиске и в социальных сетях, когда боты совершали транзакцию с последующим требованием возврата средств.
7. Боты-критики
Нередко их используют для генерации фиктивных отзывов. Причем, они могут быть не только положительными, но и негативного характера, что может сильно навредить репутации бренда. Их услуги предлагают специальные сервисы накрутки и мотивированной рекламы.
► Результат: 2500 недействительных кликов на сайт туристической тематики, когда боты после перехода на ресурс целенаправленно генерировали фиктивные отзывы.
8. Посадочные боты по брендовым запросам
Они направлены исключительно на скликивание рекламы по витальным запросам и расходование бюджета. Кроме того, они существенно портят ключевые метрики и поведенческие показатели.
► Алгоритм: боты переходят по объявлению на посадочную страницу и не совершают больше никаких действий. Например, во время проведения исследования боты скликивали рекламные объявления преимущественно по витальным запросам (название бренда или компании + ключевой запрос или же просто название бренда). То есть деньги, потраченные на бота, могли бы привести целевого клиента, который лоялен к бренду.
► Результат: ущерб в ~1 доллар за каждый такой клик. К примеру, 56% недействительных кликов было зафиксировано по запросу «мужские куртки + НАЗВАНИЕ» у одного из интернет-магазинов одежды. Или 48% недействительного трафика по запросу «Asics New» (Asics – магазин спортивной обуви и кроссовок; поиск новинок бренда).
Защита от ботов BOTFAQTOR
Независимо от формы имитации поведения реальных пользователей и совершаемых действий, цель всех клик-ботов — расходование бюджета, нанесение ущерба репутации бренда и снижение ключевых показателей. Маркетолог (рекламодатель) может применять различные инструменты, которые предлагают рекламные сети Google Ads и Яндекс.Директ, но они ограничены в своем функционале. К примеру, там нет возможности занести в базу всех обнаруженных или потенциальных ботов.
Сервис Botfaqtor предлагает воспользоваться уже собранной и постоянно пополняемой стоп-базой, в которой содержится несколько миллионов пойманных ботов и источников фрод-трафика. Если вы не уверены в том, что ваш рекламный бюджет достигает исключительно целевых покупателей, воспользуйтесь услугой защиты рекламных объявлений Botfaqtor.
Возможно, вам будет интересно:
Что такое недействительный трафик, виды и методы определения
Как вернуть деньги за скликивание в Google Ads и Я.Директ
Об авторе
Алёна
Пишу о ботах и кибербезопасности
Источник: botfaqtor.ru