Предположим, перед нами стоит такая задача: собирать информацию о рекламных объявлениях с различных сайтов в разных категориях. В дальнейшем эта информация будет использоваться для мониторинга и анализа рынка, оповещения о каких-то событиях на этом рынке. Похоже на создание мини- поисковой системы.
По сути дела, имеем 4 подсистемы:
1. Сервис запуска плагинов, собирающих и извлекающих информацию
2. Временное хранилище данных
3. Индекс данных
4. Приложения для работы с извлеченными данными, например, генератор отчетов
Рассмотрим последовательно каждую систему.
Краткий обзор подсистем
1. Сервис запуска плагинов
Представляет собой сервис, который по имеющемуся расписанию запускает из своей библиотеки плагины. В случае ошибки выполнения отдельного плагина, сервис производит определенные действия (запись в журнал, оповещение разработчика по e-mail, рестарт, отключение плагина и т.д.)
2. Временное хранилище данных
Вспомогательная система, обеспечивает хранение и доступ к скачиваемым из интернета страницам. Мы не можем использовать в явном виде базу данных SQL: данные загружаются из интернета сплошными потоками, их очень много и они появляются очень быстро, к тому же, к ним постоянно осуществляется доступ (чтение, изменение, удаление), также в несколько потоков и с высокой периодичностью. Была попытка использования NoSQL-баз данных, но они также не выдерживали нагрузки. В результате было сделано гибридное хранилище: информация о записях хранится в SQL-базе, а само HTML-содержимое в больших файлах. Периодически специальный плагин «вырезает» из этих файлов удаленные страницы.
Python с нуля | Словари в Python | Методы словарей, перебор словарей в Python
3. Индекс данных
Для быстрого доступа к данным необходим индекс. Предположим, мы собираемся просматривать количество объявлений в той или иной категории за выбранную дату. Делать подобную выборку из базы и временного хранилища каждый раз — очень дорого для ресурсов сервера. К тому же, какие-то данные будут избыточными. Поэтому строится индекс, куда заносится только ID объявлений и их категории для каждого дня.
4. Приложения для работы с извлеченными данными
Тут все понятно. Это приложения, с которыми работает конечный пользователь. Собранные данные, благодаря построенным индексам, можно теперь быстро и удобно просматривать. Это может быть веб-приложение, где пользователь выбирает шаблоны отчетов и критерии выборки и получает данные в виде таблиц или графиков. Может быть, это будут ежедневные письма менеджерам, отражающие категории объявлений, в которых наблюдается повышенная активность.
Конвейер производства данных
Представим получение данных в виде конвейера.
1. Набор веб-спайдеров, скачивающих с сайтов-источников страницы с результатами поиска. Это те страницы, до которых обычно не добирается поисковый бот (за исключением SEO-страниц, но количество объявлений в них скорее всего будет не полным и содержит лишь наиболее популярные категории). Для каждого сайта придется написать свой плагин со своей логикой запросов.
32 Словари (dict) Python. Операции и методы словаря.
Иногда это GET-запрос с параметрами в querystring, иногда придется слать POST или даже слать параметры через cookies. Для написания такого плагина поможет любой HTTP-анализатор, встроенный в браузер. Задача плагина, скачивающего результаты поиска — охватить все категории объявлений на сайте, посетить все его страницы и сохранить содержимое во временное хранилище. Во избежание зацикливаний при перемещении по пейджингу (paging — перемещение по страницам результата), рекомендуется сравнивать содержимое страницы с предыдущей.
2. Следующий этап конвейера — плагин, извлекающий с загруженных страниц ссылки на страницы с детальным описанием объявления (товара, услуги, в зависимости от специализации сайта). Тут можно попытаться анализировать все ссылки и выделять из них нужные или пойти простым путем и вводить для каждого сайта свое описание такой ссылки. Наиболее простой путь — это использовать свое XPath-выражение для извлечение ссылок с каждого сайта. Плагин извлекает ссылки, сохраняет их в базу и помечает страницы с результатами, как обработанные. Дополнительно плагин может проверить не является ли страница сообщением об ошибке или о том, что результате поиска не найдено результатов.
На случай, если у вас возник вопрос для чего нужно хранить страницы с результатами поиска, расскажу для чего это нужно. Бывают очень большие сайты, скачивание которых занимает длительное время, а плагины часто в результате ошибки вынуждены рестартовать. Ошибки будут, они могут быть связаны с работой сайта, производительностью вашего сервера, сетевые ошибки.
В этом случае логично продолжить скачивание с того места, на котором плагин прервался. В случае, если что-то на сайте поменялось и ссылки на страницы с деталями не удается извлечь, достаточно будет только поменять XPath или алгоритм извлечения и перезапустить плагин. Он быстро обработает все хранящиеся страницы без повторного скачивания.
3. Далее идет снова «универсальный» плагин. Он получает список ссылок на страницы с деталями и скачивает их, сохраняя страницы во временном хранилище. Вообще все страницы (с результатами поиска и с деталями) имеют период устаревания, после которого они считаются недействительными и будут удалены. И обработка их производится от старых — к более новым.
После обработки они маркируются как обработанные. Ссылки для скачивания, в случае неудачи, помечаются временем попытки скачивания, чтобы можно было попробовать повторную попытку позже. Причиной ошибки может быть временная недоступность сервера или прокси. Для скачивания с отдельных сайтов могут понадобиться прокси. Ну и не следует забывать о нагрузке на сервер сайта-источника данных, необходимо слать запросы не чаще 1 раза в секунду.
4. Имея страницы с деталями объявления, осталось только извлечь необходимую информацию из HTML. Для этого снова придется написать для каждого сайта свой плагин или придумать более интеллектуальный универсальный. В простейшем случае снова можно задействовать XPath для каждого поля документа. Для парсинга HTML подходит такая библиотека как HtmlAgilityPack. Извлеченную информацию нужно поместить в какой-то универсальный формат (например XML) и передать дальше по конвейеру.
5. Из набора xml-файлов со всеми данными можно распорядится ими в соответствии с поставленными задачами, например построить соответствующий индекс, который уже будут использовать конкретные приложения.
Заключение
Я очень коротко ознакомил вас с реально-действующей системой, которая используется для разных вертикалей сайтов. На самом деле при создании этой системы, которая развивается уже 4 года, появлялось множество подводных камней. Если данная тема будет встречена уважаемым сообществом с интересом, то напишу на эту тему еще что-нибудь более подробно.
Источник: habr.com
Поиск с применением специальных средств
Этот полностью автоматизированный метод может оказаться весьма эффективным для проведения первичного поиска.
Одна из технологий этого метода основана на применении специализированных программ-спайдеров, которые в автоматическом режиме просматривают Web-страницы, отыскивая на них искомую информацию. Фактически это автоматизированный вариант просмотра с помощью гипертекстовых ссылок, описанный выше (поисковые машины для построения своих индексных таблиц используют похожие методы). Нет нужды говорить, что результаты автоматического поиска обязательно требуют последующей обработки.
Применение данного метода целесообразно, если использование поисковых машин не может дать необходимых результатов (например, в силу нестандартности запроса, который не может быть адекватно задан существующими средствами поисковых машин). В ряде случаев этот метод может быть очень эффективен.
Выбор между использованием спайдера или поисковых серверов являет собой вариант классического выбора между применением универсальных или специализированных средств.
Т.о., автономные поисковые программы-роботы, то есть специализированные программы, устанавливаемые на компьютер пользователя и облегчающие ему поиск и иногда получение информации из сети, относятся ко второму типу поисковиков.
Поиск информации с помощью таких программ имеет одно неоспоримое преимущество: имеется возможность выбора ПС и настроек параметров поиска в полном соответствии с запросами пользователя.
Иногда встречаются определения “глубокий веб” или “невидимый веб”. Они означают колоссальный массив информации, недоступный для глобальных поисковых машин.
Даже самый полный и всесторонний, как считается, механизм поиска, на Google, индексирует всего лишь 34% страниц имеющихся в Сети. Данные по другим роботам еще хуже: AltаVista имеет представление примерно о 28% содержимого сети, Northern Light — о 20%, Excite — о 14%, Infoseek — о 10%, Lycos — лишь о 3%. (Использованы материалы исследования за 19 августа 2002 года)
При этом, как выясняется, более полные поисковые системы менее надежны, поскольку чаще ссылаются на уже несуществующие или измененные страницы.
Почему и какая именно информация сегодня для обычных методов не доступна?
Временной фактор играет важную роль. Роботы поисковых систем индексируют лишь некоторые страницы наиболее популярных сайтов, к тому же довольно редко — робот может не обращаться к странице месяцами, тогда как информация на многих из них обновляется ежедневно. Некоторые поисковые системы индексируют новостные сайты, но фактически снимают поверхностный слой информации, доступный на момент индексации.
Кроме того, содержимое многих файлов по тем или иным причинам закодировано в специальных форматах, осилить которые обычные машины не могут. Требуется специально настроенное программное обеспечение.
В настоящее время предпринимаются попытки создать программные продукты – программы-спайдеры (от англ. “spider” – паук), ориентированные на поиск в “невидимой” части Всемирной Паутины непосредственно с компьютера пользователя. Среди недавних разработок заслуживает внимание Copernic 2001.
Copernic 2001 представляет из себя классический пример программы-робота. Эта программа проста в обращении и одновременно очень мощная по своим возможностям. Робот просматривает единовременно множество поисковых серверов, разбитых на группы (что позволяет предварительно ограничить область поиска), причем повторяющиеся ссылки удаляются. Результаты поиска выводятся в окне программы и могут сохраняться в виде html-файлов. Copernic умеет также сохранять найденные документы на диске для их последующего просмотра и производить поиск среди них.
Как и другие аналогичные разработки, эти программные пакеты принимают поисковый запрос, посылают его на какое-то число сайтов с базами данных, осуществляют при помощи действующих там механизмов поиск и возвращают пользователю результат в консолидированной форме. Преимуществом названного продукта является его способность осуществлять поиск, причем одномоментно, в разных тематических (новости, здоровье) и функциональных (книги, работа) зонах, а также ряд дополнительных функций, например, умение систематизировать и суммировать найденную информацию, которая обычно поступает к пользователю в виде разрозненных фрагментов. Другая отличительная особенность заключается в том, что пользователь может запрограммировать поиск, который будет осуществляться в автоматическом режиме в заданные промежутки времени. Эти характеристики особенно важны для мониторинга конкурентов на рынке.
Но у этой программы есть несколько существенных недостатков. Первое, нельзя подключить свои службы поиска, и нельзя производить поиск на русских серверах. Но запросы на русском языке обработаются корректно и ссылки будут выданы. Но количество их явно не соответствует реальной картине.
Ведущая американская компания в области деловой разведки Fuld программы деловой разведки». В большинстве случаев эти программы едва ли способны обеспечить хранилища данных и качественный анализ.
Пакеты программ деловой разведки, способные идентифицировать и анализировать информацию, встречаются намного реже. Компания Fuld https://mydocx.ru/11-86673.html» target=»_blank»]mydocx.ru[/mask_link]
SpIDer программа: что это такое. Почтовый сторож SplDer Mail
Программа SpIDer(спайдер) — это почтовый сторож, проверяющий электронные письма на наличие вирусов перед их открытием в почтовых клиентах. Программа SpIDer — это детище компании Dr.Web.
Dr.Web — это российская компания, разрабатывающая средства информационной защиты. Dr.Web разрабатывает антивирусные программы и антиспам-инструменты для физических и юридических лиц.
Компания начала свою деятельность в 1992 году и с тех пор демонстрирует эффективные инструменты защиты, которые соответствуют международным нормам безопасности. Достижения компании в этой сфере подтверждаются соответствующими сертификатами и документами, а также широкой географией пользователей по всему миру.
SpIDer(спайдер) — что это за программа?
Спайдер — это, программа, которая может быть установлена как компонент комплексной защиты от компании Dr.Web, так и отдельно. После установки SpIDer на компьютер, эта программа будет запускаться в автоматическом режиме при каждом запуске операционной системы и работать в фоновом режиме, ожидая электронных писем.
Сторож SpIDer первым получает электронную почту, для того чтобы проверить ее на наличие вирусов. Таким образом, вся входящая электронная корреспонденция изначально поступает в Спа й дер, потом после обработки отправляется в почтовый клиент на компьютере. Все это происходит в фоновом режиме, незаметно для пользователя. В почту клиента письмо приходит «как-будто от сервера» без всяких специфических пометок. Таким же образом проход я т проверку и отправляемые письма: сначала они попадают в SpIDer, где проверяются, а потом отправляются на сервер от лица пользователя.
Как реагирует программа SpIDer на угрозы?
- Если в электронном письме обнаружена вредоносная программа, тогда она удаляется перед доставкой письма пользователю. Процесс удаления вредоносной программы называется «лечением». Письма, прошедшие «лечение», сразу попадают в почтовый клиент, установленный на компьютере.
- Если в письме не обнаружена вирусная программа, но оно вызывает подозрения у программы, тогда письмо не отправляется пользователю, а помещается в изолированное место под названием «Карантин». Сюда же попадают письма, которые обладают очень сложной структурой. Корреспонденция, попавшая в «Карантин», удаляется с серверов, которые ее отправили и сохраняется внутри самой программы SpIDer. После того, как письмо отправлено в «Карантин», программа Спайдер отправляет соответствующее уведомление почтовому клиенту, чтобы пользователь знал, что получено подозрительное письмо и оно перемещено в «Карантин».
- Электронная корреспонденция прошла проверку у SpIDer, передается без пометок и изменений почтовому клиенту для дальнейшего использования.
- по умолчанию заблокирована массовая рассылка, так как она расценивается как спам;
- спам-письма не распознаются, поэтому приходится надеяться на сортировку спама в почтовом клиенте;
- при уничтожении вирусов в письмах, также уничтожается часть информации, которая может быть полезной для пользователя, хоть и является зараженной;
- и др.
Преимущества программы SpIDer
- Антивирусы и сканеры «заточены» под разные способы защиты, а сканирование электронных писем у них находится в качестве дополнительного инструмента. Программа SpIDer — это профессиональный сторож электронных писем и «заточен» именно для этого действия. Поэтому он работает намного эффективней. Например при обнаружении зараженного письма, оно даже не попадет в почтовый клиент, а останется внутри программы. Перечень и разновидность вирусов, которые находит Спайдер в электронных письмах, намного шире, чем у обычных антивирусов и сканеров.
- Сканеры и антивирусы проверяют почтовых клиентов и почтовые ящики по запросу пользователя или по заданному расписанию. А это значит, что у зараженного письма есть шанс попасть в пользовательский компьютер «между проверками» сканера или антивируса. Программа SpIDer постоянно в фоновом режиме проверяет каждое полученное или отправляемое письмо, а это значит, что у зараженных писем практически нет шансов попасть в пользовательский компьютер.
- Не потребляет много системных ресурсов, что не может не радовать пользователей слабых устройств.
Заключение
Программа SpIDer(спайдер) — это инструмент, обязательный к использованию, когда работа пользователя связана с большим количество м электронных писем. К сожалению, заражение устройств через электронную корреспонденцию — это самый популярный способ на сегодняшний день. Поэтому пренебрегать защитой компьютера от заражения через электронные письма не стоит. Особенно когда письма в большом потоке постоянно приходят от различных неизвестных пользователей.