В интернете поисковые системы появились довольно давно – больше десятилетия назад. Тогда пользователей сети было немного, в основном – сотрудники научных учреждений, и не было такого огромного количества информации, в которой необходимо ориентироваться. Поэтому первые поисковые системы занимались только поиском ссылок к страницам.
Сейчас ситуация изменилась. Страниц в сети невероятное множество. При этом практически любой человек в мире может получить доступ к информационным ресурсам, которыми располагает сеть, и поисковые системы превратились в огромные сервисы, исполняющие множество функций.
Первым проектом, призванным облегчить поиск необходимой информации в сети, стал метод создания каталогов сайтов. Они содержали ссылки на различные ресурсы, сгруппированные по тематикам. На этом этапе появился сервис Yahoo.com. Его еще нельзя было назвать полноценной поисковой системой, так как поиск ограничивался сайтами, содержащимися в каталоге. Каталоги сайтов используются и сейчас, однако значительно уступают по охвату даже наиболее простым поисковым системам.
На что способны роботы с мозгом ChatGPT // Реальный Робокоп // Новости технологий
Первая поисковая система, позволившая искать ресурсы по всей сети, появилась в 1994 году и называлась WebCrawler. Современному поколению пользователей она практически неизвестна, так же как и появившиеся следом Lycos и AltaVista. А все потому, что в 1997 году в Стэнфордском университете была создана поисковая система Google, которая изначально разрабатывалась как научный проект. В этом же году появился и Yandex, занимающий лидирующее положение среди российских пользователей.
Все эти системы состоят из нескольких элементов. В модуль индексирования входят три робота-программы. Это spider или паук – программа, скачивающая интернет-страницы и извлекающая из них все ссылки на другие ресурсы, которые они содержат. Crawler – программа, которая занимается автоматическим исследованием всех обнаруженных ссылок.
После чего определяет, какие еще страницы должен скачать паук. Затем все скачанные страницы анализирует робот-индексатор (Indexer).
Все данные, полученные поисковой системой с помощью модуля индексирования, хранятся в базе данных.
Но самая важная часть такой системы – поисковый сервер. Он содержит все алгоритмы, определяющие скорость поиска и его качество. На сервер поступает интересующий пользователя запрос, который перенаправляется другим элементам системы и анализируется. Результат поиска выдается при помощи специальной программы, целью которой является помещение страницы, наиболее отвечающей параметрам поиска, в верхние строки результатов.
Сообщение (другой вариант)
1. Что такое поисковые системы?
— Определение и примеры поисковых систем.
— Как они работают?
2. История развития поисковых систем.
— Начало: первые поисковые системы в Интернете.
— Эволюция: изменения в алгоритмах и приложениях.
3. Роль поисковых систем в Интернете.
— Поиск информации в Интернете.
— Реклама и маркетинг в Интернете.
Что нужно знать робототехнику
4. Принципы работы поисковых систем.
— Критерии ранжирования страниц в поисковой выдаче.
— Алгоритмы ранжирования, используемые поисковыми системами.
5. Защита от нежелательной почты и спама.
— Методы фильтрации нежелательной почты и спама.
— Защита конфиденциальности данных пользователей.
6. Будущее поисковых систем.
— Технологические изменения и новые методы работы.
— Возможности интеграции с другими сервисами Интернета.
Картинка к сообщению Поисковые системы
Популярные сегодня темы
- Южная Америка Южная Америка – материк, раскинувшейся в южной части западного полушария планеты Земля. На севере она омывается водами Карибского моря. Восточная и западная часть материка соприкасаются с вод
- Кометы С древнейших времен люди наблюдали в ночном небе появление комет. Многие считали их предвестниками роковых событий. С появлением и развитием астрономии ученные смогли более подробно изучить и
- Сплавы металлов В природе множество металлов с разными примесями. Металлы с добавками называют сплавами. Есть металлы, которые называют основными, так как их больше в составе сплава.
- Творчество художника Леонардо Да Винчи Леонардо да Винчи появился на свет 15 апреля 1452 года в южной Италии. Он был всесторонне развит. Это гениальный художник, замечательный инженер, великий ученный и известный представитель эры
- Византия Когда-то на южно-восточной части Европы существовало одно из самых удивительных государств за всю историю планеты – Византия. Данное государство можно назвать периодом перерождения античности
- Созвездие Рака Люди с древности наблюдают за звёздами. Они научились определять по ним путь и предсказывать некоторые события. Для упрощения, человек объединил некоторые группы небесных светил, объединив их
Источник: doklad-i-referat.ru
Поисковые системы их роботы и пауки
Как правило, поисковая машина представляет собой сайт, специализирующийся на поиске информации, соответствующей критериям запроса пользователя. Основная задача таких сайтов заключается в упорядочивании и структурировании информации в сети.
Большинство людей, пользуясь услугами поисковой системы, никогда не задаются вопросом как именно действует машина, отыскивая необходимую информацию из глубин Интернета.
Для рядового пользователя сети, само понятие принципов работы поисковых машин не является критичным, так как алгоритмы, которыми руководствуется система, способны удовлетворить запросы человека, который не знает как составлять оптимизированный запрос при поиске необходимой информации. Но для веб-разработчика и специалистов занимающихся оптимизацией сайтов, просто необходимо обладать, как минимум, начальными понятиями о структуре и принципах работы поисковых систем.
Каждая поисковая машина работает по точным алгоритмам, которые держатся под строжайшим секретом и известны лишь небольшому кругу сотрудников. Но при проектировании сайта или его оптимизации, обязательно нужно учитывать общие правила функционирования поисковых систем, которые рассматриваются в предлагаемой статье.
Невзирая на то, что каждая ПС имеет свою собственную структуру, после тщательного их изучения можно объединить в основные, обобщающие компоненты:
Модуль индексирования
Модуль индексирования — этот элемент включает три дополнительных компонента (программы-роботы):
1. Spider (робот-паук) — скачивает страницы, фильтрует текстовый поток извлекая из него все внутренние гиперссылки. Кроме того, Spider сохраняет дату скачивания и заголовок ответа сервера, а также URL — адрес страницы.
2. Crawler (ползающий робот-паук) — осуществляет анализ всех ссылок на странице, и на основе этого анализа, определяет какую страницу посещать, а какую не стоит. Таким же образом краулер находит новые ресурсы, которые должны быть обработаны ПС.
3. Indexer (Робот-индексатор) – занимается анализом скачанных пауком интернет-страниц. При этом сама страница разбивается на блоки и анализируется индексатором с помощью морфологических и лексических алгоритмов. Под разбор индексатора попадают различные части веб-страницы: заголовки, мета-теги, тексты и другая служебная информация.
Все документы, прошедшие обработку этим модулем, хранятся в базе данных поисковика, называемой индексом системы. Кроме самих документов, база данных содержит необходимые служебные данные – результат тщательной обработки этих документов, руководствуясь которыми, поисковая система выполняет запросы пользователя.
Поисковый сервер
Следующий, очень важный компонент системы – поисковый сервер, задача которого заключается в обработке запроса пользователя и генерации страницы результатов поиска.
Обрабатывая запрос пользователя, поисковый сервер рассчитывает рейтинг релевантности отобранных документов запросу пользователя. От этого рейтинга зависит позиция, которую займет веб-страница при выдаче поисковых результатов. Каждый документ, удовлетворяющий условиям поиска, отображается на странице выдачи результатов в виде сниппета.
Сниппет – это краткое описание страницы, включающее заголовок, ссылку, ключевые слова и краткую текстовую информацию. По сниппету пользователь может оценить релевантность отобранных поисковой машиной страниц своему запросу.
Важнейшим критерием, которым руководствуется поисковый сервер при ранжировании результатов запроса – является уже знакомый нам показатель тИЦ (тематический индекс цитирования).
Все описанные компоненты ПС требуют больших затрат и очень ресурсоемкие. Результативность поисковой системы напрямую зависит от эффективности взаимодействия этих компонентов.
На этом все. Если поделитесь своими наблюдениями о ПС , буду очень признателен.
С огромным Уважением, Vladimir Zadorozhnyuk
Источник: webodyssey.info
Интернет как глобальная информационная система
Напомним основные понятия, касающиеся Всемирной паутины.
Веб-страница может содержать текст, мультимедийные объекты (графическую, аудио- и видеоинформацию), гиперссылки на файлы или другие веб-страницы, а также всевозможные активные компоненты, например формы, позволяющие установить обратную связь между пользователем и веб-страницей посредством типовых элементов управления (текстовых полей, кнопок и т. п.).
Гиперссылка — некоторое ключевое слово или объект в документе, с которым связан переход к другому документу. Текст, в котором используются гиперссылки, называется гипертекстом.
Веб-сайт — группа веб-страниц, связанных единой темой, общим стилем оформления и взаимными гиперссылками.
Браузер (от англ. browse — просматривать) — специальная программа для просмотра веб-страниц.
Современные браузеры обладают возможностями загрузки и отображения веб-страниц, сохранения веб-страниц на носителях данных, сохранения истории посещения веб-страниц, создания каталога избранных ресурсов, поиска на веб-странице фрагмента текста, просмотра HTML-кода веб-страницы, печати содержимого веб-страницы и др.
Веб-страница с точки зрения её разработчика — это файл, содержащий собственно текст, несущий определённую информацию для пользователя, и служебную информацию для браузера (тэги разметки) на языке HTML (англ. HyperText Markup Language — язык разметки гипертекста). Тэги разметки представляют собой определённые стандартом HTML последовательности символов, являющиеся инструкциями для программы просмотра. Согласно этим инструкциям, браузер располагает текст на экране, включает в него рисунки, хранящиеся в отдельных графических файлах, и формирует гиперсвязи с другими документами или ресурсами Интернета.
Веб-страницы предназначены для воспроизведения на самых разных экранах самых разных компьютеров. Поэтому они не имеют «жёсткого» форматирования. Оформление веб-страницы выполняется непосредственно во время её воспроизведения на компьютере клиента в соответствии с настройками используемого браузера.
• описание содержания и логической структуры веб-страницы производится с помощью HTML или других языков разметки;
• описание внешнего вида веб-страницы производится с помощью CSS.
Такое разделение позволяет применять единый заранее разработанный стиль оформления для многих схожих документов, а также быстро изменять оформление документов за счёт изменения этого стиля, хранящегося в отдельном CSS-файле. Перенос правил представления данных в отдельный файл ведёт к уменьшению времени загрузки страниц сайта — описание представления данных загружается браузером только один раз, а далее, при переходе с одной страницы сайта на другую, браузер загружает только структуру страницы и хранимые на ней данные. Можно предусмотреть несколько дизайнов страницы, применяемых в зависимости от характеристик устройства (размера и разрешения экрана), используемого для просмотра.
Веб-сайты и веб-страницы хранятся на так называемых вебсерверах — компьютерах, на которых установлено специальное программное обеспечение, обладающее соответствующим функционалом. Программа, позволяющая хранить и пересылать веб-страницы, также называется веб-сервером. Пользователи, имеющие доступ к сети, просматривают веб-документы при помощи программ-клиентов — веб-браузеров (рис. 4.1).
Взаимодействие клиент-сервер происходит по протоколу HTTP (англ. HyperText Transfer Protocol — протокол передачи гипертекста).
Рис. 4.1. Схема обработки запросов пользователя
Активные компоненты веб-страниц содержат программный код, позволяющий выполнять действия в соответствии с заложенной в них программой. Для написания таких программ используются языки веб-программирования. Один из них — JavaScript, позволяющий описывать правила, определяющие реагирование веб-страницы на действия пользователя. Эти правила представляются в форме вебсценариев (скриптов) — программ, записываемых непосредственно в html-код страниц или в отдельный файл.
Что касается языков веб-программирования в целом, то их можно разделить на две пересекающиеся группы: клиентские и серверные. Программы на клиентских языках выполняются на стороне пользователя, и результат их выполнения зависит от используемого браузера. Серверные языки программирования, соответственно, выполняются на стороне сервера. Получая запрос с адресом веб-документа от браузера, серверные программы связываются с базой данных. БД передаёт информацию о веб-странице скриптам сервера, и те, обработав её, отсылают для интерпретации браузеру клиента, который и выводит результат совместной работы на монитор.
16.2. Поиск информации в сети Интернет
Поиск нужного документа во Всемирной паутине может происходить разными способами:
• указанием адреса документа;
• путём использования поисковых систем.
Поисковая система — это программно-аппаратный комплекс, предназначенный для поиска информации во Всемирной паутине.
Поисковая машина — программная часть поисковой системы; комплекс программ, предназначенный для поиска информации.
Поисковые системы располагаются на специально выделенных компьютерах с мощными каналами связи. Ежеминутно они обслуживают огромное количество поисковых запросов клиентов.
По принципу действия различают несколько типов поисковых систем, а именно:
• поисковые каталоги, управляемые человеком;
• системы, использующие поисковых роботов;
• гибридные поисковые системы.
Поисковые каталоги (веб-каталоги или тематические каталоги) содержат базу данных ссылок на веб-сайты, распределённых по отдельным тематическим рубрикам. Такие каталоги заполняются специалистами вручную. Поиск в них осуществляется спуском по дереву каталога:
• определив тему, по которой будет выполняться поиск, пользователь выбирает соответствующую рубрику тематического каталога;
• прочитав описания ссылок на открывшейся странице, пользователь может перейти по ссылке, соответствующей его ожиданиям; если же нужных ссылок не обнаруживается, то можно уточнить тему и повторить поиск в этой же или другой поисковой службе.
В 1994 году Дэвид Фило и Джерри Янг из Стэнфордского университета (США) предприняли попытку упорядочить большое количество накопившихся у них ссылок на разнообразные информационные источники. Так появилась идея использования специализированной базы данных для эффективного поиска информации в сети. Очень скоро созданная ими система Yahoo! стала самым популярным и полным иерархическим предметно-ориентированным путеводителем по Интернету. В наши дни — это одна из наиболее известных поисковых систем.
Информация о ключевых словах исследованных таким образом страниц сохраняется в поисковой системе.
При поступлении запроса от пользователя поисковая система на основании имеющейся в ней информации формирует список страниц, соответствующих критериям поиска. Найденные документы, как правило, упорядочиваются в зависимости от местоположения ключевых слов (в заголовке, в начале текста), частоты их появления в тексте и других характеристик.
Различные поисковые системы, использующие поисковых роботов, имеют схожую структуру, включающую:
1) модуль индексирования, состоящий из трёх программ-роботов (Spider или «паук» — скачивает веб-страницы; Crawler или «путешествующий паук» — переходит по всем ссылкам, имеющимся на странице, и ищет новые документы, ещё не известные поисковой системе; Indexer или «робот-индексатор» — разбивает на фрагменты страницы, которые скачали «пауки», анализирует их и составляет некоторое описание этих страниц);
2) базу данных — хранилище представленных в определённом формате всех скачанных и обработанных модулем индексирования документов;
3) поисковый сервер — система выдачи результатов поиска, определяющая, какие страницы и в какой степени удовлетворяют запросу пользователя.
Поисковая система, получив запрос на поиск, анализирует ту информацию, которая была ею проиндексирована. С одной стороны, это позволяет существенно повысить скорость обработки поискового запроса. С другой стороны, результаты поиска нельзя считать полными, т. к. ни одна поисковая система не может загрузить в свою базу данных информацию обо всех без исключения ресурсах. Кроме того, результаты поиска могут быть отчасти устаревшими — ситуация в сети Интернет меняется быстрее, чем происходит обновление сведений в базах данных поисковых систем.
Гибридные поисковые системы сочетают в себе функции систем, управляемых человеком, и систем, использующих поисковых роботов.
Несмотря на общие принципы работы, поисковые системы различаются по таким характеристикам, как: язык запроса, зона поиска, глубина поиска внутри документа, метод упорядочивания информации и др. На данный момент самой популярной в мире поисковой системой является Google, а крупнейшей отечественной поисковой системой — Яндекс.
В большинстве поисковых систем реализовано три основных типа поиска:
1) поиск по любому из слов — результатом является огромный список всех страниц, содержащих хотя бы одно из ключевых слов; применяется, когда пользователь не уверен в ключевых словах;
2) поиск по всем словам — в этом режиме формируется список всех страниц, содержащих все ключевые слова в любом порядке;
3) поиск точно по фразе — в результате составляется список всех страниц, содержащих фразу, точно совпадающую с ключевой (знаки препинания игнорируются).
Чтобы поиск стал более продуктивным, во всех поисковых системах предусмотрены специальные языки формирования запросов со своим синтаксисом. Эти языки во многом похожи. Выяснить особенности определённого языка можно с помощью справочной системы, входящей в состав поисковой машины.
Найдите информацию о правилах формирования поисковых запросов в поисковых системах Яндекс и Google. Сравните их между собой. Укажите общее и различия.
Пример. В языке запросов некой поисковой машины для обозначения логической операции ИЛИ используется символ «|», а для логической операции И — символ « Google», и его мощность равна 145 (тыс.):
Рассуждая аналогично, можем записать: |В ? G| = 580, |Я ? В ? G| = 85.
Требуется найти мощность множества (Я ?) ? G.
Преобразуем это выражение:
(Я ? В) ? G = (Я ? G) ? (В ? G).
В справедливости такого преобразования вы можете убедиться, изобразив левую и правую части равенства с помощью кругов Эйлера.
Согласно принципу включений-исключений, для двух множеств имеем: |Х ? У| = |Х| + |У| — |Х ? У|.
В нашем случае получаем:
|(Я ? G) и (В ? G)| = |Я ? G| + |B ? G| — |(Я ? G) ? (В ? G)| = |Я ? G| + |B ? G| — |Я ? G ? B| = 145 + 580 — 85 = 640.
Как бы точно ни был составлен пользователем запрос к информационной системе, только малая часть из полученных по этому запросу документов будет релевантной, т. е. соответствующей зафиксированной в запросе информационной потребности.
Полнота поиска — это отношение числа выданных релевантных документов к общему числу релевантных документов, имеющихся в базе данных поисковой системы. В идеале это число должно равняться 1; на практике может достигать значений 0,7-0,9.
Точность поиска — это отношение числа выданных релевантных документов к общему числу документов, выданных системой по данному запросу. Значение этого параметра колеблется от 0,1 до 1.
Полнота и точность определяют качество или эффективность поиска.
16.3. О достоверности информации, представленной на веб-ресурсах
Поиск информации в сети Интернет удобен и прост, а самое главное — он занимает гораздо меньше времени, чем поход в библиотеку или работа с другими источниками информации. Благодаря этому в наши дни Интернет является самым популярным источником информации: им пользуются не только рядовые граждане, но и учёные, бизнесмены, государственные служащие, специалисты разных областей и сфер деятельности для решения самого широкого круга профессиональных задач. И это при том, что Интернет является зоной свободного доступа, в которой абсолютно каждый может не только искать ту или иную информацию, но и размещать в ней всё, что сочтёт возможным. Эти данные никем не контролируются и не проверяются, а поэтому они могут быть недостоверными (содержать устаревшие данные, ошибочные или заведомо ложные утверждения) и субъективными (отражать личную точку зрения автора).
К данным, которые вы получили в результате поиска в Интернете, следует относиться критически и предпринимать шаги для того, чтобы убедиться в достоверности информации.
Рассмотрим некоторые способы проверки информации, полученной в результате поиска в сети Интернет.
1. Выяснение репутации сайта, на котором размещена информация, представляющая для вас интерес. Проверенные данные публикуют официальные сайты государственных, коммерческих, научных и других структур, являющиеся первоисточниками информации.
Ответственность за любую опубликованную ими информацию несут ресурсы, имеющие свидетельство о регистрации средства массовой информации. Избегают недостоверной информации известные ресурсы, занимающие высокие места в соответствующих рейтингах. Представление о репутации сайта можно получить в том числе и по имеющимся в сети отзывам об этом ресурсе.
Если веб-сайт не обладает широкой известностью, то следует обратить внимание на следующие моменты:
• указано ли, для кого предназначен ресурс и какова цель его создания;
• насколько регулярно обновляются данные на веб-сайте; не устарела ли информация (узнать дату размещения материалов);
• не требуют ли разработчики веб-страницы ввода ваших личных данных.
2. Получение информации об авторе представляющего интерес материала. Следует убедиться, что на веб-странице приведены данные об авторе, в том числе описание его квалификации и контактная информация. Можно попытаться найти и ознакомиться с другими работами этого автора, комментариями и отзывами читателей на его работы.
3. Проверка фактического материала. Любые фактические и статистические данные имеют источник. Хорошо, если ссылки на авторитетные источники имеются на страницах заинтересовавшего вас сайта. Если таких ссылок нет, то данные можно выборочно сверить с официальными источниками самостоятельно.
Если обнаружится, что какие-то данные не согласуются с данными официальных источников, то и остальному материалу также не стоит доверять. Хорошо, если данные подаются с разных точек зрения, если они согласуются с тем, что вы изучали в школе или узнали из других источников.
Необходимо чётко представлять себе, что именно вы ищете, и проверять все важные данные, найденные в Интернете. Если в результате поиска вы не нашли ни одного подходящего документа, нужно:
• проверить правильность написания ключевых слов;
• проверить правильность использования логических связок;
• подобрать более удачные синонимы;
• изменить логику запроса.
САМОЕ ГЛАВНОЕ
Веб-страница с точки зрения её разработчика — это файл, содержащий собственно текст, несущий определённую информацию для пользователя, и служебную информацию для браузера (тэги разметки) на языке HTML (англ. HyperText Markup Language — язык разметки гипертекста).
Веб-страницы предназначены для воспроизведения на самых разных экранах самых разных компьютеров. Поэтому они не имеют «жёсткого» форматирования. Оформление веб-страницы выполняется непосредственно во время её воспроизведения на компьютере клиента в соответствии с настройками используемого браузера.
Поисковая система — это программно-аппаратный комплекс, предназначенный для поиска информации во Всемирной паутине. Поисковая машина — программная часть поисковой системы; комплекс программ, предназначенный для поиска информации.
По принципу действия различают такие типы поисковых систем, как: поисковые каталоги, управляемые человеком; системы, использующие поисковых роботов; гибридные поисковые системы.
Необходимо чётко представлять себе, что именно вы ищете, и проверять все важные данные, найденные в Интернете. Основными способами проверки найденной информации являются: выяснение репутации сайта; получение информации об авторе материала; проверка фактического материала по данным из авторитетных источников.
Источник: murnik.ru