Зеркалами Яндекс считает сайты, которые на запрос робота возвращают один и тот же контент.
Как правило, на этапе создания у сайта уже есть одно зеркало, так как по адресам вида site.ru и www.site.ru обычно открывается один и тот же ресурс. При подключении защищенного протокола у сайта появляются новые зеркала — с префиксом https.
Кроме того, для ресурса могут быть зарегистрированы дополнительные адреса — например, относящиеся к другим доменным зонам или учитывающие опечатки. С дополнительных адресов пользователей могут перенаправлять на основной ресурс. Переадресация применяется также при переезде сайта на новое доменное имя.
Во всех перечисленных случаях сайты со временем будут признаны зеркалами друг друга, а в результатах поиска останется только главное зеркало.
Узнать, какой домен является главным зеркалом вашего сайта, также можно в Яндекс.Вебмастере. Для этого добавьте в свой аккаунт необходимые домены. Те из них, которые поисковая система уже считает зеркалами, будут сгруппированы. Главное зеркало всегда отображается на первом месте.
Галилео | Зеркала 🔎 [Mirrors]
Вы можете также проверить, является ли домен неглавным зеркалом. Для этого достаточно добавить его в форму «Сообщить о новом сайте». Если ресурс признан неглавным зеркалом, вы увидите соответствующее уведомление.
По мере обхода сайтов робот автоматически определяет, какие из них являются зеркалами друг друга, и постепенно объединяет их в группы. В каждой такой группе выбирается главное зеркало. При этом робот в первую очередь учитывает пользовательские указания — постраничный редирект с кодом 301.
При необходимости вы можете изменить главное зеркало. Это стоит делать только в том случае, если вам действительно важно, какой адрес будет отображаться в результатах поиска. При смене главного зеркала невозможно гарантировать полное сохранение позиций сайта в поиске, посещаемость и другие значимые для владельцев показатели.
Чтобы сменить главное зеркало сайта, достаточно установить 301 постраничный редирект с не главных зеркал на главное.
Она должна быть задана в файлах robots.txt всех зеркал. Сообщить роботу о внесенных изменениях можно в Яндекс.Вебмастере. Для этого нужно зайти в раздел «Настройка индексирования», далее «Переезд сайта» и выбрать нужный домен из списка. Если этот домен там отсутствует, значит, он еще не был добавлен на странице «Мои сайты».
Возможна ситуация, когда домен уже добавлен в Вебмастер, но не отображается в списке зеркал. Это значит, что поисковая система еще не склеила его с другими зеркалами и воспринимает как отдельный ресурс. В этом случае менять главное зеркало не требуется. Нужно просто подождать, пока поисковая система склеит зеркала.
Попробуйте узнать, какой ваш сайт поисковая система считает главным. Какие зеркала объединены в группу?
Источник: yandex.ru
Раскрываю секрет магии с зеркалом #зеркало #секрет #физика
Как устроено наше зеркало
Зеркалом называется копия данных одного информационного ресурса на другом. Зеркала используются для предоставления доступа к копиям информации через несколько источников. С помощью зеркал, например, осуществляется распространение дистрибутивов *nix-систем: копии репозиториев хранятся на многочисленных зеркалах, расположенных в различных точках мира. Использование зеркал позволяет рационально распределять нагрузку и обеспечить высокую скорость скачивания пакетов.
Свое зеркало пакетов, в котором хранятся копии репозиториев популярных linux-систем, есть и у нашей компании. В этой статье мы хотели бы подробно рассказать о его устройстве.
Запуская в 2010 году проект облачных серверов, мы выбрали для них модель установки net-install, при которой дистрибутивы устанавливаются «родным» исталлятором с одного из официальных зеркал. Благодаря такой модели можно всегда получать актуальные версии ПО со всеми последними изменениями, внесенными мейнтейнерами дистрибутива. Еще одно преимущество модели net-install заключается в том, что она позволяет избавиться от целого ряда проблем, связанных с клонированными инстансами (необходимость генерации SSH-ключей, UUID’ов файловых систем и т.п.).
В качестве основного зеркала мы выбрали mirror.yandex.ru, потому что оно близко расположено и содержит все нужные нашим клиентам репозитории. Сначала оно нас вполне устраивало. Но потом случилось непредвиденное. Число установок росло, инженеры налегали на тестирование шаблонов; в конце концов Яндекс, возмутившись огромным количеством одинаковых запросов, просто закрыл доступ к своему зеркалу для наших подсетей.
Что такое зеркало сайта
Рассказываю о том, что представляет собой зеркало сайта. Как оно работает, зачем нужно и как его правильно настроить.
Определение термина «зеркало сайта»
Под зеркалом сайта подразумевается аналогичный сайт, но доступный в сети по другому адресу. То есть существует условный сайт timeweb.com, а вдобавок к нему разработчики сделали сайт таймвэб.рф. Вот эти веб-ресурсы поисковая система будет считать зеркальными, если на них размещен идентичный контент.
Тут важно понимать, что под контентом подразумеваются не только опубликованные материалы, но и другие детали: HTML-файлы, CSS-файлы, скрипты и т.п. Все должно совпадать процентов на 90, чтобы поисковая система решила, что это зеркальные веб-ресурсы.
Некоторые зеркала создаются автоматически: к примеру, при добавлении префикса www. добавляется еще один адрес сайта, который автоматически становится его зеркалом, то есть отдельным ресурсом, но склеенным с оригинальным. Поэтому в ранжировании поисковой выдачи используется только один из сайтов.
Но есть и возможность создать собственное зеркало, если нужно.
Комьюнити теперь в Телеграм
Подпишитесь и будьте в курсе последних IT-новостей
Зачем создавать зеркало?
Зеркала для тех, кто опечатывается
Чтобы не терять трафик со стороны людей, которые некорректно вводят название сайта, можно забронировать себе несколько похожих ссылок, чтобы угодить всем, кто опечатывается, и настроить переадресацию на оригинальный ресурс.
Повышенная стабильность
Проще говоря, зеркало может работать как резервная копия на случай сбоя. Допустим, ваш основной сайт (и сервер, на котором он работает) «умер» или был заблокирован государством, то доступ может быть обеспечен с помощью ссылки-зеркала.
Смена доменного имени основного сайта
Когда бизнес совершает ребрендинг, нужно заменить не только вывеску, но и название сайта. А если поменяется адрес, то нужно каким-то образом сохранить пользователей, привыкших к старому URL, а также репутацию домена. И тут как раз помогает зеркало: точная копия сайта, доступная уже по новому адресу. У клиентов останется два варианта и у поисковиков будет выбор.
Какие бывают варианты зеркал и какой нужно выбрать?
С адресами, которые принципиально друг от друга отличаются, все и так ясно. Если нужно менять название сайта полностью, то все упирается в брендинг. А что делать с префиксом www?
WWW расшифровывается как World Wide Web. Это система объединения разных типов серверов в одно глобальное пространство в сети. Префикс www. ранее добавлялся к названию сайта, чтобы дать понять пользователям, что они попали во всемирную паутину, а не на почтовый или ftp-сервер. Но сейчас такой нужды нет, как и нужды в префиксе.
Префикс вынуждает потенциальных посетителей сайта вводить дополнительные знаки. И если нет зеркала без префикса, то с непривычки они попросту не смогут попасть на ваш ресурс (если, конечно, им не поможет в этом браузер). Ну и смысла в www. уже давно нет – все и так понимают, что сайт находится в глобальном пространстве.
Как настроить переадресацию на стороне сервера?
Есть такая вещь, как серверный редирект. Это когда при переходе на страницу с префиксом www. вы попадаете на страницу без него. Или наоборот – открываете сайт без префикса, а попадаете на страницу с префиксом. Это возможно благодаря настроенной переадресации на стороне сервера. Подобное явление можно встретить на довольно большом количестве сайтов.
Взять те же Google или Яндекс, к примеру. Если ввести в адресную строку google.com, то в итоге вы все равно окажетесь на сайте www.google.com.
Если ваш сайт размещен по адресу с www., а потенциальный посетитель введет его без www., то вам важно настроить переадресацию, чтобы пользователь попал на нужную страницу.
Проверить, как работает переадресация на том или ином сайте, можно с помощью сервиса Redirect Checker.
Есть несколько способов настроить переадресацию. Рассмотрим основные.
Редактируем файл .htaccess
Наиболее универсальный метод, не требующий установки и настройки дополнительного программного обеспечения. Все необходимое есть на любом Apache-сервере по умолчанию. А это один из наиболее распространенных типов серверов.
Для настройки редиректа нужно внести изменения в конфигурационный файл .htaccess. Чтобы это сделать:
- Открываем FTP-клиент и подключаемся к FTP-серверу вашего сайта, чтобы найти в корневой директории конфигурационный файл, либо используем для этого SSH-клиент.
- Открываем файл .htaccess прямо на сервере через текстовый редактор в командной строке или скачиваем его на компьютер.
- Вставляем код для переадресации…
RewriteEngine On RewriteCond %HTTP_HOST ^moy-sait.ru RewriteRule (.*) http://www.moy-sait.ru/$1 [R=301,L]
Вместо moy-sait нужно ввести название своего сайта, естественно.
- После этого сохраняем изменения на сервере. Если скачивали файл для редактирования на ПК, то надо выгрузить его обратно.
Настраиваем переадресацию на сервере Nginx
В Nginx используется иной конфигурационный файл. Он расположен в директории /usr/local/nginx/conf и называется nginx.conf. У него иной синтаксис, поэтому использовать код для .htaccess не получится.
Чтобы настроить редирект для сервера Nginx:
- Открываем папку, где хранится конфигурационный файл.
- Скачиваем nginx.conf на компьютер или открываем через текстовый редактор прямо на сервере.
- Вводим туда следующий код…
server < server_name moy-sait.ru; rewrite ^/(.*)$ http://www.moy-sait.ru/$1 permanent; >
Настраиваем редирект с сайта без префикса на сайт с префиксом или наоборот.
Используем CMS или панель управления
Если вы привыкли к графическому интерфейсу и по каким-то причинам боитесь менять параметры с помощью текста, то можно воспользоваться решениями, встроенными в панель управления или CMS.
Ниже рассмотрим, как это реализуется на примере ПУ cPanel, а также CMS WordPress, Drupal и Joomla.
Через cPanel
Это довольно популярная панель управления сайтами, через которую можно быстро настроить редирект. Для этого:
- Открываем непосредственно cPanel.
- Ищем раздел настроек с названием «Домены».
- Кликаем по ссылке с названием «Перенаправления».
- Оказавшись на экране с настройками редиректа, выбираем его тип: постоянный, если создаем зеркало, или временный, если отправляем сайт на «реконструкцию».
- Затем указываем домен, с которого будем выполнять переадресацию, и домен, на который будем отправлять посетителя.
- В конце нажимаем на кнопку «Добавить».
Как видите, пара простых действий, и переадресация уже настроена. Считайте, что ваше зеркало готово, и дополнительные настройки не понадобятся.
С помощью плагинов в CMS
Для большинства популярных CMS есть плагины для быстрой настройки переадресации без необходимости лезть в конфигурационные файлы.
Если используете для управления сайтом программную платформу WordPress, то вместо того, чтобы вручную вносить изменения в параметры сервера, можно скачать плагин Simple 301 Redirect, Redirection или любой аналог.
Их интерфейс почти всегда построен одинаково. В самом простом случае нужно указать основной домен и адрес, на который нужно перенаправлять пользователей. Иногда к этому добавляется возможность выбрать тип редиректа.
Для Drupal тоже есть бесплатный внешний модуль для настройки переадресации. Называется он Redirect.
А вот в Joomla никакие плагины не нужны, так как в эту CMS встроена функция переадресации. Ее можно настроить через пункт настроек «Перенаправление». Принцип работы такой же, как у плагина Redirection для WordPress.
Для других CMS тоже можно найти подходящие расширения, но они могут быть платными, как в случае с OpenCart.
Как настроить переадресацию при смене доменного имени?
Начать стоит с того, что поисковые системы рекомендуют при переходе на новый домен сохранять еще и старый. Делать из него зеркало, чтобы не потерять позиции в поисковой выдаче (ну или ощутить минимальные потери в этой области).
Идеальным вариантом для Яндекса видится 301-редирект с каждой страницы старого ресурса на аналогичные страницы нового. Чтобы и поисковик не потерял сотни единиц вашего контента, и уже существующие закладки пользователей работали.
Остается это реализовать. Одностраничный лендинг-то можно быстро перенастроить, чтобы он отправлял людей на новый адрес. А как быть с большим новостным сайтом, где уже имеется пара сотен страниц, или интернет-магазином, где количество страниц измеряется тысячами? Придется перебирать страницы сутками, да и нагрузка на ресурс вырастет из-за «раскормившегося» файла .htaccess. Чтобы избежать этих проблем, нужно вставить в .htaccess следующий код:
Options +FollowSymLinks RewriteEngine on RewriteEngine off RewriteCond %HTTP_HOST ^www.moy-sait.ru RewriteRule ^(.*)$ http://moy-noviy-sait.ru/$1 [R=301,L] RewriteCond %HTTP_HOST ^www.moy-sait.ru RewriteRule ^(.*)$ http://moy-noviy-sait.ru/$1 [R=301,L]
Замените текст с www.moy-sait.ru на название своего сайта, и тогда у вас будет работать переадресация с любой страницы старого сайта на новый.
После этого еще нужно настроить директиву Host в старом файле robots.txt, указав ссылку на новый домен.
Как оповестить поисковые системы о наличии зеркала?
Иногда для склеивания зеркал в поисковой выдаче требуется вручную указать адреса или изменить параметры в панелях управления Яндекса и Google. Это позволяет избежать проблем при переадресации после изменения настроек на стороне сервера или сбоев в работе поисковых систем, из-за которых страница с зеркальным URL может некорректно ранжироваться.
Инструкция для Яндекса
Обычно эта процедура выполняется автоматически. Если все настроено правильно, то Яндекс и сам склеит ваше зеркало. Но иногда об изменениях нужно сообщать. К примеру, если появляется не просто новое зеркало, а меняется основное доменное имя.
Чтобы оповестить Яндекс об изменениях:
- Подключаемся к серверу по протоколам FTP или SSH.
- Находим директорию www и открываем ее.
- Ищем файл robots.txt и открываем его с помощью любого текстового редактора (можно предварительно загрузить его на компьютер).
- После директив Disallow и Allow прописываем директиву Host.
Она должна быть формата Host: www.moy-sait.ru, но с URL своего сайта.
- После этого открываем раздел «Переезд сайта» в Яндекс.Вебмастере.
- Ставим галочку напротив пункта «Добавить www».
Изменения вступят в силу после следующей индексации ресурсов.
Инструкция для Google
В Google ситуация немного сложнее, автоматических решений здесь нет. Для указания нового домена в Google:
- Открываем Google Search Console и добавляем туда два адреса с префиксом и без префикса.
- Подтверждаем права на владение обоими ресурсами.
- Затем открываем настройки сайта.
- Ставим галочку напротив пункт «Отобразить URL-адреса как www.moy-sait.ru.
Теперь Google будет рассматривать сайты как зеркальные, то есть идентичные друг другу.
Вместо заключения
На этом все. Теперь вы знакомы с основными принципам работы зеркал и знаете, как их правильно настроить, чтобы не потерять позиции в поисковой выдаче и угодить пользователям.
Источник: timeweb.com