Xenu’s Link Sleuth — бесплатная программа-краулер, позволяющая сканировать любой сайт. Ее основным назначением является поиск битых ссылок, однако софт позволяет решать и другие задачи.
- Начало работы с Xenu
- Настройка программы
- Анализ html-отчетов
- Данные в окне программы
Cкачать дистрибутив Xenu можно на официальном сайте home.snafu.de. Программа работает стабильно, несмотря на то, что последняя сборка датирована 2010 годом, и станет полезным инструментом для тех, кто занимается развитием своего проекта. Единственными минусами Xenu для некоторых пользователей могут стать полностью английский интерфейс и отсутствие возможности экспорта отчетов в таблицы.
Начало работы с Xenu
После установки и запуска программы откроется окно минималистичного интерфейса.
Для запуска нового проекта выберите в меню File > Check URL.

Xenu — обзор программы проверки сайтов
Галочка Check external links означает,что будут просканированы внешние (исходящие) ссылки сайта. Если вы хотите исключить из внешнего ссылочного профиля некоторые ссылки, например, на поддомены или зеркала, укажите, какие URLы считать внутренними в секции Include/Exclude. Также здесь можно исключить из сканирования целые директории, если они слишком обширны или вы разделили сканирование на несколько этапов.
Настройка программы

В меню Options можно установить дополнительные настройки для сканирования. Так, в секции Basic отмечаем галочками нужные виды отчетов.
- Broken links, ordered by link — Битые ссылки, сгруппированные по URL-адресу;
- Broken links, ordered by page — Битые ссылки, сгруппированные по страницам, где они расположены;
- Broken local links — Внутренние битые ссылки;
- Redirected URLs — Адреса, возвращающие 301 или 302 редирект;
- Ftp and gopher URLs — FTP и не HTTP/HTTPS протоколы;
- Valid text URLs — Рабочие текстовые ссылки;
- Site Map — Карта сайта в формате XML;
- Statistics — Статистика;
- Orphan files — Потерянные файлы (те файлы, на которые не ссылается ни один документ сайта): для их поиска программа запросит FTP-доступ к серверу).

По окончании сканирования вы увидите окошко.
Кликните Да и отчет откроется локально в окне браузера.
Анализ html-отчетов

Xenu формирует html-страничку с отчетами, указанными в настройках.
Используя полученные данные, можно найти достаточно серьезные проблемы в оптимизации сайта.
Xenu — программа для поиска битых нерабочих ссылок на сайте.
Какие ошибки можно выявить с помощью отчета
1. Найти и устранить неработающие ссылки.
Со временем информация на сайте устаревает и появляются битые ссылки на уже удаленные страницы, картинки, документы вашего же или стороннего ресурса. Большое количество неработающих ссылок служит сигналом поисковику о том, что развитию сайта не уделяют внимания, а значит, возможно, и его контент не несет большой ценности. Кроме того, битые URLы — однозначно плохой user experience.
Программа найдет все неработающие ссылки, в том числе на служебные файлы и элементы дизайна.
Смотрите отчеты:
— Broken links, ordered by link
— Broken links, ordered by page
— Broken page-local links
2. Увидеть, какие ссылки возвращают редирект.
В SEO часто используется склейка редиректом дублирующих адресов или удаленных страниц с новыми, чтобы не терять посетителей. При этом за внутренними ссылками следят не так внимательно и при простановке редиректов оставляют их в исходном виде. Тогда как большое число активных редиректов — это еще один сигнал для поисковика о том, что информация на сайте не актуализируется.
Смотрите отчет:
— List of redirected URLs
3. Получить список всех страниц сайта и выстроить его структуру.
Список всех доступных страниц поможет составить правильную логическую структуру сайта и найти URLы с большим уровнем вложенности. Если вы нашли важную информацию на странице 4-го или 5-го уровня вложенности, стоит подумать над улучшением внутренней навигации.
Смотрите отчеты:
— List of valid URLs you can submit to a search engine
— Site Map of HTML pages with a Title
4. Составить HTML-карту сайта.
Программа создаст карту сайта, которую удобно использовать на небольших статичных ресурсах взамен долгого ручного труда.
Смотрите отчет:
— Site Map of HTML pages with a Title
5. Найти неуникальные тайтлы.
Дублирование браузерных заголовков — критичная ошибка в оптимизации сайта. Для поисковика title был и остается одним из ключевых сигналов о содержимом страницы. Если на сайте несколько URL с одинаковым заголовком, поисковику придется случайным образом решать, какой же из них отвечает на запрос пользователя, что негативно скажется на ранжировании всего сайта.
Смотрите отчет:
— Site Map of HTML pages with a Title
6. Получить экспресс-статистику сайта.
В этом отчете вы найдете статистику по сайту с указанием типов данных, кодов ответа и размеров передаваемого кода.
Смотрите отчет:
— Statistics for managers
Данные в окне программы

Тем временем, в основном окне программы останется доступным список всех просканированных адресов и их параметров.
- Address — URL страницы;
- Status — Статус сканирования (доступность страницы во время обхода программой);
- Type — Тип содержимого;
- Size — Объем передаваемых данных;
- Title — Браузерный заголовок title;
- Date — Дата обновления (может отсутствовать);
- Level — Уровень вложенности;
- Out Links — Исходящие ссылки;
- In Links — Входящие ссылки;
- Server — Тип сервера;
- Error — Описание ошибки;
- Duration — Время ответа;
- Charset — Кодировка;
- Description — Мета-описание description.
К сожалению, эту информацию нельзя выгрузить в привычный табличный редактор, но с ней можно работать прямо в окне программы — доступна сортировка по столбцам.
Что можно узнать по собранным данным
1. Найти страницы с наибольшим и наименьшим количеством внутренних ссылок.
Полученные данные можно использовать при перелинковке сайта. Наиболее важные страницы должны иметь самое большое число входящих ссылок.

Для просмотра всех внутренних связей страницы кликните по URL-адресу правой кнопкой мыши и выберите URL properties.
2. Найти страницы с долгим ответом и ошибками сервера.
Потребуется исправить конфигурацию или удалить ошибочные ссылки.
3. Найти исходящие ссылки на другие ресурсы.

Адреса этих сайтов появятся в первом столбце вместе с вашими URL.
Злоумышленники используют чужие сайты в том числе для простановки вредоносных ссылок. Проверьте, действительно ли вы размещали эти ссылки.
4. Найти изображения без атрибута Alt.

Если на вашем сайте много уникального графического контента, то поиск по изображениям может приносить неплохой трафик. Для того, чтобы пользователи находили ваш сайт, обязательно заполните атрибут Alt у всех изображений поясняющей подписью. О правилах составления Alt-ов и других работах для продвижения по картинкам читайте в статье Оптимизация изображений для поисковых систем.
Увидеть заполненные и найти пустые можно в окне программы, отсортировав таблицу по типу контента.
В итоге
Несмотря на то, что с момента релиза софта прошло много времени, за которое появилось немало аналогичных инструментов, Xenu остается отличным средством для быстрого аудита не слишком крупных ресурсов.
Основными преимуществами программы остаются простота использования, скорость работы и, конечно, доступность на бесплатной основе, а недостатками — английский интерфейс и невозможность экспорта отчетов в таблицы.
Источник: liderpoiska.ru
Использование программы XENU Link Sleuth
Полезная, бесплатная seo программа Xenu’s Link Sleuth 1.3.8 — поиск по сайту на наличие битых ссылок, неправильных путей для картинок, таблиц стилей(css), скриптов и аплетов java.
Не смотря на то что последний релиз программы был еще 2010 году, программа Xenu Link Sleuth не утратила своей актуальности (текущая версия 1.3.8 от 4 сентября 2010).
Скачать XENU Link Sleuth

Xenu’s Link Sleuth
Программа Xenu Link Sleuth лучшее бесплатное решения для поиска битых ссылок (broken links) на вашем сайте.
Xenu Link Sleuth системные требования для запуска программы:
- Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, Windows 10 — для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer
- Под Linux Red Hat, Ubuntu, Debian используйте Wine (я использую Winetricks)
- macOS с помощью CrossOver
Размер: 426 КБ
Версия: 1.3.8
86 Загрузки
Использование Xenu: Что такое «битые ссылки»?
«Битая», «мертвая ссылка», «broken links» появляется после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Битая ссылка отдает ответ HTTP 404 Not Found.
Такие ссылки могут быть как «внутренними» (ведущими на несуществующие страницы этого же сайта), так и «внешними» (ведущими на несуществующие страницы другого сайта). Ошибок 404 не должно быть на вашем сайте, кроме случаев когда вы понимаете зачем она вам нужна. Чаще всего это приводит к выпаданию из индекса поисковых систем вашей страницы. Битые ссылки нужно находить и настраивать 301 редирект на правильные страницы.
Использование Xenu: Как найти «битые ссылки»?
Запускаем программу, в появившимся окне для проверки сайта нажимаем сочетание клавиш Ctrl+N или в меню File -> Check URL.

Настройки программы Xenu

- Local file — выбрать для проверки сохраненную веб-страницу.
- Check external links — дополнительно к «внутренним» будут проверяться все «внешние» ссылки.
- Consider URL’s beginning with this as «internal» — добавить список ссылок, которые программа будет считать «внутренними». Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
- Do not check any URL’s beginning with this — добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
- More options — открыть окно с дополнительными настройками (см. ниже).
После зажатия на кнопку «OK» начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.
На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:
- серая — ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
- зеленая — ссылка доступна
- красная — найдена «битая» ссылка или ссылка временно недоступна.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета.
Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы.
Полученный отчет можно сохранить для дальнейшей обработки в Excel.
В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:
- ok — страница найдена;
- skip external — страница пропущена как «внешняя»;
- forbidden request — доступ к странице запрещен;
- not found — страница не найдена.
Дополнительные настройки программы Xenu

- Parallel Threads — число параллельно запрашиваемых страниц (рекомендуется 1 — 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
- Ask for password or certificate when needed — при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
- Treat redirections as errors — считать редиректы ошибками
- Report — информация, которую необходимо выводить в отчет
- Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки
- Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы
- Broken local links — показывать»битые» локальные ссылки
- Redirected URLs — показывать ссылки с редиректам
- Site Map — строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
- Statistics — выводить в отчет различную статистическую информацию
Источник: wow2.top