Screaming frog что это за программа

Screaming Frog SEO Spider — зверь в техническом аудите сайта

Среди «пауков», сканирующих сайты и использующихся для их экспресс-аудита, наиболее известны PageWeight, Netpeak Spider и Screaming Frog SEO Spider. В прошлом также был популярен XENU, которым многие до сих пор пользуются по привычке.

Надо сказать, что связки Netpeak Spider и Screaming Frog достаточно для выполнения большинства задач. «Кричащая лягушка» — программка платная, есть и бесплатная урезанная версия, которая сканирует ограниченное количество страниц, но ни в коем случае не качайте с русских торрентов крякнутую версию с кейгеном. Её найти несложно, но вам нельзя этого делать, надо платить 100 фунтов разработчикам!

Проще говоря, вам не стоит качать её с Рутрекера, и вводить через License — Enter License Key сгенерированный ключ (Username необязательно). Это всё нельзя, и я так не делал, вот те крест. Неудобно то, что трудно русифицировать эту программку — все же программы на языке Пушкина и Шуфутинского интуитивно более понятны. На первый взгляд, в Screaming Frog ничего особенного, однако его функционал позволяет добиться довольно многого.

Screaming Frog SEO Spider — Делаем SEO анализ сайта ЛЕГКО через Скриминг Фрог!

Интерфейс

Итак, всё начинается с поля «Enter URL to spider», куда вводится название сайта и жмётся кнопка «Start».

Понятное дело, что она запускает сканирование сайта, а когда оно завершится, мы можем приступать к анализу. И тут мы сразу получаем первые минусы по сравнению с PageWeight — нельзя задать локальный (то есть свой) роботс. В принципе, исключить разделы из сканирования можно через Configuration — Exclude, но это уже не так удобно. Впрочем, познакомимся с интерфейсом и возможностями программы.
Сначала может ввести в ступор, что в списке страниц будет куча изображений, но их можно моментально отсечь — либо выбрав фильтр HTML (кстати кнопка Export отвечает за экспорт текущих результатов из главного окна в Excel, можно даже в xlsx):

Либо переключившись на HTML в сайдбаре, оба варианта оставят в основном окне программы только собственно HTML страницы:

В последней версии (3.0 на момент написания статьи) появилась возможность выстроить структуру сайта. Таким образом можно, к примеру, изучить структуру конкурентов перед созданием своего сайта.

Заметьте, что у каждой вкладки программы есть свои собственные фильтры. Вы можете выбрать, например, только страницы, отдающие 301 редирект и выгрузить их в Excel. На вкладке URI вы можете выбрать урлы, чья длина больше 115 символов, урлы с нижним подчеркиванием вместо дефиса (фильтр Underscores), дубли страниц (Duplicate), урлы с параметрами (Dynamic).

На вкладке Title — выбрать те тайтлы, чья длина больше 65 символов или меньше 30, совпадающие с H1 на странице, отсутствующие. На вкладке Images — все изображения больше 100 килобайт, без тега alt. Ну и так далее.

Столбцы в основном окне перемещаются по принципу Drag and Drop, так что можно переместить наиболее важные из них ближе к левой части окна и сохранить настройки через File — Default Config — Save Current.

Screaming Frog. Актуальный обзор Функций (Как сделать Аудит Сайта)

При нажатии на название столбца происходит сортировка. Среди столбцов есть не совсем обычные:

• Title 1 Lenght — длина Title
• Title 1 Pixel Width — ширина Title в пикселях
• Level — это уровень вложенности.
• Word Сount — количество слов между тегами body.
• Size — вес страницы в байтах.
• Inlinks — количество внутренних ссылок на страницу.
• Outlinks — количество внутренних ссылок со страницы.
• External Outlinks — количество внешних ссылок со страницы. Поспорьте с пацанами, кто угадает, какое наибольшее количество ссылок со страницы размещает тот или иной сапа-сайт. Если один угадает, а второй нет — то второй покупает ссылку на свой сайт с этой страницы.
• Response Time — время загрузки страницы.

Также внизу есть окно с более подробной информацией о странице. Так, SERP Snippet показывает, как, по оценке программы, будет выглядеть сниппет в Google. Полезно, если вы заморачиваетесь, чтобы Title в выдаче выглядел кликабельнее.

Когда в окне кликаете правой кнопкой мыши на строку нужного урла, открывается контекстное меню, из которого наиболее важным пунктом является Open in Browser — открыть в браузере.

Также удобно будет выделить с помощью shift часть урлов и удалить их через Remove. Не с сайта, конечно, а из результатов сканирования. А то бы я давно с пары сайтов кое-каких чертей урлы бы поудалял…

Также с помощью контекстного меню можно проверить наличие страницы в индексе Гугла, Яху и Бинга, посмотреть бэклинки через сервисы типа Majestic SEO или Ahrefs, открыть кэш Гугла или найти страницу в Вебархиве. Ну еще роботс глянуть и проверить код страницы на наличие ошибок. Контекстное меню на всех вкладках одинаковое.

Другие возможности

Через вкладку Sitemaps можно создать свой sitemap.xml — удобно для работы с сайтом, где у вас нет возможности установить плагин для автоматической генерации сайтмапа.

Есть возможность выгрузить все тексты анкоров с сайта в Excel.

Наконец, есть возможность просканировать только урлы из своего списка. Это нужно, когда есть список продвигаемых страниц и хочется проверить только их.

Список можно загрузить из файла (можно даже из sitemap.xml) или вручную.

Наконец, одна из самых крутых функций программы — возможность задать свои директивы при сканировании. Жмёте Configuration — Custom, и там задаёте настройки при сканировании Contains (Содержит) или Does Not Contain (Не содержит), куда вписываете нужные значения.

Screaming Frog ищет по коду. Так вы можете, к примеру, найти все теги strong на сайте или стоп-слова. Лягушка понимает разделитель, и вы можете найти на сайте, допустим, нецензурную брань вот таким образом:

Я это не вручную вводил, а через Ctrl+V, не переживайте. Дальше вы можете фантазировать (и я не про стоп-слова, эти фантазии к делу не относятся) — например, искать ключевые слова по страницам сайта, высчитывая общее количество вхождений по сайту, или, может быть, что-то другое. Да, результаты отображаются во вкладке Custom, количество вхождений — в столбце Occurences.

Настройки

Я решил не начинать статью с настроек — лучше сначала привыкнуть к интерфейсу, а потом уже подстраивать программу под себя, так легче пойдет. Как пивасик под воблу. Короче, в Configuration — Spider надо выставить для начала Respect Noindex и Respect Canonical. Также лучше снять галочку с Pause On High Memory Usage.

Ну и далее они сохраняются в File — Default Config — Save current.
А если не нравится стандартный дизайн Screaming Frog, то можно его можно поменять на более нейтральный через Configuration — User Interface — Enable Windows Look and Feel.

Что конкретно всё это даёт?

Это все конечно хорошо, но как применять весь этот арсенал на практике? На бложиках пишут обзорчики типа «ой, а тут у нас вот тайтлы отображаются… ой, а тут дескрипшен вот считается…» Ну и? Что это даёт? Вот конкретные 9 профитов от Screaming Frog:

1. 404 ошибки и редиректы. Находим через Лягушку и исправляем.
2. Дубли страниц (по одинаковым Title). Находим и удаляем.
3. Пустые, короткие и длинные Title. Находим, заполняем, дополняем, правим.
4. Страницы с недостаточным уровнем вложенности. Выгружаем в Excel, в столбец с урлами вставляем список продвигаемых страниц, выделяем повторяющиеся значения. Смотрим, у каких продвигаемых страниц УВ не 1, не 2, и не 3 и работаем с этой проблемой.
5. Длина урлов. Находим длинные урлы, сокращаем, проставляем редиректы со старых.
6. «Пустые» страницы. По данным из столбца Word Count вычисляем страницы, где контента меньше, чем в среднем (или просто мало), и либо их закрываем через роботс, либо удаляем, либо наполняем.
7. Самые медленные страницы. Смотрим по столбцу Response Time.
8. Внешние ссылки. Удаляем либо вообще все, либо битые, которые 404 отдают.
9. Совпадающие Title и H1. Находим, правим.
10. Теги , ,
    и так далее. Screaming Frog позволяет найти все страницы на сайте, где используются эти теги.

Это из важного. Про баловство вроде кликабельного вида Title в выдаче или пустых description я тут промолчу.

Есть еще один недостаток перед PageWeight — программа не считает вес страниц. Но тут уж выручит Netpeak Spider — он умеет.

Источник: znet.ru

Screaming Frog SEO Spider для Windows

Примечание! В бесплатной версии существует ограничение на количество URL, которые можно отсканировать: не более 500.

ТОП-сегодня раздела «Раскрутка сайта»

Мощный и гибкий сканер сайтов, способный эффективно сканировать любые сайты, позволяя при.

Генератор отзывов — примитивный генератор создания отзывов из заранее введенных фраз.

SEObar — первый российский Internet Explorer и FireFox тулбар для оптимизаторов.

Robots.txt — Редактор стандартных файлов управления пауками поисковиков. Программа для.

SkyFox Promotion — программа для автоматического добавления URL сайта в 23 поисковых систем.

Semonitor — Пакет программ для раскрутки и оптимизации сайта. Состоит из набора утилит, охватывающих различные стороны процесса оптимизации.

Отзывы о программе Screaming Frog SEO Spider

Отзывов о программе Screaming Frog SEO Spider 18.0 пока нет, можете добавить.

Источник: www.softportal.com

Screaming Frog SEO Spider

Screaming Frog SEO Spider — десктопная программа для сканирования сайта. Незаменимый инструмент при проведении технического аудита.

Ключевые функции программы:

• Поиск битых страниц и страниц с редиректами. Отображение анкоров и самих документов, на которых находятся ссылки на данные страницы.
• Поиск страниц с короткими, длинными, дублирующимися тегами title, а также с тегами title, содержимое которых совпадает с тегом h1.
• Поиск страниц с короткими, длинными, дублирующимися и отсутствующими мета-тегами description.
• Поиск страниц, на которых тег h1 встречается более одного раза или не встречается вовсе.
• Поиск изображений с большим размером, а также с отсутствующими и длинными атрибутами alt и title тега img.
• Отображение информации по meta-тегам, управляющими поисковыми роботами (атрибуты rel=»canonical», rel=»next», rel=»prev» тега link).
• Поиск страниц по заданному фрагменту, выгрузка содержимого определенных тегов по регулярному выражению (например, можно спарсить все h5 заголовки или все тексты на сайте).
• Поиск дублей страниц по хэш-сумме исходного кода.
• Отображение структуры сайта и уровня вложенности страниц. Визуализация данных.
• Проверка времени загрузки страниц.

Преимущества программы / сервиса

• Сканирование как всего сайта, так и вручную заданного списка страниц
• Поддержка API Google Analytics и Google Search Console (Google Webmaster)
• Возможность в любой момент приостановить сканирование, сохранить проект и закрыть программу, а при следующем запуске продолжить с того же места
• Генерация файла sitemap.xml с расширенными настройками
• Использование произвольного User-Agent
• Отображение кодов ответа сервера для всех найденных страниц
• Гибкие настройки сканирования и отображаемой информации
• Настройка перенаправления URL-адресов (работает как локальный htaccess)
• Поиск страниц, в коде которых имеется вручную заданный текст/фрагмент кода
• Расширенные возможности выгрузки данных в CSV
• Возможность отобразить древовидную структуру сайта
• Возможность просканировать определенные разделы/страницы на сайте, либо наоборот, исключить их при сканировании
• Огромное количество отображаемой информации по SEO о найденных страницах
• Сканирование сайтов, требующих авторизацию через базовую аутентификацию
• Поддержка Proxy

Чего не хватает / Минусы

• Не рассчитывает статический вес (PR) страниц
• Требовательна к ресурсам ПК
• Сложность первичного освоения интерфейса
• Отсутствие русской локализации
• При сканировании, данные хранятся в оперативной памяти. Из-за этого, проблематично просканировать огромные сайты (более 300 000 страниц)
• Неудобная выгрузка внешних исходящих ссылок с сайта

Начать использование Screaming Frog SEO Spider

Источник: pixelplus.ru

Как провести SEO аудит сайта в программе Screaming Frog Seo Spider

Всем привет! Чтобы к вашему сайту хорошо относились поисковики (яндекс и google), он должен быть правильно оптимизирован по всем требованиям. А чтобы узнать, есть ли какие-то недочеты в оптимизации, необходимо провести сео аудит своего сайта. В сегодняшней статье я как раз и расскажу, как провести аудит сайта при помощи одной специальной программы. Называется она Screaming frog seo spider.

Сегодня 23 февраля! Пользуясь случаем поздравляю всех мужчин с днем защитника отечества! Будьте сильными, смелыми, достойными и защищайте своих женщин!

Коротко о программе

Screaming Frog – бесплатная программа, если на вашем ресурсе менее 500 страниц. Для меня это условие пока выполняется. Но через год скорей всего уже придется платить. Очень жаль, что интерфейс программы на английском языке. Но тем не менее разобраться во всем не так уж и сложно.

У меня получилось, получится и у вас Есть разные версии для работы как на windows, так и на Mac и на Ubuntu.

Подробнее можно почитать на официальном сайте вот здесь http://www.screamingfrog.co.uk/seo-spider/

Экономия собственного бюджета

Делая аудит своего сайта самостоятельно, вы сэкономите немалые деньги. Например, компания 1PS.ru выполняет seo аудит за 2980 рублей. Как по мне, то это дорого для обычного блоггера. Поэтому рекомендую вам освоить некоторые азы сео оптимизации. А программа Screaming Frog в комплекте с моими рекомендациями вам поможет в этом. А если вы всё равно не хотите сами во всем разбираться, то я скоро обновлю страницу со своими услугами и добавлю туда аудит сайта и еще кое-что

Обзор интерфейса программы

Про скачивание и установку программы я рассказывать не буду. Здесь нет никаких премудростей. Главное не перепутайте версию. Если у вас на компьютере стоит Windows, то качайте установочный фай именно для windows. В остальном проблем возникнуть не должно. После запуска программы на главном окне наверху вы увидите поле. В него необходимо вставить адрес главной страницы вашего ресурса.

И нажмите кнопку «Start». Запускается процесс. Длительность этой процедуры зависит от количества страниц и, конечно же, от скорости вашего сервера, то есть от скорости вашего хостинга.

На блоге уже статья про определение скорости хостинга. Читайте ее здесь.

• Internal
• External
• Protocol
• Response Codes
• URL
• Page Title
• Meta Descriptions
• Meta Keywords
• H1
• H2
• Images
• Ajax
• Custom
• Analytics
• Search Console

Я уже походил по всем вкладкам и нашел полезную и интересную для себя информацию только на первой половине. Поэтому и расскажу только про них.

Для тех, кому лень читать, я специально записал видео. Получилось оно довольно длинным (30 минут):

Internal

Здесь находятся все странички, находящиеся на сайте. С помощью фильтра можно посмотреть на все html или css странички. Есть и другие виды.

Лично для меня здесь нет ничего интересного, просто ради ознакомления.

External

А здесь находится уже более ценная информация – исходящие внешние ссылки с вашего ресурса.

Как известно, таких ссылок много быть не должно. А если они и есть, то они должны вести на авторитетные трастовые ресурсы.

Я уже немного почистил свои внешние ссылки. Остались только линки на сервис граватар, смартреспондер и еще одна. Эту одну ссылку мне оставили в комментариях и я пока решил не убирать ее.

«Хорошо» – скажете вы. «Ссылки мы нашли, а как их убрать то?»

Через Screaming Frog, конечно же, убрать ничего не получится. Но вот узнать, на каких именно страницах находятся эти внешние ссылки, очень легко.

Для этого просто выделите нужную ссылку. Далее смотрим вниз и переходим там во вкладку inlinks. Появится табличка, в которой в колоне «From» — адрес вашей статьи с внешней ссылкой, а в колонке «To» — адрес страницы, куда ведет ссылка.

Кликайте правой кнопкой мыши по каждой строчке (их может быть несколько) и в контекстном меню нажимайте на «Open From in Browser».

Откроется страничка вашего сайта, переходите в режим редактирования и либо удаляйте ссылку, либо скрывайте ее. О том, как скрывать ссылки, я скорей всего еще напишу в будущем.

Response Codes

А эта очень даже важная вкладка. Она показывает коды ответа сервера при запросе страниц вашего сайта.

• код 2xx (Success) означает, что всё отлично,
• код 3xx (Redirection) – это редиректы,
• код 4xx (Client Error) – ошибка, когда страница не найдена,
• код 5xx (Server Error) – это грубая ошибка, когда какие-то проблемы на сервере.

Каждый код можно открывать отдельно, используя всё тот же фильтр.

На моем сайте сейчас все отлично. Ошибок нет вообще. В редиректах находятся только ссылки на граватар. Это нормально.

Кстати совсем недавно были и другие редиректы. Дело в том, что я изменил адрес одной своей статьи. Но на момент смены адреса на эту статью уже ссылались другие мои статьи, их было порядка двадцати.

В итоге образовалось 20 редиректов, перенаправляющих со старого адреса на новый. Мне пришлось зайти на каждую статью и вручную заменить ссылку.

Также если в фильтре выбрать значение «Blocked by Robots.txt», то вы увидите все разделы сайта, которые скрыты от роботов посредством файла Robots.txt.

Как видно, у меня скрыта папка с настройками всех плагинов (wp-content/plugins), страница Feed и одна картинка, название которой начинается на «Feed» — так уж ей повезло

А вообще я скрываю от индексации всё ненужное в основном с помощью файла .htaccess. Но это уже совсем другая тема. Как-нибудь расскажу.

Page Title и Meta Descriptions

На этих вкладках можно проанализировать теги тайтл и дескрипшн, которые мы прописываем с помощью специального сео плагина. Я использую Seo by Yoast.

Тег keyword я не заполняю, так как по последним сведениям поисковики не обращают внимания на этот тег.

Благодаря фильтру легко определить следующие проблемные тайтлы:

• Missing – пустые
• Dublicate – одинаковые
• Same as H1 – совпадающие с заголовком
• Длиннее 65 или короче 30 символов

Первых трех вообще быть не должно. Хотя у меня есть теги тайтл, совпадающие с заголовком H1.

Но таких страниц у меня всего 12, и я скорей всего это исправлю в ближайшем будущем.

А что касается длины тега Title, то я их стараюсь умещать в тот интервал, который мне подсказывает плагин Seo by Yoast.

Что касается тега Descriptions, то здесь практически всё аналогично. Но проблем у меня здесь немного больше.

Например, есть статьи и страницы с пустым тегом. Это, как правило, статьи, которые я не затачивал под конкретный ключ. Это статьи о себе, о своей жизни, о своем блоге, отчеты.

Также есть страницы с одинаковым содержимым тега descriptions. Это так называемые страницы пагинации. Это скорей всего убрать не получится.

В общем на этом обзор программы Screaming Frog Seo Spider окончен. Рекомендую вам самим поковыряться в этот программе, попереходить по всем вкладкам, поизучать свой блог.

Уверен, вам будет интересно.

Мне вот очень нравится так изучать свой блог. Могу часами сидеть, особенно если много ошибочек и недочетов.

Если же вам не нравится этим заниматься, то снова могу порекомендовать профессионалов из компании 1PS.ru.

Если понравилась статья, то поделитесь ею со своими друзьями в социальных сетях, используя специальные кнопки ниже.

Также подписывайтесь на обновления блога, чтобы не пропустить новый и очень интересный материал.

Всем пока и до скорых встреч!

С уважением! Абдуллин Руслан

Источник: abdullinru.ru