Всем читающим и следящим за моим блогом — Добрый День. После Апа PR, несколько человек на блоге спрашивало: «Как проверить все страницы большого сайта на PR?». Ведь большинство онлайн сервисов позволяют проверять только по 50 страниц, что очень не удобно, когда сайт имеет сотни или тысячи страниц. Давайте сегодня попробуем разобраться в этой проблеме.
Значение Page Rank многие не до оценивают и очень зря, ведь цены на ссылки, размещённых на страницах имеющих PR, вырастают в 2-3 раза. Например в бирже Get Good Links , ссылка со страницы которая имеет PR 1 стоит 8-10 долларов, PR 2 — 25$ и так далее в геометрической прогрессии.
Мой способ проверки PR
Чтобы массово проверить PR всех внутренних страниц, понадобиться две программы. Первая — которая получит все url страниц сайта. Вторая — позволяющая массово проверять PR страниц.
Парсим страницы сайта
По идеи, можно получить список страниц сайта, с файла sitemap.xml , но это будет не полный список, потому что в этих файлах не указываются — рубрики, теги, постраничные урлы ( https://cospi.ru/page/2/ ) и.т.п. Поэтому берём бесплатную программу stgrabber, вписываем url сайта, обязательно с наклонным слешем в конце и нажимаем Пуск.
Как полностью скачать сайт с CSS, JavaScript и картинками
Ждём когда закончит работу программа и копируем список найденных ссылок в текстовый файл, который нам пригодиться для работу в другой программе. Я использую именно эту программу, потому, что у неё есть настройки парсинга (изъятия данных):
В полученный список ссылок, попадают только нужные страницы. В отличии от других программ, для генерации Sitemap , где сканируются все найденные ссылки. Не попадают в список ссылок:
- файлы (favicon например);
- ссылки на сообщения (?replytocom=);
- Системные страницы (?do=search, ?print и.т.п.).
Проверяем на PR
Для этого программу PaRaMeter, импортируем в неё ссылки сайта, которые мы сохранили в текстовом файлике:
И запускаем проверку. Для наглядности я проверил 1500 страниц блога Димка:
На проверку 1.5 тысячи страниц понадобилось минуты 2-3 примерно. После того, когда программа закончит свою работу, нажимаем кнопочку PR и в таблице все значения от сортируются по убыванию, чтобы удобно было анализировать список. Все обработанные данные можно экспортировать в Excel, для последующего использования. На этом всё, спасибо за внимание.
UPDATE 8.11.2011
Программа PaRaMeter уже не определяет PR, пользуйтесь сервисом, который я описал в статье — Проверка всех страниц сайта на Page Rank.
Источник: cospi.ru
Обучение парсингу на Python, парсинг любых сайтов, в том числе SPA
Сравнительный обзор бесплатного SiteAnalyzer с аналогичными платными сервисами
392
- Что может SiteAnalyzer?
- Простота в использование инструмента
- Генерация sitemap.xml в один клик
- Перекрестный анализ сайтов
- Постраничная скорость загрузки сайта
- Тонкие настройки парсера
- Все ведь любят визуализацию?
Техническое состояние сайта — это важный фактор, который влияет на продвижение сайта и его позиции в поисковой выдаче. Своевременное устранение технических ошибок позволяет избежать просадки и временной утраты целевого трафика.
Первый этап технического аудита — это сбор информации и данных по техническому состоянию сайта. Вручную это делать очень долго и малоэффективно. Поэтому для этих задач SEO-специалисты используют парсеры сайтов.
Сканирование и анализ веб-сайтов: подборка полезных сервисов
Рассказываем про несколько инспекторов, с помощью которых можно быстро проанализировать, чего не хватает в вашем проекте, и узнать, какие изменения нужно внести для улучшения показателей сайта.
YSlow
YSlow — проведёт небольшой анализ загрузки не только страницы, но и отдельных составляющих сайта. Сервис проверяет вынесение заголовков, использование компрессии, а также вынесение скриптов в индивидуальные файлы, после чего предоставляет информацию по улучшению проекта. За основу берутся исследования Yahoo. Сервис предоставляется в виде расширения для всех топовых браузеров.
Web Developer Checklist
Web Developer Checklist — ещё один интересный сервис для веб-разработчика, который поможет по пунктам проверить готовность проекта к запуску. Доступен в виде сайта и расширения.
Site Scan
Site Scan — инструмент от Microsoft, который проведёт сканирование вашего проекта и подскажет, как реализовать изменения, если они требуются.
PageSpeed Insights
Test My Site
Test My Site — еще один инструмент от Google, который позволяет протестировать скорость загрузки страниц сайта на мобильных устройствах. Его отличительная особенность в том, что в конце анализа отображается процент пользователей, которые уходят с сайта, не дождавшись загрузки. По словам Google, для того, чтобы соответствовать ожиданиям, сайт должен грузиться не более 3 секунд.
GTMetrix
GTMetrix — разработка хостинг-провайдера GT, которая объединяет в себе сервисы PageSpeed Insights и Yahoo YSlow, описанные выше, что позволяет получить наиболее полный анализ в едином интерфейсе и применить лучшие практики двух корпораций.
WebPageTest
WebPageTest — анализирует загрузку страниц из разных точек мира и отображение сайта в разных браузерах. В сервисе также есть функции, которые, например, предоставят информацию о времени загрузки страницы или отобразят в виде графика внутреннее устройство сайта. Пригодится, если вы хотите адаптировать свой проект под различные браузеры.
SEO Чеклист
SEO Чеклист — поможет вам ничего не забыть при проведении SEO-оптимизации сайта. Помимо простой оптимизации для поиска, можно отмечать ход проведения технического аудита сайта, оптимизации ссылок, а также исследование соцактивности. В список можно добавлять свои собственные пункты, а также экспортировать его в PDF.
Browser Shots
Browser Shots — сервис, зайдя на который, вы наверняка поймете, как мало браузеров знаете. На нем можно проверить, как будет выглядеть ваш сайт во всех (или почти всех) когда-либо существовавших браузерах. Сервис бесплатный, использовать его можно и без регистрации, но если вы собираетесь проводить дотошную проверку каждой страницы, придется завести аккаунт.
Screenfly
Screenfly — служит логическим продолжением предыдущего сервиса. С его помощью можно взглянуть на сайт глазами владельца Kindle, iPad и еще целого списка устройств, не имея их на руках — просто введите в поле адрес вашего сайта и затем выбирайте устройства в меню сверху. Доступны в том числе и экзотические модели вроде телефонов BlackBerry и Motorola и смарт-телевизоров. Кроме того, можно указать произвольный размер окна в пикселях.
Observatory
Observatory — проверит безопасность вашего сайта (например, соответствие политике защиты контента, использование cookies, очевидные XSS-уязвимости). По итогам вашему сайту будет выставлена оценка от A до F. Сайт умеет хранить историю исследований — с её помощью можно проследить, становится ли ваш сайт лучше со временем.
Nibbler
Nibbler — проект, проводящий тотальную проверку вашего сайта. Оценка проводится по длинному списку характеристик, среди которых качество кода, адаптация под мобильные устройства, формат ссылок на материалы сайта, качество заголовочной информации и многое другое. Кроме того, отдельная графа в результатах содержит рекомендации по улучшению ситуации — в нее попадут только те советы, последовать которым в данный момент важнее всего. Если вы пройдетесь по каждому из пунктов, добившись оценки в 10 баллов, ваш сайт станет, пожалуй, одним из лучших в интернете.
Dotcom-tools
Dotcom-tools — инструмент, позволяющий тестировать сайт из 25 точек мира, которые находятся на всех 5 континентах. Кроме того, по результатам проверки предоставляется многосторонний отчёт производительности, включающий в себя такие параметры, как:
- Проверка ошибок и диагностика;
- 10% самых быстрых и самых медленных элементов;
- Понятное описание скорости и прочих данных на диаграмме;
- Разбивка по элементам хоста.
Добавляйте другие известные вам сервисы в комментарии, мы будем периодически обновлять подборку.
Источник: tproger.ru