Screaming Frog SEO Spider

Screaming Frog SEO Spider является мощным софтом, анализирующим веб-сайты и обладающим обширным функционал для проведения SEO-оптимизации. URL адрес будет всесторонне проанализирован и просканирован. Затем система выдаст большой объем сведений, которые пригодятся для технического аудита.

В целом принцип работы «Скриминг Фрог» можно назвать одним словом – паук. Софт занимается проверкой веб-страниц и сбором сведений об их содержании. Затем оптимизатору предстоит провести анализ полученных данных, ускоренный аудит сайта, проверку страниц на наличие серьезных ошибок. И это еще не весь список действий.

Главные опции, которыми обладает

• Может работать через командную строку.
• Занимается поиском битых страниц и так называемых редиректов.
• Извлечение данных с помощью XPath.
• Умение парсить поддомены, имеющие внутренние ссылки, по установленному расписанию. 
• Поддержка Proxy.
• Можно выгружать все картинки, удалять ненужные папки.
• Указывание нехватающих ключевых слов, требуемых для оптимизации.
• Возможность отфильтровывания каждого столбца и колонки в таблице.
• Отображаются анкоры и документы, где есть URL к самим страницам.
• Поиск изображения, лишенных атрибутов alt и title тега img, или тех, где они есть, но длинные.
• Возможность обнаружения конкретных страничек, где повторяются заголовки, а также метатеги Description.
• Генерация карты веб-ресурса в файл sitemap xml и большим количеством настроек.
• Указание размеров заголовков допустимо хоть в пикселях, хоть в символах – кому как удобнее.
• Выведение сведений по метатегам, управляющими ботами-поисковиками, или по-другому краулерами.
• Можно проверить, насколько быстро загружаются веб-страницы.
• Задается максимальный размер (измеряется в килобайтах) странички для обхода.
• Проверяется массовое перенаправление, сканируются урлы для выполнения переадресации.
• Разработчики предусмотрели вкладку In Links, где представлен перечень страниц, ссылающихся на конкретный URL.
• Софт может работать с конфигурациями Robots.txt. 

Озвученные функции представляют собой только небольшую долю инструментария, который есть у «Скриминг Фрог». Рассматриваемое ПО может использоваться вместе с другими статистическим сервисами, в том числе «Гугл Аналитик» и «Маджестик». Все это будет способствовать получению большего объема сведений. 

Каковы возможности программного продукта

• Получение данных по метатегам.
• Использование мощного сканера сайтов, блогов и прочих веб-ресурсов.
• Наличие встроенного анализатора скриптов CSS.
• Устанавливая плагины, можно расширять функциональность утилиты.
• Парсинг, рассчитанный на вебмастеров, поддается тонкой настройке.
• Анализируемый контент имеет удобную визуализацию.
• Использование библиотек «Ява Скрипт Андерскор.
• Можно отправлять данные в таких форматах как «Ворд», HTML, TXT. 
• Содержимое нужных тегов будет выгружаться по регулярному выражению.
• Наличие средства аудита трафика (как получаемого, так отправляемого).
• Можно запрашивать отчеты об уровне ранжирования и проведенной индексации веб-сайта.
• Получение информации о типе, кодировке и уровне вложенности того или иного сайта.
• Могут учитываться куки (по такому принципу работает, к примеру, робот «Гугл Бот»). 
• Оказание помощи при проведении перелинковки, чтобы увеличить позиции по тем запросам, что необходимо продвигать. 

Достоинства «Скриминг Фрог»

• Можно выставлять лимит таймаутов.
• Софт ищет повторяющиеся тайтлы.
• Поддерживается прокси.
• Потребление таких ресурсов как CPU и RAM невысокое.
• Установление логина и пароля, дабы защитить аккаунт.
• Ссылочный текст визуализируется.
• Язык разметки стандартен. 
• Общая функциональность рассматриваемой утилиты гораздо выше, чем у похожих программ.
• Во всплывающем окошке выводятся рекомендации с директивами.
• Продукт совместим с теми версиями «Виндовс», которые имеют 86- или 64-битную разрядность. 
• Доступна настройка столбцов, где размещаются сведения. Сделать это можно, пользуясь фильтрами и функциией сортировки.
• Наличие дополнительных чекбоксов с разновидностями валидации микроразметки (к примеру, «Кейс-Сенсетив», «Гугл Валидейшн»).
• Обнаружение причины появления и помощь в исключении критических ошибок, среди которых отсутствие ответа от сервера или же известной всем Error 404. 

Минусы софта

• Если не покупать дополнительные прокси, то в итоге скорость парсинга будет низкой.
• Интерфейс англоязычен полностью. 
• В бесплатной версии можно выполнять сканирование максимум 500 ссылок по умолчанию (потом придется лишь регистрироваться, либо обзавестись генератором ключей).