Скриминг Фрог не парсит сайт :: В помощь вебмастеру

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?

Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Скриминг Фрог не парсит сайт

Модерирует : Cheery
Версия для печати • Подписаться • Добавить в закладки

doroga26

Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Необходимо провести СЕО-аудит сайта
https://vovk.com/
С помощью сервиса СкримингФрога,
Но он парсит только одну Главную страницу.
Запрета на индексацию в ROBOTS.TXT нет.
Устанавливал в самом спайдере следующие настройки:
Поставил галочки на пунктах (нагуглил на форумах):
- follow Internal "nofollow"
-follow External "nofollow"
Вот скрин:
https://pastenow.ru/3M507
Но пока безрезультатно.
*******************************
1) В чем проблема?
2) Как ее решить?
3) Как провести тот аудит, который проводит СкримингФрог, если он заблокирован, какие есть альтернативные сервисы?

Всего записей: 230 | Зарегистр. 03-01-2008 | Отправлено: 00:34 23-08-2018 | Исправлено: doroga26, 00:36 23-08-2018

Mavrikii Platinum Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору doroga26 UA пробовали сменить? по умолчанию в нем выдает контента на 220 байт, явно не страница.
	Всего записей: 15101 \| Зарегистр. 20-09-2014 \| Отправлено: 01:03 23-08-2018

doroga26

Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:

UA пробовали сменить? по умолчанию в нем выдает контента на 220 байт, явно не страница.

Можно конкретнее?)))

Всего записей: 230 | Зарегистр. 03-01-2008 | Отправлено: 07:41 23-08-2018

Mavrikii

Platinum Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

doroga26

Цитата:

Можно конкретнее?)))

куда конкретнее? по умолчанию он себя выдает в User-Agent, сменить на любое браузерное.

Всего записей: 15101 | Зарегистр. 20-09-2014 | Отправлено: 07:42 23-08-2018

doroga26

Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:

куда конкретнее? по умолчанию он себя выдает в User-Agent, сменить на любое браузерное.

ПЖЛ, объясните где менять, покажите скрин, если можно.
Доступа к админке сайта у меня нет.

Всего записей: 230 | Зарегистр. 03-01-2008 | Отправлено: 07:54 23-08-2018

Mavrikii

Platinum Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

doroga26

Цитата:

Доступа к админке сайта у меня нет.

при чем тут админка сайта?? ваша программа эмулирует запросы браузера к серверу, единственное что ее выдает - тот User-Agent, что она отправляет. в бесплатной программе его менять нельзя, в платной в настройке есть выбор UA, нужно выбрать тот, что соответствует браузеру.
https://ru.wikipedia.org/wiki/User_agent

Всего записей: 15101 | Зарегистр. 20-09-2014 | Отправлено: 07:57 23-08-2018 | Исправлено: Mavrikii, 07:57 23-08-2018

doroga26

Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:

У меня крякнутый Скриминг, никака не могу найти, как сменить USER AGENT в настройках.
Подскажите как это сделать))
Принт покажите, если можно.

Всего записей: 230 | Зарегистр. 03-01-2008 | Отправлено: 08:41 23-08-2018

Mavrikii

Platinum Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

doroga26

Цитата:

никака не могу найти, как сменить USER AGENT в настройках

нет слов..

Цитата:

User agent
You can find the ‘User-Agent’ configuration under ‘Configuration > HTTP Header > User-Agent’.

The user-agent switcher has inbuilt preset user agents for Googlebot, Bingbot, Yahoo! Slurp, various browsers and more. This feature also has a custom user-agent setting which allows you to specify your own user agent.

Всего записей: 15101 | Зарегистр. 20-09-2014 | Отправлено: 08:45 23-08-2018 | Исправлено: Mavrikii, 08:45 23-08-2018

doroga26 Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору Спасибо, я заходил в эту вкладку, но не сообразил, что с ней делать!)))
	Всего записей: 230 \| Зарегистр. 03-01-2008 \| Отправлено: 10:29 23-08-2018

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Скриминг Фрог не парсит сайт

Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC