Как найти страницы не попавшие в индекс на большом сайте?

Серега, 282 просмотра

Поделюсь вопросом-проблемой.
Ситуация: сайт примерно 17 тыс. страниц каталога товаров с описаниями. В индексе находится 12-13 тыс.

Есть ли способы, как быстрее всего определить конкретные адреса страниц НЕ ПОПАВШИХ в индекс?
Речь идет о Яндексе.
Дело в том, что панель вебмастера показывает только первые 1000 страниц индекса, а структура сайта такова,
что фильтровать в панели ссылки занимает ну оочень много времени.

Может кто знает волшебный метод? :)
Буду счастлив получить хотя бы подсказку-наводку.

Примечание:
Логи - не вариант. Сайт полностью загружен роботами вдоль и поперек по несколько раз. Не все страницы попадают в индекс.

Примечание:
__Sander__, а дает ли xml возможность выкачать адреса ВСЕХ страницы из выдачи одним запросом? Или предлагаете пробивать по одной?

Ответы:

Тюрин Евгений Александрович

угу, логи на вебсервере покажут, что запрашивал робот

__Sander__

xml.yandex.ru
зарегистрироваться
получить список страниц в индексе в формате xml (тектс запроса получаем через расширенный запрос)
парсим xml, получаем список страниц, вычисляем дополнение
сам не делал, но должно получиться

__Sander__

Как-то так получается массово, но нужно поиграть в параметры

Снег

у семонитора вроде модуль проверки индексации был. А так - тебе надо составить список всех страниц сайта, поделить его на разделы, чтобы меньше тысячи и сравнивать с тем, что выдаст яндекс для заданного раздела

kosmodrom

Прийдётся по одной странице пробивать, если хочешь.

14 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.