нужны все диапазоны ip поисковиковых ботов(поисковиков), которые предоставляют услуги поиска, но только в основном на своём языке.
к примеру диапазоны Yandex. Например у меня есть сайты на English языке, на которые лазиют поисковые боты Yandex, но толку от того, что они лазиют нет, так как индексируют они страницы в большинстве случаев на русском языке. Хочу закрыть доступ к сайтам, подобным ботам.
просто у некоторых поисковиков большой диапазон ip поисковых ботов и они меняются.
диапазоны ip мультиязычных поисковых систем вроде Google, Yahoo, Live.com - не нужны
Примечание:
Ant1973 этот robots обходится поисковыми роботами часто, даже если стоит запрет на просмотр страниц.
проще заблокировать дипапозон ip поисковых роботов и быть на 100% уверенным, что поисковый бот не будет лазить, там где в этом нет необходимости :)
Примечание:
Ant1973 IP меняются, потому что покупаются новые дополнительные сервера и старых диапазонов IP не хватает.
про мозамбик, вопрос не в том как узнать, а вопрос про диапазоны известных поисковых ботов, зачем вы задаёте вопрос на вопрос?
на некоторых php скриптах боты палятся легко и показываются их IP.
узнали один ip, а далее можно посмотреть например на whois.nic.ru - вводите там IP и видите уже весь диапазон.
RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.
Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.
Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.