Привет, подскажите пожалуста, на одном ресурсе человек пишет, что можно одной строчкой решить проблему с дублями сайта закрыв всё, при этом оставив только .html подскажите правильно ли я составил?
User-agent: Yandex
Crawl-delay: 2
Disallow:
allow: .html
Host: site.ru
Sitemap:
http://site.ru/sitemap.xml
Примечание:
Использую лайвстрит, недавно заметил в выдаче дубли, например в цмс есть вывод по тегам, пс индексируют и получаеться дубли контента, в обсуждении на офф. сайте движка 1 человек написал, что смог избавиться от дублей закрыв всё, при этом оставив разрешив только .хтмл , но как не написал. Вот и сижу ломаю голову теперь. Сам я написал вот такого динозавра, хотелось бы всё таки одной строчкой обойтись!
User-agent: Yandex
Crawl-delay: 2
Disallow: /rss
Disallow: /search
Disallow: /js
Disallow: /css
Disallow: /classes
Disallow: /config
Disallow: /include
Disallow: /templates
Disallow: /logs
Disallow: /registration
Disallow: /login
Disallow: /login/reminder
Disallow: /my
Disallow: /talk
Disallow: /profile
Disallow: /blog/bad
Disallow: /personal_blog
Disallow: /blog/new
Disallow: /personal_blog/new
Disallow: /personal_blog/bad
Disallow: /top
Disallow: /top/topic/30d
Disallow: /top/topic/all
Disallow: /top/topic/7d
Disallow: /top/topic/24h
Disallow: /feed
Host: site.ru
Sitemap:
http://site.ru/sitemap.xml
RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.
Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.
Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.