Зачем файл robots.txt? Как бот узнает про файлы и папки, на которые нигде нет ссылок?

Поисковые роботы обращаются к серверному ПО (на публичном хостинге) или к страницам на сайте? Страницы отдаются уже скриптами. Если известные вебу (на которые везде есть ссылки, адреса которых могли попасть в приватную почту и т.п.) страницы не ссылаются на секретные, то, теоретически, боту неоткуда узнать о них? Кроме того, на секретных страницах можно сделать ограничение доступа. Тогда зачем вписывать названия этих страниц в robots.txt?

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.