Ошибка 404 сервера, сайт не индексируется

интернет программирование сайт индексация http

Сайт уже который месяц не индексируется. В индексе гугла и яндекса только 1 страница. Все остальные исключены. При проверке на ответ сервера выдает ошибку 404.

Я не могу понять, где и как нужно искать ошибку: sitemap, robots, параметры сервера????

Сайт - otokodesign.com
Хостинг - godaddy
Сайт создавался на MOTO CMS.

Файл роботс:

User-agent: *
Disallow: /*?
Disallow: *.swf$
Disallow: *.js$
Disallow: /admin/
Disallow: /assets/
Disallow: /fonts/
Disallow: /images/previews/
Disallow: /images/sections/
Disallow: /images/modules/
Disallow: /modules/
Disallow: /slots/
Disallow: /xml/

Файл sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<url>
<loc>http://www.otokodesign.com/main</loc>
</url>
<url>
<loc>http://www.otokodesign.com/about</loc>
</url>
<url>
<loc>http://www.otokodesign.com/cooperation</loc>
</url>
<url>
<loc>http://www.otokodesign.com/contacts</loc>
</url>
<url>
<loc>http://www.otokodesign.com/stores</loc>
</url>
<url>
<loc>http://www.otokodesign.com/catalogue</loc>
</url>
<url>
<loc>http://www.otokodesign.com/dark</loc>
</url>
<url>
<loc>http://www.otokodesign.com/middle</loc>
</url>
<url>
<loc>http://www.otokodesign.com/light</loc>
</url>
<url>
<loc>http://www.otokodesign.com/careers</loc>
</url>
<url>
<loc>http://www.otokodesign.com/b2b</loc>
</url>
<url>
<loc>http://www.otokodesign.com/wholesale</loc>
</url>
</urlset>


Как это можно исправить? Что сделать?
Ответы:
> При проверке на ответ сервера выдает ошибку 404
Вот это должно было вас насторожить и сразу почти полностью исключить варианты с неверным robots.txt
Гуглу приходит ответ 404. Это код ответа сервера. Сам сервер (без всяких там robots.txt — это только файл на сервере) говорит "извини, Гугл, нет по такому адресу ничо вообще".
Этот код может появится из-за ошибки на сервере или в том случае, если сама CMS его отдает. Или если перенаправление всех запросов на индексый файл CMS сделано через ErrorDocument в конфигурации сервера, а сама CMS попросту не меняет заголовок на 200-ый.


12 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.