robots.txt в blogger. Где найти файл sitemap

Решив возродить к жизни заброшенный блог на блоггер и провести свой личный эксперимент по росту посещаемости, я столкнулась с необходимостью сделать блог видимым для роботов поисковых систем. 

Для этого очень важна страница sitemap.xml - это карта вашего сайта, которая сообщает роботам о появлении новых страниц на сайте и ускоряет индексацию страниц. 

В blogger найти sitemap можно, если прописать название блога и в конце добавить sitemap.xml. Вот пример для моего блога http://1000experiments.blogspot.ru/sitemap.xml Подставьте адрес своего блога и получите карту своего сайта. 

Проверить наличие ошибок в файле sitemap можно на яндексе для вебмастеров > Для этого надо перейти по ссылке, ввести url для файла sitemap и нажать кнопку "Проверить":

анализ файла sitemap


В случае отсутствия ошибок вы получите такой результат:
результаты анализа файла sitemap

Теперь надо http://1000experiments.blogspot.ru/sitemap.xml вставить во второй важный для поисковых роботов файл - robots.txt 

Этот файл разрешает или запрещает роботам поисковых систем посещать страницы вашего сайта и индексировать сайт.
Вначале робот смотри на строку, содержащую слова: User-agent. В этой строке могут быть указаны все роботы (в этом случае стоит звездочка - User-agent: *), либо один конкретный робот, например, User-agent: Yandex. Ксли яндекс (или другой робот) находит строку со своим именем, то учитывает команды, указанные для него и игнорирует то, что указано для всех роботов. Не будем рассматривать все директивы (можете ознакомиться с ними, например, на сайте яндекса >), только самые главные - Allow и Disallow. 

Allow robots.txt дает команду роботу посещать страницы вашего сайта и индексировать, Disallow robots.txt  - запретить индексацию. Можно дать разрешение/запрет на посещение всего сайта, или отдельных страниц. Если запрещено посещение всех страниц, то дается такая команда Disallow: /  Если запрещены конкретные страницы, то разрешаем все Allow: /  и запрещаем определенную группу, например, в папке photo - Disallow: /photo  Впрочем, для сайтов, размещенных на блоггере все это не очень важно, это была информация для большего понимания отдельных команд.
robots.txt где находится?


Где robots.txt находится в блоггере?

Из панели администратора заходим в Настройки - Настройки поиска. Нажимаем "Изменить" справа от "Пользовательский файл robots.txt", нажимаем "Да", появляется пустое поле, куда вносим текст нашего robots.txt и нажимаем кнопку "Сохранить изменения":


Где найти robots txt в blogger



Если у вас полноценный сайт, то файл robots.txt следует загрузить в корневой каталог.
Самый простой пример файла с разрешением всем роботам индексировать все страницы сайта вы видите на этой странице. Если будете копировать, не забудьте изменить имя сайта в последней строчке. 

robots.txt пример:

User-agent: *
Allow: /


Sitemap: http://1000experiments.blogspot.ru/sitemap.xml


Проверить robots.txt

Яндекс для вебмастеровПровести анализ robots.txt можно все там же -  на яндексе для вебмастеров > Перейдя по ссылке вы сразу попадете на страницу проверки robots.txt, или можете выбрать ее так:








Вводим название сайта и нажимаем стрелочку справа:

Где проверить robots txt

Нажимаем кнопку "Проверить":

Анализ robots txt

Смотрим результаты анализа:

Результаты анализа robots txt




Не забудьте подписаться на мою Facebook страничку

Все статьи сайта