Решив возродить к жизни заброшенный блог на блоггер и провести свой личный эксперимент по росту посещаемости, я столкнулась с необходимостью сделать блог видимым для роботов поисковых систем.
Для этого очень важна страница sitemap.xml - это карта вашего сайта, которая сообщает роботам о появлении новых страниц на сайте и ускоряет индексацию страниц.
В blogger найти sitemap можно, если прописать название блога и в конце добавить sitemap.xml. Вот пример для моего блога http://1000experiments.blogspot.ru/sitemap.xml Подставьте адрес своего блога и получите карту своего сайта.
Проверить наличие ошибок в файле sitemap можно на яндексе для вебмастеров > Для этого надо перейти по ссылке, ввести url для файла sitemap и нажать кнопку "Проверить":
В случае отсутствия ошибок вы получите такой результат:
Теперь надо http://1000experiments.blogspot.ru/sitemap.xml вставить во второй важный для поисковых роботов файл - robots.txt
Этот файл разрешает или запрещает роботам поисковых систем посещать страницы вашего сайта и индексировать сайт.
Вначале робот смотри на строку, содержащую слова: User-agent. В этой строке могут быть указаны все роботы (в этом случае стоит звездочка - User-agent: *), либо один конкретный робот, например, User-agent: Yandex. Ксли яндекс (или другой робот) находит строку со своим именем, то учитывает команды, указанные для него и игнорирует то, что указано для всех роботов. Не будем рассматривать все директивы (можете ознакомиться с ними, например, на сайте яндекса >), только самые главные - Allow и Disallow.
Allow robots.txt дает команду роботу посещать страницы вашего сайта и индексировать, Disallow robots.txt - запретить индексацию. Можно дать разрешение/запрет на посещение всего сайта, или отдельных страниц. Если запрещено посещение всех страниц, то дается такая команда Disallow: / Если запрещены конкретные страницы, то разрешаем все Allow: / и запрещаем определенную группу, например, в папке photo - Disallow: /photo Впрочем, для сайтов, размещенных на блоггере все это не очень важно, это была информация для большего понимания отдельных команд.
robots.txt где находится?
Если у вас полноценный сайт, то файл robots.txt следует загрузить в корневой каталог.
Самый простой пример файла с разрешением всем роботам индексировать все страницы сайта вы видите на этой странице. Если будете копировать, не забудьте изменить имя сайта в последней строчке.
Allow: /
Sitemap: http://1000experiments.blogspot.ru/sitemap.xml
Провести анализ robots.txt можно все там же - на яндексе для вебмастеров > Перейдя по ссылке вы сразу попадете на страницу проверки robots.txt, или можете выбрать ее так:
Вводим название сайта и нажимаем стрелочку справа:
Для этого очень важна страница sitemap.xml - это карта вашего сайта, которая сообщает роботам о появлении новых страниц на сайте и ускоряет индексацию страниц.
В blogger найти sitemap можно, если прописать название блога и в конце добавить sitemap.xml. Вот пример для моего блога http://1000experiments.blogspot.ru/sitemap.xml Подставьте адрес своего блога и получите карту своего сайта.
Проверить наличие ошибок в файле sitemap можно на яндексе для вебмастеров > Для этого надо перейти по ссылке, ввести url для файла sitemap и нажать кнопку "Проверить":
В случае отсутствия ошибок вы получите такой результат:
Теперь надо http://1000experiments.blogspot.ru/sitemap.xml вставить во второй важный для поисковых роботов файл - robots.txt
Этот файл разрешает или запрещает роботам поисковых систем посещать страницы вашего сайта и индексировать сайт.
Вначале робот смотри на строку, содержащую слова: User-agent. В этой строке могут быть указаны все роботы (в этом случае стоит звездочка - User-agent: *), либо один конкретный робот, например, User-agent: Yandex. Ксли яндекс (или другой робот) находит строку со своим именем, то учитывает команды, указанные для него и игнорирует то, что указано для всех роботов. Не будем рассматривать все директивы (можете ознакомиться с ними, например, на сайте яндекса >), только самые главные - Allow и Disallow.
Allow robots.txt дает команду роботу посещать страницы вашего сайта и индексировать, Disallow robots.txt - запретить индексацию. Можно дать разрешение/запрет на посещение всего сайта, или отдельных страниц. Если запрещено посещение всех страниц, то дается такая команда Disallow: / Если запрещены конкретные страницы, то разрешаем все Allow: / и запрещаем определенную группу, например, в папке photo - Disallow: /photo Впрочем, для сайтов, размещенных на блоггере все это не очень важно, это была информация для большего понимания отдельных команд.
robots.txt где находится?
Где robots.txt находится в блоггере?
Из панели администратора заходим в Настройки - Настройки поиска. Нажимаем "Изменить" справа от "Пользовательский файл robots.txt", нажимаем "Да", появляется пустое поле, куда вносим текст нашего robots.txt и нажимаем кнопку "Сохранить изменения":
Самый простой пример файла с разрешением всем роботам индексировать все страницы сайта вы видите на этой странице. Если будете копировать, не забудьте изменить имя сайта в последней строчке.
robots.txt пример:
User-agent: *Allow: /
Sitemap: http://1000experiments.blogspot.ru/sitemap.xml
Проверить robots.txt
Провести анализ robots.txt можно все там же - на яндексе для вебмастеров > Перейдя по ссылке вы сразу попадете на страницу проверки robots.txt, или можете выбрать ее так:Вводим название сайта и нажимаем стрелочку справа:
Нажимаем кнопку "Проверить":
Смотрим результаты анализа:
