Sitemap.xml и Robots.txt – как создать и подключить к блогу на blogger (blogspot)

Здравствуйте читатели моего блога. Сегодня разговор пойдет о создании и подключении сайтов Sitemap и Robot.txt к блогу, расположенному на сервере Blogger (Blogspot). Кто занимается сайтостроительством и продвижением интернет-проектов в сети знают, насколько важны эти два файла для сайта. Они отвечают за индексирование ваших статей в поисковых системах. В Робот.тхт можно запретить или разрешить индексирование того или иного файла (папки), размещенных на сервере. В нем указывается путь к файлу Сайтмап. Последний, в свою очередь подсказывает поисковым роботам, по каким адресам находятся материалы блога, когда они были добавлены или изменены, какой приоритет для них указан. Приоритет, он указывает, какой файл для поисковика более важен (должен в первую очередь посетить робот), а какой нет.


Содержание:

Ранее, настройка и подключение этих важных файлов была затруднена. После обновления интерфейса Блоггера эта проблема была решена. Начнем с создания и подключения файла Robots txt с блогу на Blogspot.



  1. Переходим в консоль управления блогом. Нажимаем «Настройки» - «Настройки поиска»
  2. В разделе «Поисковые роботы и индексация» нажимаем на кнопку «Изменить», напротив пункта «Пользовательский файл Robots.txt»
  3. Открывается окно, в котором выбираем пункт «Да». В появившемся поле добавляем директивы для поисковых роботов:

1. User-agent: Mediapartners-Google
2. Disallow:
3. User-agent: Yandex
4. Disallow: /search
5. Disallow: /p/search.html
6. Allow: /
7. User-agent: *
8. Disallow: /search
9. Disallow: /p/search.html
10. Allow: /
11. Sitemap: http://blog.1st-finstep.ru/sitemap.xml

Создание и настройка файла Robots.txt для Blogger

Первая строка запрещает роботу Mediapartners-Google заходить на страницы вашего блога. 

Третья строка – запрещает Яндексу индексировать папки «search» и файл «p/search.html».

В седьмой строке всем поисковым «паукам» запрещается посещать выше указанные папки и файлы. Ниже указывается путь к вашему файлу (меняем адрес моего блога на ваш адрес). Как создать файл Sitemap.xml мы поговорим позже.


Далее, нажимаем на кнопку «Сохранить изменения». Следующим шагом нужно настроить «Персонализированные теги robots для заголовков». Нажимаем «Изменить».

Персонализированные теги robots для заголовков в blogspot.com

Выбираем переключатель «Да» и открывается окошко с выбором тегов. Отмечаем галочками нужные персонализированные теги для заголовков страниц, сообщений и архивов.  На скриншоте сверху изображен мой вариант тегов для Robots.txt.


Ниже представлен краткий список объяснений каждой директивы, чтобы вы смогли сами настроить заголовки.

Список тегов для robots.txt




Для создания карты сайта для поисковых роботов можно было воспользоваться множеством генераторов карт или создать ее по шаблону. Но для пользователей Blogspot это бы не помогало. Так как, нет доступа к FTP блога, а значит загрузить файл на сервер невозможно.

С недавнего времени Google произвел обновления своей платформы и создавать отдельно этот файл не нужно. Он самостоятельно генерируется системой и находится по ссылке: адрес блога/sitemap.xml. Можете самостоятельно проверить, ввести в строку выше написанный адрес (только вместо фразы «адрес блога» пишите свой url) и посмотреть из чего он состоит.

На этом настройка sitemap.xml для blogspot закончена, подключаем его. А это мы уже сделали ранее, а точнее при написании директив в Robots.txt, помните? Указывали строку «Sitemap: http://blog.1st-finstep.ru/sitemap.xml». Ее можно везде указывать, где необходимо прописать путь к файлу карты блога.

Важно! После просмотра своего, сгенерированного blogger карты сайта выяснилось, что в него попали только УРЛ сообщений, страницы блога не отметились. Мне этот вариант не устраивает. Поэтому, я воспользовался сервисом генерации файла карты сайта. Полученный файлик загрузил на свой FTP и указал к нему путь в роботс.тхт.

После этого, нужно перейти в панель управления Google Searche Console и прописать путь к новому файлу в разделе «Сканирование» - «Файлы Sitemap».

На этом создание и подключение файлов Robots.txt и Сайтмап к Blogger завершено. Если будут вопросы, то пишите в комментариях. Всем удачи!!!

Комментариев нет:

Отправить комментарий