Для блоггера >

Как улучшить индексацию блога поисковой системой. Создание robots.txt и sitemap.xml

Каждый блоггер хочет, чтобы страницы его блога попали в результаты поисковых систем как можно быстрее. Чтобы страницы была в поиске необходимо, чтобы она прошла индексацию – т.е. добавления информации о сайте в поисковую систему.

Читайте так же — как ускорить индексацию в поисковых системах

И так, блоги, чьи страницы занесены в индекс поисковика могут быть в его выдаче.

Как попасть блогу в индекс? Существует два способа попасть в индексацию поисковой системы:

  1. Когда поисковик индексирует какой-либо сайт (индексация происходит с помощью поискового робота), он смотрит и на ссылки, находящиеся на сайте и постепенно переходит и по этим ссылкам, т.е. индексирует и эти страницы. Вывод: необходимо, чтобы на ваш блог ссылались внешние ресурсы; желательно, чтобы они имели высокие показатели выдачи в поисковиках.
  2. И способ второй, более быстрый. Ручное добавление блога на очередь индексации. Для этого необходимо добавлять в определенную форму только название главной страницы, ну и общие данные блога и владельца.  Занести сайт или блог на индексацию в разные поисковые системы можно по этим ссылкам:

a)     Добавить в Яндекс

b)    Добавить в Google

c)     Добавить в Mail.ru, сразу же на странице отмечаем галочкой, добавить в топ.Mail.ru

Так как вести блог я начал недавно, то стал развивать тему индексации опираясь на собственный блог. Об этом можно почитать в статьях За какое время индексируется блог, Ускоряем выдачу страниц блога.

Для индексации страниц любой поисковик использует своих помощников – поисковых роботов. Задача его – исследование ваших страниц и сохранение, для последующей выдачи их по запросам.

Существуют способы ускорить или облегчить работу поискового робота, это:

  • 1. создание файла robots.txt —  его предназначение запретить индексацию определенных страниц и разделов. Так же в нем указывается путь к файлу Sitemap (о нем ниже). Файл должен находиться в корне сайта или блога. Если коротко – то создаете пустой текстовый документ robots.txt и прописать в нем определенные строчки.

Мой файл robots.txt выглядит так:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Sitemap: http://blognat.ru/sitemap.xml

Host: http://blognat.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Sitemap: http://blognat.ru/sitemap.xml
    User-agent: Yandex – специально для поискового робота яндекс;
    User-agent: * — для всех остальных поисковиков.
  • 2. Создание файла Sitemap.xml – это файл-карта сайта, в котором указаны конкретные страницы, которые робот должен просмотреть. Так как я создал свой блог на движке WordPress, то воспользовался очень удобным плагином Google XML Sitemaps, который создал карту сайта, создавать его в ручную очень муторно, советую даже не стараться. Если у вас блог не на WordPress – существуют сервисы по созданию карт сайта, погуглите. В нем так же, как и в robots.txt можно указать, что индексировать ненужно.

Еще один способ улучшить индексацию, это расположение статей по кратчайшему адресу. Например: страница blognat.ru/problog будет вкуснее для поисковика, нежели страница blognat.ru/posty/problog.

Полезно так же упоминать сайт и отдельные посты в социальных сервисах: vkontakte, Facebook, Twitter. Быстро добавить их пользователь или вы сами можете с помощью панель соц.закладок, которые можно установить себе на сайт/блог. Как это сделать я рассказал в статье Кнопки социальных закладок для WordPress.

Поисковикам так же очень нравится уникальные тексты постов, то есть написанные вами и для людей. Посты, которые скопированы с какого-либо сайта чаще всего не попадают в индексацию, а еще чаще весь сайт попадает в бан поисковика, либо в бан попадает весь сайт, а главная страница остается.

За критику, дополнения, предложения буду благодарен – все это в комменты.

Удачи в индексации.


Читать ещё:

Комментирование закрыто.