Как улучшить индексацию блога поисковой системой. Создание robots.txt и sitemap.xml
Каждый блоггер хочет, чтобы страницы его блога попали в результаты поисковых систем как можно быстрее. Чтобы страницы была в поиске необходимо, чтобы она прошла индексацию – т.е. добавления информации о сайте в поисковую систему.
И так, блоги, чьи страницы занесены в индекс поисковика могут быть в его выдаче.
Как попасть блогу в индекс? Существует два способа попасть в индексацию поисковой системы:
Когда поисковик индексирует какой-либо сайт (индексация происходит с помощью поискового робота), он смотрит и на ссылки, находящиеся на сайте и постепенно переходит и по этим ссылкам, т.е. индексирует и эти страницы. Вывод: необходимо, чтобы на ваш блог ссылались внешние ресурсы; желательно, чтобы они имели высокие показатели выдачи в поисковиках.
И способ второй, более быстрый. Ручное добавление блога на очередь индексации. Для этого необходимо добавлять в определенную форму только название главной страницы, ну и общие данные блога и владельца. Занести сайт или блог на индексацию в разные поисковые системы можно по этим ссылкам:
Для индексации страниц любой поисковик использует своих помощников – поисковых роботов. Задача его – исследование ваших страниц и сохранение, для последующей выдачи их по запросам.
Существуют способы ускорить или облегчить работу поискового робота, это:
1. создание файла robots.txt — его предназначение запретить индексацию определенных страниц и разделов. Так же в нем указывается путь к файлу Sitemap (о нем ниже). Файл должен находиться в корне сайта или блога. Если коротко – то создаете пустой текстовый документ robots.txt и прописать в нем определенные строчки.
User-agent: Yandex – специально для поискового робота яндекс;User-agent: * — для всех остальных поисковиков.
2. Создание файла Sitemap.xml – это файл-карта сайта, в котором указаны конкретные страницы, которые робот должен просмотреть. Так как я создал свой блог на движке WordPress, то воспользовался очень удобным плагином Google XML Sitemaps, который создал карту сайта, создавать его в ручную очень муторно, советую даже не стараться. Если у вас блог не на WordPress– существуют сервисы по созданию карт сайта, погуглите. В нем так же, как и в robots.txt можно указать, что индексировать ненужно.
Еще один способ улучшить индексацию, это расположение статей по кратчайшему адресу. Например: страница blognat.ru/pro—blog будет вкуснее для поисковика, нежели страница blognat.ru/posty/pro—blog.
Полезно так же упоминать сайт и отдельные посты в социальных сервисах: vkontakte, Facebook, Twitter. Быстро добавить их пользователь или вы сами можете с помощью панель соц.закладок, которые можно установить себе на сайт/блог. Как это сделать я рассказал в статье Кнопки социальных закладок для WordPress.
Поисковикам так же очень нравится уникальные тексты постов, то есть написанные вами и для людей. Посты, которые скопированы с какого-либо сайта чаще всего не попадают в индексацию, а еще чаще весь сайт попадает в бан поисковика, либо в бан попадает весь сайт, а главная страница остается.
За критику, дополнения, предложения буду благодарен – все это в комменты.
Комментирование закрыто.