Быстрая и правильная индексация страниц блога

Начинающие блоггеры часто задают вопросы, как сделать так, чтобы страницы блога проиндексировались быстро. Но не менее часто они забывают о том, что индексация должна быть не только быстрой, но и правильной.

В поиске должны быть страницы статей, а не страницы тегов, архивов, и рубрик, индексация которых порой быстрее, чем индексация самих статей.

Это ведет к тому, что в поиске появляется куча ненужных страниц вашего блога.

Объясню, как это выглядит на практике (так как я работаю на WordPress, то данная статья касается данной CMS в большей степени, и все рисунки, представленные здесь будут  из админки движка WordPress)

Допустим Вы пишите статью и ставите к ней метки (теги).

Или отмечаете, в какой рубрике будет находиться статья:

Метки как и рубрики созданы для более удобной навигации. При их создании на блоге создается отдельная страница, так же как и создается страница для архива статей за месяц по его истечении.

Если открыть метку/рубрику/архив то мы увидим все анонсы (конечно же, если настроен вывод анонсов. Некоторые продолжают пользоваться полным выводом текста поста) статей, которые мы отнесли к данной рубрике или которой присвоили определенную метку. То есть у нас появляется страница, которая не содержит никакой полезной информации – только набор анонсов.

Такие страницы так же попадают в поисковик вместо страниц-статей, если не запрещать их индексацию.

В посте Хитрый плагин All in One SEO Pack. К чему приводят глупые ошибки в работе с плагинами я рассказывал, что именно неправильная настройка плагина привела к тому, что ¾ страниц моего блога в поиске яндекса были метки. Вот как это выглядело в панели Я.Вебмастер:

К чему это ведет? А ведет к тому, что пользователи не смогу найти ваши статьи в поисковике. Их просто нет. Я, до того момента, как понял проблему, удивлялся, почему с поисковика мне идет очень мало трафика. Сейчас же, после исправления проблемы, трафик с поисковика значительно увеличился.

Почему так происходит? Когда вы создаете статью, то на морде блога и на страницах тегов и рубрик создается анонс статей. Робот поисковика, проверяя ваш блог видит, что текст на разных страницах блога повторяется (одинаковые анонсы) и робот выбирает, какая из страниц должна быть в поиске. В следствии этого выбираются, например, страницы тегов.

Что необходимо делать? Данная проблема решается комплексом  мер. В них я могу включить: настройку плагинов, настройку файла robots.txt, создание карты сайта, уникальный контент.

Настройка All in One SEO Pack

А теперь обо всем по порядку. Для wordpress есть плагины для seo оптимизации. То есть оптимизируют ваш блог автоматически по заданным вами параметрам. Один из наиболее используемых плагинов – All in One SEO Pack.

В данном плагине необходимо  обязательно настроить 3 значения:

Данные настройки необходимы для борьбы с повторяющимся контентом (как я говорил – повторяющийся текст анонсов).

Хочу заметить, что многие вообще не используют плагины для оптимизации и у них не возникает таких проблем.

Есть еще один проблемный плагин Robots Meta. Проблема с запретом индексации страниц из-за данного плагина возникла у моего друга Дмитрия, на своем блоге он описал данную проблему. Решаем проблему индексации страниц Яндексом.

Иными плагинами для оптимизации я не пользовался, но настоятельно советую тщательно проверять их настройки, если вы установили их себе.

Robots.txt. Обязательный файл для любого блога. Если кратко, для тех кто не знает, robots.txt – файл для ограничения доступа к каким-либо разделам блога, запрет их индексации.

Чтобы он работал, его, во-первых, необходимо создать (можно как сначала в блокноте прописать все данные, а потом загрузить на ваш сервер, или сразу создать файл на сервере). Затем прописать в нем данные, которые понимает робот-поисковик. Прописать те разделы, которые вы хотели бы закрыть от индексации.

Заранее отмечу: Робот-поисковик Яндекса понимает только команду User-agent:Yandex и последующие за ним команды. Для остальных поисковиков используется команда User-agent: *

Команда Disallow: — запрещает индексацию.

Вот эти данные стандартно закрывают все от индексации:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

А вот, что я закрыл дополнительно на своем блоге:

Disallow: /category/ — закрывает индексацию рубрик (для запрета повторяющегося контекта)

Disallow: /feed/ — закрывает индексацию фида

Disallow: */comments – закрывает комменты

Disallow: /page/ — закрывает от индексации страницы. Допустим у вас на морде блога ограничено число вывода статей, вы превысили это число и у вас создается дополнительная страница, где размещены анонсы. Например главная blognat.ru, а до следующая страница blognat.ru/page/2/ — вот такие страницы и запрещает данная команда. (для запрета повторяющегося контекта)

Disallow: /tag/ — запрещает индексацию страниц тегов (меток). (для запрета повторяющегося контекта)

Disallow: /20* — запрещает индексацию архивов за 2000 год и последующие. (Надо быть осторожным, так как, если ваша статья начинается с цифры 20, то и она будет под запретом). (для запрета повторяющего контекта)

Disallow: /comments/feed – запрет фидов комментов.

Disallow: /tag/feed – запрет фидов тегов.

По полной настройке файла robots.txt написано много статей, так что углубленно останавливаться на нем не буду.

Много полезной инфы для начинающего вебмастера

Кстати, посмотреть файл robots.txt можно на чужом блоге. Обычно он размещается по однотипному адресу  адрес_блога.ru/robots.txt

Уникальный контент

Здесь все просто. Уникальные тексты поисковики любят. За копипаст или плохой рерайт статей страница может и не появится в поиске.

Ссылки с других ресурсов

Ссылки с других ресурсов ускоряют и учащают индексацию блога. То есть ваша статья быстрее попадет в поиск.

Добавление в аддурилку поисковика:

Чтобы статья быстрее попала в индекс, можно в ручную загнать ее в поисковик (аддурилка – add url – т.е. добавить url адрес). Здесь можно добавить статью в Яндекс.

Это мои небольшие рекомендации. В общем, пробуйте, делитесь соображениями и результатами.