seo >

Правильная и быстрая индексация страниц

Быстрая и правильная индексация страниц блога

Начинающие блоггеры часто задают вопросы, как сделать так, чтобы страницы блога проиндексировались быстро. Но не менее часто они забывают о том, что индексация должна быть не только быстрой, но и правильной.

В поиске должны быть страницы статей, а не страницы тегов, архивов, и рубрик, индексация которых порой быстрее, чем индексация самих статей.

Это ведет к тому, что в поиске появляется куча ненужных страниц вашего блога.

Объясню, как это выглядит на практике (так как я работаю на WordPress, то данная статья касается данной CMS в большей степени, и все рисунки, представленные здесь будут  из админки движка WordPress)

Допустим Вы пишите статью и ставите к ней метки (теги).

Или отмечаете, в какой рубрике будет находиться статья:

Метки как и рубрики созданы для более удобной навигации. При их создании на блоге создается отдельная страница, так же как и создается страница для архива статей за месяц по его истечении.

Если открыть метку/рубрику/архив то мы увидим все анонсы (конечно же, если настроен вывод анонсов. Некоторые продолжают пользоваться полным выводом текста поста) статей, которые мы отнесли к данной рубрике или которой присвоили определенную метку. То есть у нас появляется страница, которая не содержит никакой полезной информации – только набор анонсов.

Такие страницы так же попадают в поисковик вместо страниц-статей, если не запрещать их индексацию.

В посте Хитрый плагин All in One SEO Pack. К чему приводят глупые ошибки в работе с плагинами я рассказывал, что именно неправильная настройка плагина привела к тому, что ¾ страниц моего блога в поиске яндекса были метки. Вот как это выглядело в панели Я.Вебмастер:

К чему это ведет? А ведет к тому, что пользователи не смогу найти ваши статьи в поисковике. Их просто нет. Я, до того момента, как понял проблему, удивлялся, почему с поисковика мне идет очень мало трафика. Сейчас же, после исправления проблемы, трафик с поисковика значительно увеличился.

Почему так происходит? Когда вы создаете статью, то на морде блога и на страницах тегов и рубрик создается анонс статей. Робот поисковика, проверяя ваш блог видит, что текст на разных страницах блога повторяется (одинаковые анонсы) и робот выбирает, какая из страниц должна быть в поиске. В следствии этого выбираются, например, страницы тегов.

Что необходимо делать? Данная проблема решается комплексом  мер. В них я могу включить: настройку плагинов, настройку файла robots.txt, создание карты сайта, уникальный контент.

Настройка All in One SEO Pack

А теперь обо всем по порядку. Для wordpress есть плагины для seo оптимизации. То есть оптимизируют ваш блог автоматически по заданным вами параметрам. Один из наиболее используемых плагинов – All in One SEO Pack.

В данном плагине необходимо  обязательно настроить 3 значения:

Данные настройки необходимы для борьбы с повторяющимся контентом (как я говорил – повторяющийся текст анонсов).

Хочу заметить, что многие вообще не используют плагины для оптимизации и у них не возникает таких проблем.

Есть еще один проблемный плагин Robots Meta. Проблема с запретом индексации страниц из-за данного плагина возникла у моего друга Дмитрия, на своем блоге он описал данную проблему. Решаем проблему индексации страниц Яндексом.

Иными плагинами для оптимизации я не пользовался, но настоятельно советую тщательно проверять их настройки, если вы установили их себе.

Robots.txt. Обязательный файл для любого блога. Если кратко, для тех кто не знает, robots.txt – файл для ограничения доступа к каким-либо разделам блога, запрет их индексации.

Чтобы он работал, его, во-первых, необходимо создать (можно как сначала в блокноте прописать все данные, а потом загрузить на ваш сервер, или сразу создать файл на сервере). Затем прописать в нем данные, которые понимает робот-поисковик. Прописать те разделы, которые вы хотели бы закрыть от индексации.

Заранее отмечу: Робот-поисковик Яндекса понимает только команду User-agent:Yandex и последующие за ним команды. Для остальных поисковиков используется команда User-agent: *

Команда Disallow: — запрещает индексацию.

Вот эти данные стандартно закрывают все от индексации:

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

А вот, что я закрыл дополнительно на своем блоге:

Disallow: /category/ — закрывает индексацию рубрик (для запрета повторяющегося контекта)

Disallow: /feed/ — закрывает индексацию фида

Disallow: */comments – закрывает комменты

Disallow: /page/ — закрывает от индексации страницы. Допустим у вас на морде блога ограничено число вывода статей, вы превысили это число и у вас создается дополнительная страница, где размещены анонсы. Например главная blognat.ru, а до следующая страница blognat.ru/page/2/ — вот такие страницы и запрещает данная команда. (для запрета повторяющегося контекта)

Disallow: /tag/ — запрещает индексацию страниц тегов (меток). (для запрета повторяющегося контекта)

Disallow: /20* — запрещает индексацию архивов за 2000 год и последующие. (Надо быть осторожным, так как, если ваша статья начинается с цифры 20, то и она будет под запретом). (для запрета повторяющего контекта)

Disallow: /comments/feed – запрет фидов комментов.

Disallow: /tag/feed – запрет фидов тегов.

По полной настройке файла robots.txt написано много статей, так что углубленно останавливаться на нем не буду.

Много полезной инфы для начинающего вебмастера help.yandex.ru/webmaster/

Кстати, посмотреть файл robots.txt можно на чужом блоге. Обычно он размещается по однотипному адресу  адрес_блога.ru/robots.txt

Уникальный контент

Здесь все просто. Уникальные тексты поисковики любят. За копипаст или плохой рерайт статей страница может и не появится в поиске.

Ссылки с других ресурсов

Ссылки с других ресурсов ускоряют и учащают индексацию блога. То есть ваша статья быстрее попадет в поиск.

Добавление в аддурилку поисковика:

Чтобы статья быстрее попала в индекс, можно в ручную загнать ее в поисковик (аддурилка – add url – т.е. добавить url адрес). Здесь можно добавить статью в Яндекс.

Это мои небольшие рекомендации. В общем, пробуйте, делитесь соображениями и результатами.

Нашел очень смешное видео — телеляпы. Очень смешно.

httpv://www.youtube.com/watch?v=G2f_R-uHuBQ&feature=related

Качественный хостинг incloud.ru по оптимальной цене


Читать ещё:

Комментирование закрыто.