Продвижение сайтов, правильная индексация сайта

 Управляйте индексацией страниц и упрощайте продвижение сайта

Грамотное продвижение сайтов предполагает управление индексацией страниц. Один из способов регламентировать поведение поисковых роботов на вашем сайте — использовать файл robots.txt в корневой директории вашего ресурса. Приходя на сайт по внешней ссылке, робот прежде всего отыщет этот файл и, прочитав его, будет знать, что можно и нужно индексировать, а что нет. Бывает полезно закрывать от индексации не только отдельные страницы, но и целые каталоги — как правило, опытный веб-мастер закрывает от индексации всю "служебную" часть сайта, где отсутствует публичный контент. Например, индексация таких папок, как /cgi-bin/ (скрипты), /img/ (изображения), /docs/ (справочные материалы для администратора) может скорее навредить сайту, нежели принести пользу.

Раскрутка сайтов пойдёт быстрее при грамотной индексации страниц

Вы можете давать поисковым роботам разных систем неодинаковые указания; другими словами, запрещать или разрешать индексацию неких файлов конкретным поисковикам. 

Файл robots.txt заполняется по установленным правилам: поля User-agent и Disallow должны присутствовать в нём обязательно, причём именно в такой последовательности. Поле User-agent определяет "целевую аудиторию" дальнейших инструкций. Чтобы обратиться ко всем роботам сразу, в этом поле нужно поставить знак *. А вот для "адресного обращения" нужно знать, как называются роботы разных поисковых систем. Имена роботов можно перечислять в одной строке, через пробел. 

Ниже приведены "имена" самых известных поисковых роботов.

• Google – Googlebot;
• "Яндекс" - Yandex;
• "Рамблер" - StackRambler;
• "Апорт" - Aport;
• AltaVista – Scooter.

Поле Disallow должно содержать в себе названия тех фалов и папок, индексацию которых вы хотели бы заблокировать. Чтобы закрыть от поисковика весь сайт, в этом поле ставят знак "/". Если же поле Disallowоставить пустым, поисковики смогут индексировать все файлы сайта. 

Создавая блоки инструкций, вы можете создавать различные правила для разных поисковиков. В этом случае раскрутка сайта пойдет еще быстрее.

Это лишь один из способов предотвратить нежелательную индексацию, но он может оказаться очень полезен в вашей работе над сайтом. Компания "Антарион", которая занимается продвижением сайтов, профессионально использует в своей работе методы управления индексацией страниц при помощи файлов robots.txt.