Управляйте индексацией страниц и упрощайте продвижение сайта
Грамотное продвижение сайтов предполагает управление индексацией страниц. Один из способов регламентировать поведение поисковых роботов на вашем сайте — использовать файл robots.txt в корневой директории вашего ресурса. Приходя на сайт по внешней ссылке, робот прежде всего отыщет этот файл и, прочитав его, будет знать, что можно и нужно индексировать, а что нет. Бывает полезно закрывать от индексации не только отдельные страницы, но и целые каталоги — как правило, опытный веб-мастер закрывает от индексации всю "служебную" часть сайта, где отсутствует публичный контент. Например, индексация таких папок, как /cgi-bin/ (скрипты), /img/ (изображения), /docs/ (справочные материалы для администратора) может скорее навредить сайту, нежели принести пользу.
Раскрутка сайтов пойдёт быстрее при грамотной индексации страниц
Вы можете давать поисковым роботам разных систем неодинаковые указания; другими словами, запрещать или разрешать индексацию неких файлов конкретным поисковикам.
Файл robots.txt заполняется по установленным правилам: поля User-agent и Disallow должны присутствовать в нём обязательно, причём именно в такой последовательности. Поле User-agent определяет "целевую аудиторию" дальнейших инструкций. Чтобы обратиться ко всем роботам сразу, в этом поле нужно поставить знак *. А вот для "адресного обращения" нужно знать, как называются роботы разных поисковых систем. Имена роботов можно перечислять в одной строке, через пробел.
Ниже приведены "имена" самых известных поисковых роботов.
- Google – Googlebot;
- "Яндекс" - Yandex;
- "Рамблер" - StackRambler;
- "Апорт" - Aport;
- AltaVista – Scooter.
Поле Disallow должно содержать в себе названия тех фалов и папок, индексацию которых вы хотели бы заблокировать. Чтобы закрыть от поисковика весь сайт, в этом поле ставят знак "/". Если же поле Disallowоставить пустым, поисковики смогут индексировать все файлы сайта.
Создавая блоки инструкций, вы можете создавать различные правила для разных поисковиков. В этом случае раскрутка сайта пойдет еще быстрее.
Это лишь один из способов предотвратить нежелательную индексацию, но он может оказаться очень полезен в вашей работе над сайтом. Компания "Антарион", которая занимается продвижением сайтов, профессионально использует в своей работе методы управления индексацией страниц при помощи файлов robots.txt.
