SEO: Софт и информация
 
 
Основы SEO - статьи о Контенте



Human Emulator - автоматизатор ваших действий в браузере

Работаем с robots.txt


rabota s robots.txt

Иногда, бывает необходимо скрыть от поисковых ботов те или иные страницы, находящиеся на сайте. К примеру, у вас имеется конфиденциальная информация, доступная только для ваших посетителей или же определенная часть страниц не нуждается в индексации, т.к. представлена в динамическом виде. Причин, по которым администратору сайта иногда приходится скрывать различные элементы от индексации, не так уж и мало.

При решении такой проблемы можно воспользоваться файлом robot.txt.

Стандарт этого файла существует с 1996 года и, мягко выражаясь, устарел. Но, несмотря на это, им можно и даже нужно пользоваться. Разумеется, вы не защитите свой сайт от "невежливых" ботов, например тех, которые воруют контент и делают прочие пакости, но от некоторых роботов все же убережетесь.

Итак. Создаем файл robot.txt и приступаем к закрытию наших каталогов и страничек.

Имена самых известных ботов, пишутся так: Googlebot, StackRambler, msnbot, Aport, Yahoo! Slurp (соответственно, это боты Гугла, Рамблера, MSN, Апорта и Yahoo!).

С ботом Яндекса дела обстоят более запутанно, но основной индексирующий бот, это Yandex/1.01.001 (compatible; Win16; I). Более точная информация по конкретным ботам может быть найдена в сети за считанные минуты.

Сам файл robots.txt состоит из раздельных записей, где первая -указывает имя бота и пишется так:

User-agent:

после же двоеточия вписывается имя бота.

Вторая строка - это команда, запрещающая или разрешающая совершать этому боту определенные действия.

Допустим, мы хотим боту гугла запретить лазить по директории books. В этом случае, строка будет выглядеть следующим образом:

Disallow:/books/

Полностью запись, касающаяся директивы в отношении бота гугла, должна отображаться в таком виде:

User-agent:Googlebot
Disallow:/books/


Можно запретить боту индексировать определенные файлы в том или ином каталоге.

Для этого в Disallow: мы вписываем имя директории, а затем первые символы, с которых начинаются наши файлы.

Заметим, что удобное и всем привычное *. и расширение файла, в стандарте robots.txt запрещено.

Следовательно, наш запрет будет выглядеть так:

User-agent:Googlebot
Disallow:/books/op


(Все файлы, которые находятся в директории books и начинаются с букв "op" будут исключены из индексации гугловским ботом).
Иногда, может потребоваться запретить индексировать все, что находится на сайте и, причем, всем ботам сразу. Делается это тоже просто:

User-agent: *
Disallow: /


Звездочка, указывает, что это правило относится ко всем возможным ботам, а слеш после Disallow: - это блокирование всех директорий и файлов, находящихся на сервере.





обсудить на форуме
другие статьи для начинающих вебмастеров



Похожие статьи:

вопросы построения HTML - разбор ньансов правильного построения html страниц сайта техническая сторона организации сайта - статьи, освящающие техническую сторону эксплуатации сайта динамический контент - статьи, освещающие вопросы, связанные с использованием динамического контента на сайте

Human Emulator - автоматизатор ваших действий в браузере

             


   
Группа в ВКонтакте Группа в Facebook Группа в Одноклассниках
   
   
  Полезное  
сайт с информация о том как собирать данные
магазин полезных товаров для вебмастера
   
   
  Содержание  
 
   
  Обсуждения  
   
  Сервис  
   
   
   
 
   
   
   
Copyright © since 2006 bigfozzy.com All Right Reserved.
 

Отсюда вполне легально можно брать статьи, пожалуйста, с указанием ссылки на источник :-)
(ссылка на тематический ресурс будет и вам полезна и нам будет приятно)



Яндекс.Метрика