статьи и информация о SEO
RSS иконка EMail иконка Домашняя иконка
  • Работаем с robots.txt

    Написано Июнь 21st, 2009 admin Нет комментариев

    Иногда, бывает необходимо скрыть от поисковых ботов те или иные страницы, находящиеся на сайте. К примеру, у вас имеется конфиденциальная информация, доступная только для ваших посетителей или же определенная часть страниц не нуждается в индексации, т.к. представлена в динамическом виде. Причин, по которым администратору сайта иногда приходится скрывать различные элементы от индексации, не так уж и мало.

    При решении такой проблемы можно воспользоваться файлом robot.txt. Стандарт этого файла существует с 1996 года и, мягко выражаясь, устарел. Но, несмотря на это, им можно и даже нужно пользоваться. Разумеется, вы не защитите свой сайт от «невежливых» ботов, например тех, которые воруют контент и делают прочие пакости, но от некоторых роботов все же убережетесь. Итак. Создаем файл robot.txt и приступаем к закрытию наших каталогов и страничек. Имена самых известных ботов, пишутся так:Googlebot,StackRambler,msnbot,Aport,Yahoo! Slurp (соответственно, это боты Гугла, Рамблера, MSN, Апорта и YAhoo!). С ботом Яндекса дела обстоят более запутанно, но основной индексирующий бот, это Yandex/1.01.001 (compatible; Win16; I). Более точная информация по конкретным ботам может быть найдена в сети за считанные минуты. Сам файл robot.txt состоит из раздельных записей, где первая -указывает имя бота и пишется так:

    User-agent:
    после же двоеточия вписывается имя бота. Вторая строка — это команда, запрещающая или разрешающая совершать этому боту определенные действия. Допустим, мы хотим боту гугла запретить лазить по директории books. В этом случае, строка будет выглядеть следующим образом:
    Disallow:/books/. Полностью запись, касающаяся директивы в отношении бота гугла, должна отображаться в таком виде:

    User-agent:Googlebot
    Disallow:/books/

    Можно запретить боту индексировать определенные файлы в том или ином каталоге. Для этого в Disallow: мы вписываем имя директории, а затем первые символы, с которых начинаются наши файлы. Заметим, что удобное и всем привычное *. и расширение файла, в стандарте robot.txt запрещено. Следовательно, наш запрет будет выглядеть так:
    User-agent:Googlebot
    Disallow:/books/op

    (Все файлы, которые находятся в директории books и начинаются с букв «op» будут исключены из индексации гугловским ботом).
    Иногда, может потребоваться запретить индексировать все, что находится на сайте и, причем, всем ботам сразу. Делается это тоже просто:
    User-agent: *
    Disallow: /

    Звездочка, указывает, что это правило относится ко всем возможным ботам, а слеш после Disallow: — это блокирование всех директорий и файлов, находящихся на сервере.