статьи и информация о SEO
RSS иконка EMail иконка Домашняя иконка
  • Создание файла robot.txt

    Написано Июнь 21st, 2009 admin Нет комментариев

    Файл robots.txt — важная деталь, забывать о которой не стоит. Для чего он нужен?

    Во-первых, иногда поисковые боты, заходящие на ваш сайт и не находя этот файлик, могут просто ничего не проиндексировать, а во-вторых, иногда бывает нужно просто скрыть от них кое-какие элементы нашего сайта. Зачем нужно что-то скрывать и как это делать, см. другую статью в этом же разделе — сейчас же будет объясненно, как составить файл robots.txt с таким расчетом, что б все было открыто и не возникло проблем с индексацией каждой страницы.

    Для начала отметим, что сам файл robots.txt должен находиться в корневом каталоге сайта на сервере. Расположение его в других каталогах не даст никакого эффекта — бот его не найдет. Само имя файла должно писаться в нижнем регистре, т.е. состоять из строчных букв. Формирование содержания файла представляет из себя перечень команд, каждая из которых умещается в две строки. Первая строка — это имя поискового бота, вторая — каталоги, которые мы хотим закрыть. Поскольку мы закрывать ничего не собираемся, а, наоборот, стремимся привлечь как можно больше ботов и при этом хотим, что б они проиндексировали все что только возможно, то наш файл будет выглядеть очень просто и симпатично, а именно:

    User-agent: * Disallow:

    user-agent и звездочка после двоеточия говорит, что мы обращаемся ко всем ботам, а disallow c двоеточием, после которого пустота (т.е. отсутствие запретов) означает, что у нас открыты все директории для индексации. Все просто. Полезно сделать такой файлик и вывесить его на сервере.