robots.txt

Titan — Tue, 11 Aug 2015 00:10:21 GMT

[Table]Для управления работой поисковых систем в корневой папке веб-сайта создается текстовый файл под названием "robots.txt". Этот файл содержит инструкции для поисковых роботов. Инструкции могут содержать указания на разрешение индексации одних документов или запрет других, соблюдение временного интервала в период скачивания документов с сервера, повторный просмотр страниц через определенный промежуток времени.[/Table]

[Table]В качестве наглядного пособия приведен пример стандартного файла robots.txt, который должен будет определить для поискового робота список папок и документов, не предназначенных для индексирования.[/Table]

[Table]User-Agent: *
Disallow: /cgi-bin/[/Table]

[Table]User-Agent: StackRambler
Disallow: /tmp/
Disallow: /img/[/Table]

[Table]User-Agent: Aport
User-Agent: Scooter
Disallow: /tmp/[/Table]

[Table]User-Agent: Yandex
Disallow:[/Table]

[Table]На первый взгляд код выглядит как набор английских слов, причем совершенно непонятно, почему их расположили именно в таком порядке. Давайте разбираться. Начнем с первой строки User-Agent: *.[/Table]

[Table]При написании кода robots.txt всегда вводятся два параметра: User-Agent (имя поискового робота) и Disallow (имя папки/документа, который не будет индексироваться). Эти параметры являются свойствами файла robots.txt.[/Table]

[Table]Значение свойства User-Agent с помощью знака *, введенного через пробел. Код User-Agent: * показывает, что свойство Disallow будет в равной мере применено ко всем поисковым системам.[/Table]

[Table]Disallow: /cgi-bin/ - так как наличие в коде свойства disallow означает табу на индексирование определенных файлов или папок, а cgi-bin является именем папки, вторую строку можно расшифровать как "запрет поисковым системам производить индексирование файлов в папке cgi-bin.[/Table]

[Table]Код файла robots.txt начинает обретать смысл.[/Table]

[Table]Далее следует User-Agent: StackRambler. Что такое User-Agent вы знаете, поэтому логично будет предположить, что в качестве значения данного свойства указано имя поисковой машины Рамблер. У каждого поисковика существуют определенные особенности. Так, чтобы иметь возможность задать значение User-Agent для какой-либо поисковой машины следует знать, что для Рамблер - это уже известное вам StackRambler, для Яndex - Yandex, Апорт - Aport, Google - Googlebot, Yahoo - YahooBot.[/Table]

[Table]Disallow: /tmp/ и Disallow: /img/ - запрет на индексирование для папок tmp и img.[/Table]

[Table]Свойство Disallow позволяет вносить в него несколько поисковых роботов:[/Table]

[Table]User-Agent: Aport
User-Agent: Scooter
Disallow: /tmp/[/Table]

[Table]В этом случае, имя каждого работа записывается в отдельной строке.[/Table]

[Table]Кроме того, в код файла robots.txt возможно добавление различных комментариев, начинающихся со знака #.[/Table]

[Table]User-Agent: Yandex
Disallow:
#Отмена запрета на индексацию папок и файлов.[/Table]

[Table]Создание сложной структуры файла robots.txt потребует глубоких знаний алгоритмов работы поисковых систем. Но если вы действительно заинтересованы в грамотном, а самое главное - эффективном продвижении веб-ресурса в Сети, стоит потратить время на изучение поисковых машин и написание robots.txt.[/Table]

DarkPoint™-Точка кипения твоего мозга !

robots.txt