Создание и проверка Robots.txt

Robots.txt – файл, содержащий в себе различные инструкции для поисковых систем. Прочитав указания из robots.txt поисковый робот будет знать, в каком месте искать карту сайта, по какому адресу располагается основное зеркало ресурса и список страниц, индексация которых не требуется. Для примера, с помощью данного файла можно исключить появление в выдаче дублирующегося контента или конфиденциальной информации (документов, файлов и так далее).

Создание и проверка Robots.txt

Как создать и проверить Robots.txt

Часто начинающие вебмастера пренебрегают созданием robots.txt, полагая, что его написание сложный процесс. Зная все команды вы можете при помощи обычного блокнота описать необходимые инструкции для роботов поисковых систем. Проверка robots.txt возможна на сервисе "Анализатор Robots" от Яндекса. Вам будет необходимо ввести URL вашего сайта, после чего файл с инструкциями будет скачен и проверен. В качестве результата вы получите отчет, в который включаются ошибки и предупреждения. Проверка robots.txt необходима, так как возможные опечатки могут значительно осложнить продвижение сайта в поисковых системах.

Как создать и проверить Robots.txt

Конструкции, используемые в Robots.txt

Для того, чтобы запретить индексацию определенной страницы для поисковых систем используются конструкция User-agent и Disallow. Первая команда указывает, для какой именно поисковой системы будут использоваться все последующие директивы. Если вы хотите разрешить индексацию страницы в закрытом разделе, то воспользуйтесь командой Allow.

Для того, чтобы поисковый робот смог найти и скачать к себе на сервер карту сайта, в файл robots.txt следует внести конструкцию Sitemap, после которой указать путь к sitemap.xml. В случае, если у сайта есть зеркало, то его так же требуется указывать в данном файле, делается это при помощи директивы Host.

Результат неверной настройки файла Robots.txt

В случае, если вы совершили ошибку и вместо одной страницы закрыли целый раздел, то в поисковую выдачу попадет значительно меньше страниц. Чтобы избегать подобных ситуаций внимательно описывайте каждую команду, обращая внимание на каждую строку. После создания обязательно должна быть выполнена проверка robots.txt и в случае отсутствия ошибок можно оставлять файл на сайте. Сегодня существует множество плагинов к известным CMS, которые позволяют создать данный файл автоматически.

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *