Проверка robots.txt

Анализ запретов индексации и доступности страниц для поисковых роботов.
Проверка robots.txt, meta robots и заголовка X-Robots-Tag.

Проверить Проверяю

Что показывает проверка robots

Инструмент анализирует настройки индексации сайта и определяет доступность страниц для поисковых роботов. Во время проверки анализируются файл robots.txt, метатег robots и HTTP-заголовок X-Robots-Tag.

Эти механизмы используются для управления обходом сайта поисковыми системами и позволяют ограничивать индексацию отдельных страниц или разделов.

Файл robots.txt

Robots.txt — это текстовый файл, размещённый в корне сайта, который содержит инструкции для поисковых роботов. С помощью него можно указать, какие разделы сайта разрешено сканировать, а какие должны быть закрыты.

Файл robots.txt используется для управления обходом сайта и помогает контролировать доступ поисковых систем к различным разделам.

Метатег robots

Метатег robots размещается в HTML-коде страницы и позволяет управлять её индексацией. С его помощью можно запретить индексацию страницы или указать поисковым системам не переходить по ссылкам.

Наиболее распространённые директивы метатега robots:

index — разрешить индексацию страницы;
noindex — запретить индексацию страницы;
follow — разрешить переход по ссылкам;
nofollow — запретить переход по ссылкам.

Заголовок X-Robots-Tag

X-Robots-Tag — это HTTP-заголовок сервера, который также используется для управления индексацией. В отличие от метатега robots, он может применяться не только к HTML-страницам, но и к другим типам файлов, включая изображения, PDF-документы и другие ресурсы.

С помощью заголовка X-Robots-Tag можно задавать директивы индексации, например запретить индексирование файла или ограничить его отображение в поисковой выдаче.

Что проверяет инструмент

Во время анализа инструмент определяет настройки индексации и правила доступа для поисковых роботов.

наличие файла robots.txt;
директивы User-agent, Disallow и Allow;
наличие директивы Sitemap;
метатег meta name="robots";
HTTP-заголовок X-Robots-Tag.

Результат проверки помогает быстро определить запреты индексации и понять, какие правила применяются к странице и сайту в целом.

Пример файла robots.txt

Ниже приведён пример простого файла robots.txt, который запрещает доступ к служебным разделам сайта и указывает расположение карты сайта.


					User-agent: *

					Disallow: /admin/

					Disallow: /cgi-bin/

					


					Sitemap: https://example.com/sitemap.xml

В этом примере поисковые роботы могут индексировать основной контент сайта, но не получают доступ к административным и техническим разделам.

Почему важно проверять настройки индексации

Ошибки в robots.txt или неправильные директивы robots могут случайно закрыть важные страницы от индексации. Например, директива noindex может полностью исключить страницу из поисковой выдачи.

Регулярная проверка настроек индексации помогает убедиться, что страницы сайта доступны для поисковых роботов и корректно участвуют в поисковой выдаче.

FAQ — Часто задаваемые вопросы

Что показывает проверка robots?

Инструмент показывает правила файла robots.txt, директивы метатега robots и заголовка X-Robots-Tag, которые определяют доступность страниц для поисковых роботов и ограничения индексации.

Где находится robots.txt?

Файл robots.txt должен находиться в корне сайта и быть доступен по адресу https://example.com/robots.txt.

Чем отличается robots.txt от meta robots?

Robots.txt управляет обходом сайта поисковыми роботами, а метатег robots и заголовок X-Robots-Tag используются для управления индексацией конкретных страниц или файлов.