Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: страница закрыта в robots.txt только для Yandex

Ожидается: предупреждение NoIndex (robots.txt), если страница попала в обход. Не попадёт в обход, если учёт robots.txt включён для бота Yandex.

Запрет Disallow записан только в группе User-agent: Yandex. В Google страница останется доступной. Проверка спрашивает разрешение и для yandex, и для yandexbot, поэтому запрет в группе Yandex не должен потеряться из-за разницы в названии бота.