Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: заголовок X-Robots-Tag «noindex»

Ожидается: предупреждение NoIndex (HTTP-заголовок X-Robots-Tag).

Запрет индексации приходит в ответе сервера, а не в коде страницы. В исходном коде его не видно, страница выглядит совершенно обычной. Так закрывают файлы PDF и картинки, но если правило в nginx написано слишком широко, оно закрывает и обычные страницы раздела.