Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoFollow: заголовок X-Robots-Tag «none»

Ожидается: предупреждение Nofollow (HTTP-заголовок X-Robots-Tag). Попутно сработает NoIndex (HTTP).

Сервер отдаёт заголовок с директивой none, то есть закрывает и индексацию, и переход по ссылкам. Одна строка в конфигурации сервера может так закрыть весь сайт, и при этом в коде страниц ничего подозрительного не будет. Именно поэтому заголовки нужно проверять отдельно.