Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoFollow: заголовок X-Robots-Tag «nofollow»

Ожидается: предупреждение Nofollow (HTTP-заголовок X-Robots-Tag).

Запрет передаётся не в коде страницы, а HTTP-заголовком от сервера. В исходном коде его не видно вообще, найти можно только по ответу сервера. Обычно такой заголовок прописан в конфигурации nginx, в .htaccess или в настройках CDN и действует сразу на целый раздел.