Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoFollow: два заголовка X-Robots-Tag

Ожидается: предупреждение Nofollow (HTTP-заголовок X-Robots-Tag). Попутно сработает NoIndex (HTTP).

Сервер отдаёт заголовок X-Robots-Tag дважды: первый закрывает индексацию для всех, второй закрывает ссылки только для Google. Клиент склеивает их в одну строку через запятую, и запрет из второго заголовка не должен потеряться. Старая версия разбора смотрела только текст после последнего двоеточия.