Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: запрет и в meta robots, и в заголовке

Ожидается: предупреждение NoIndex (META и HTTP-заголовок X-Robots-Tag), страница считается один раз.

Запрет индексации продублирован в коде страницы и в ответе сервера. В подсказке аудита должны быть видны оба источника, а в счётчике закрытых страниц эта страница должна учитываться один раз. Такое бывает, когда правило добавили в шаблон, а потом ещё и на сервере.