Тестовый стенд аудита сайта
Ожидается: предупреждение NoIndex (robots.txt), если страница попала в обход. Не попадёт в обход, если учёт robots.txt включён для бота Googlebot.
Запрет Disallow записан только в группе User-agent: Googlebot. Для Яндекса и для остальных роботов страница открыта. Аудит проверяет запрет и для Google, и для Яндекса, поэтому должен предупредить, даже если сам обходит сайт как другой бот.