Тестовый стенд аудита сайта
Ожидается: на странице 2 битые ссылки — 400 и 404.
Адрес записан с протоколом, доменом и якорем. Аудит должен свести его к тому же адресу 400, что и на других страницах. На 400 ссылаются три страницы: эта, /tests/broken-links-source-many.html и /tests/broken-links-source-repeat.html.
Ссылка: Битая 400 с полным адресом со страницы «адрес в другом виде»
<a href="https://crawler.realtysev.ru/tests/broken-links-400.php#top">Битая 400 с полным адресом со страницы «адрес в другом виде»</a>
В robots.txt метка utm_source для адресов /tests/broken-links-* объявлена в Clean-param. Краулер посещает адрес без метки, поэтому ссылку нужно сопоставить со страницей 404 без метки. На 404 ссылаются три страницы: эта, /tests/broken-links-source-many.html и /tests/broken-links-source-repeat.html.
Ссылка: Битая 404 с меткой utm_source со страницы «адрес в другом виде»
<a href="/tests/broken-links-404.php?utm_source=stand">Битая 404 с меткой utm_source со страницы «адрес в другом виде»</a>