crawler.realtysev.ru

Ссылки и изображения

• /tests/absent-images-alt.html Нет или пустой alt у картинок
• /tests/double-slash-in-links.html Двойные слэши в ссылках
• /tests/page-links.html Ссылки в script, style, textarea, JS-ссылки, дубли
• /common/cyrillic-links.html Кириллические адреса и get-параметры
• Ссылка без href Ссылка без атрибута href
• link on example.com Внешняя ссылка

Внутренние ссылки без анкора (AbsentLinksAnchorsInternalTest)

Внутренняя ссылка без текста и вложенных тегов. Пустые ссылки ведут на главную или на саму страницу.

Есть предупреждение

• /tests/absent-links-anchors-internal-mixed.html 21 кейс с описанием и кодом

Нет предупреждения

• /tests/absent-links-anchors-internal-external.html внешняя — попутно «Внешние без анкора»
• /tests/absent-links-anchors-internal-hidden-containers.html внутри textarea, noscript, template
• /tests/absent-links-anchors-internal-img.html картинка с alt
• /tests/absent-links-anchors-internal-nested-text.html текст во вложенном теге
• /tests/absent-links-anchors-internal-other-schemes.html mailto, tel, javascript
• /tests/absent-links-anchors-internal-svg.html векторная иконка
• /tests/absent-links-anchors-internal-text.html обычный текст

Аудит молчит, хотя анкора по сути нет

Кейсы на доработку проверки: текста у ссылки нет, но аудит её пустой не считает.

• /tests/absent-links-anchors-internal-empty-span.html пустой span
• /tests/absent-links-anchors-internal-img-no-alt.html картинка без alt
• /tests/absent-links-anchors-internal-nbsp.html только  
• /tests/absent-links-anchors-internal-subdomain.html ссылка на www-версию

Внешние ссылки без анкора (AbsentLinksAnchorsExternalTest)

Ссылка на чужой сайт без текста и вложенных тегов. Пустые ссылки ведут на example.com.

Есть предупреждение

• /tests/absent-links-anchors-external-mixed.html 7 кейсов с описанием и кодом, сверить список

Нет предупреждения

• /tests/absent-links-anchors-external-hidden-containers.html внутри textarea, noscript, template
• /tests/absent-links-anchors-external-img.html картинка с alt
• /tests/absent-links-anchors-external-internal.html внутренняя — попутно «Внутренние без анкора»
• /tests/absent-links-anchors-external-nested-text.html текст во вложенном теге
• /tests/absent-links-anchors-external-svg.html векторная иконка
• /tests/absent-links-anchors-external-text.html обычный текст

Аудит молчит, хотя анкора по сути нет

Кейсы на доработку проверки: текста у ссылки нет, но аудит её пустой не считает.

• /tests/absent-links-anchors-external-empty-span.html пустой span
• /tests/absent-links-anchors-external-img-no-alt.html картинка без alt
• /tests/absent-links-anchors-external-nbsp.html только  
• /tests/absent-links-anchors-external-related-domain.html родственный домен realtysev.ru

Canonical

• /tests/canonical-html.html Канонический адрес в HTML
• https://crawler.realtysev.ru:443/tests/canonical-html-with-port-specified.html Та же страница, адрес с портом :443
• /tests/canonical-html-with-port-specified.html Канонический адрес с портом
• /tests/not-canonical-html.html Неканоническая страница
• /tests/canonical-http.php Канонический адрес в HTTP-заголовке
• /tests/canonical-multiple-links.html Несколько канонических ссылок
• /tests/canonical-other-domain.html Канонический адрес на другом домене
• /tests/canonical-insecure.html Канонический адрес по http
• /tests/canonical-random-html.php Случайный канонический адрес в HTML
• /tests/canonical-random-http.php Случайный канонический адрес в заголовке

Title

• /tests/title-none.html Пустой title
• /tests/title-none-2.html Копия предыдущей: дубли description и H1
• /tests/title-short.html Короткий title
• /tests/title-long.html Длинный title

Open Graph и Twitter

• /tests/open-graph-basic.html Основные теги Open Graph
• /tests/open-graph-canonical.html og:url не равен каноническому
• /tests/open-graph-canonical-ok.html og:url равен каноническому
• /tests/twitter-card.html Карточка Twitter заполнена

NoIndex (NoIndexTest)

Запрет индексации в meta robots, заголовке X-Robots-Tag и robots.txt.

Есть предупреждение NoIndex

• /tests/no-index-header-googlebot.php X-Robots-Tag: googlebot: noindex
• /tests/no-index-header-multiple.php два заголовка X-Robots-Tag
• /tests/no-index-header-noindex.php X-Robots-Tag: noindex
• /tests/no-index-header-none.php X-Robots-Tag: none
• /tests/no-index-meta-all-noindex.html all, noindex — противоречие
• /tests/no-index-meta-and-header.php и meta, и заголовок — считается один раз
• /tests/no-index-meta-googlebot.html meta googlebot
• /tests/no-index-meta-noindex-follow.html noindex, follow
• /tests/no-index-meta-noindex-nofollow.html noindex, nofollow
• /tests/no-index-meta-none.html none
• /tests/no-index-meta-uppercase.html ROBOTS / NOINDEX заглавными
• /tests/no-index-meta-yandex.html meta yandex

robots.txt — зависит от настроек проекта

Страница закрыта в robots.txt. Предупреждение будет, если краулер её обошёл: учёт robots.txt выключен, но включены sitemap, или включён для другого бота. Если выключено и то и другое, robots.txt не читается и предупреждения нет.

• /tests/no-index-robots-txt-all.html Disallow для всех ботов
• /tests/no-index-robots-txt-googlebot.html Disallow только для Googlebot
• /tests/no-index-robots-txt-yandex.html Disallow только для Yandex

Нет предупреждения NoIndex

• /tests/no-index-header-nofollow.php X-Robots-Tag: nofollow
• /tests/no-index-meta-all.html all
• /tests/no-index-meta-in-description.html noindex только в description
• /tests/no-index-meta-index-follow.html index, follow
• /tests/no-index-meta-index-nofollow.html index, nofollow
• /tests/no-index-meta-other-bot.html meta bingbot
• /tests/no-index-robots-txt-bingbot.html Disallow только для Bingbot
• /tests/no-index-tag-noindex.html тег noindex Яндекса вокруг текста

Nofollow (NoFollowTest)

Запрет перехода по ссылкам в meta robots и заголовке X-Robots-Tag.

Есть предупреждение Nofollow

• /tests/no-follow-header-googlebot.php X-Robots-Tag: googlebot: nofollow
• /tests/no-follow-header-multiple.php два заголовка X-Robots-Tag
• /tests/no-follow-header-nofollow.php X-Robots-Tag: nofollow
• /tests/no-follow-header-none.php X-Robots-Tag: none
• /tests/no-follow-meta-all-nofollow.html all, nofollow — противоречие
• /tests/no-follow-meta-and-header.php и meta, и заголовок — считается один раз
• /tests/no-follow-meta-googlebot.html meta googlebot
• /tests/no-follow-meta-index-nofollow.html index, nofollow — главный случай
• /tests/no-follow-meta-noindex-nofollow.html noindex, nofollow
• /tests/no-follow-meta-none.html none
• /tests/no-follow-meta-uppercase.html ROBOTS / NOFOLLOW заглавными
• /tests/no-follow-meta-yandex.html meta yandex

Нет предупреждения Nofollow

• /tests/no-follow-header-noindex.php X-Robots-Tag: noindex
• /tests/no-follow-link-rel.html rel="nofollow" у ссылок
• /tests/no-follow-meta-all.html all
• /tests/no-follow-meta-in-description.html nofollow только в description
• /tests/no-follow-meta-index-follow.html index, follow
• /tests/no-follow-meta-noindex-follow.html noindex, follow
• /tests/no-follow-meta-other-bot.html meta bingbot

Большой размер HTML (HtmlSizeTest)

Размер несжатого HTML больше 2 МБ — столько читает Googlebot.

Есть предупреждение

• /tests/html-size-cyrillic.php кириллица: 3 МБ, символов меньше 2 млн
• /tests/html-size-gzip.php отдаётся сжатой gzip, без сжатия 3 МБ
• /tests/html-size-inline-script.php 3 МБ, вес в теге script
• /tests/html-size-over-2mb.php 2 МБ + 1 байт — граница

Нет предупреждения

• /tests/html-size-404.php 3 МБ, но ответ 404
• /tests/html-size-exactly-2mb.php ровно 2 МБ
• /tests/html-size-not-html.php 3 МБ, но Content-Type text/plain

Страница не загрузится

Тяжелее 8 МБ краулер не скачивает: страница попадёт в ошибки загрузки, а не в проверку размера.

• /tests/html-size-over-8mb.php 8 МБ + 1 КБ — Request body too large

Медленный ответ сервера (TtfbTest)

Время до первого байта (TTFB) больше 1,8 с. Меряется до заголовков ответа, а не до конца загрузки.

Есть предупреждение

• /tests/ttfb-slow-404.php 2,5 с и код 404
• /tests/ttfb-slow-redirect.php 2,5 с и редирект 301
• /tests/ttfb-slow.php 2,5 с

Нет предупреждения

• /tests/ttfb-below-threshold.php 1 с — ниже порога
• /tests/ttfb-fast.php сразу
• /tests/ttfb-flush-then-slow.php первый байт сразу, загрузка 3 с

Меняется между сканированиями

• /tests/ttfb-random.php 1,6–2,0 с — вокруг порога

Страница не загрузится

Краулер ждёт ответа не дольше 15 с: страница попадёт в ошибки загрузки.

• /tests/ttfb-timeout.php 16 с — таймаут, cURL 28

Медленные страницы (LoadTimeTest)

Полное время загрузки больше 5 с.

Есть предупреждение

• /tests/slow-page.php первый байт сразу, загрузка 6 с

Небезопасный контент (InsecureRedirectTest, InsecureLinksTest)

Страница открыта по https, а ведёт или подключает ресурсы по http.

Есть ошибка

• /tests/insecure-redirect.php 301 на http-версию главной
• /tests/insecure-links.html 2: стили и картинка по http

Нестандартные адреса

• 1 404 с get-параметром
• 2 404 с get-параметром
• 3 404 с get-параметром
• link with 1 dot Адрес с одной точкой
• link with 2 dots Адрес с двумя точками
• link with 3 dots Адрес с тремя точками

Кто ссылается на битые страницы

Битые страницы — с кодом 4xx и 5xx. Главная на них не ссылается: источники только на страницах ниже.

Есть битые ссылки

• /tests/broken-links-source-many.html 8: все коды 4xx и 5xx
• /tests/broken-links-source-forms.html 2: полный адрес с якорем, метка Clean-param
• /tests/broken-links-source-no-text.html 2: ссылка-картинка, пустая ссылка
• /tests/broken-links-source-repeat.html 2: три ссылки на одну битую, www, внешняя
• /tests/broken-links-source-redirects.html 2: редирект 301 → 404, цепочка 302 → 301 → 404; редирект на 200 не считается

Не считается источником

• /tests/broken-links-not-canonical.html неканоническая страница со ссылками на 400 и 503
• /tests/broken-links-source-failed.html ссылки на страницы, которые не загрузились: видны только на странице «Не загрузились»

События между сканированиями

Значения меняются при каждом запросе — после повторного сканирования в ленте появляются события.

• /tests/events/canonical-toggle-html.php Канонический адрес в HTML то есть, то нет
• /tests/events/canonical-toggle-http.php Канонический адрес в заголовке то есть, то нет
• /tests/events/title-normal.php Новый title при каждом сканировании
• /tests/events/page-text.php Разный текст страницы
• /tests/events/status-code.php Случайный код ответа
• /tests/events/h1.php Новый H1 при каждом сканировании
• /tests/events/description.php Новый description при каждом сканировании