Отчёт об индексировании страниц и проверка URL в Search Console

«Моей страницы нет в Google» — самый частый вопрос в SEO, и ответ почти всегда находится в отчёте Search Console «Индексирование страниц». Этот отчёт делит все известные Google URL сайта на две группы — проиндексированные и непроиндексированные — и группирует вторую по причинам.

Слово «причина» здесь ключевое. «Не проиндексировано» — это не одна проблема; за ней стоят около пятнадцати совершенно разных ситуаций: технический блок, дубль, выбор канонической версии, решение о качестве или просто очередь. У каждой свой способ решения, поэтому правило простое: сначала прочитать причину, потом действовать.

Статья разбирает все статусы по официальным объяснениям Google и показывает, как использовать инструмент проверки URL для диагностики. Общая картина инструмента — в статье что такое Google Search Console и как он работает.

Сканирование и индексирование — разница

Эти два слова постоянно путают, хотя это разные процессы:

Сканирование (crawling) — Googlebot загружает URL. Это просто получение файла.

Индексирование (indexing) — Google обрабатывает контент, записывает его в индекс и делает кандидатом на показ. Это решение, и Google может его не принять.

Различие лежит в основе всей диагностики: просканированная страница может остаться непроиндексированной, даже если технически всё сделано верно. Google никогда не гарантирует индексирование.

Структура отчёта

Отчёт состоит из трёх блоков:

Проиндексированные страницы. URL, находящиеся в индексе Google. Само число не является целью: 500 проиндексированных страниц на сайте из 500 — плохой знак, если половина из них это URL фильтров и пустые категории.

Непроиндексированные страницы. Список, сгруппированный по причинам. Обратите внимание: не каждая строка здесь — проблема. Например, «Alternate page with proper canonical tag» — совершенно нормальное и правильное состояние.

Предупреждения. Проиндексировано, но с проблемой: например, страница проиндексирована несмотря на блокировку в robots.txt.

Понимание этого деления экономит время. Практическое правило: большое число «не проиндексировано» само по себе не плохо — важно, по какой причине и хотели ли вы вообще видеть эти URL в индексе.

Все статусы и их реальный смысл

В таблице ниже — официальные объяснения Google и практический перевод каждого статуса.

Разделить статусы на три семейства проще для работы:

1. Технические блоки (401, 403, 404, 5xx, robots.txt, noindex, ошибки редиректов) — решение в ваших руках и оно однозначно. Большинство связано с ответами сервера: HTTP-коды состояния и SEO и 404, 410, soft 404.

2. Группа дублей и канонизации — Google видит один и тот же контент по нескольким URL и выбирает один. Решение: привести в соответствие канонические теги, внутренние ссылки и редиректы.

3. Группа качества и очереди («Crawled/Discovered — currently not indexed») — две самые сложные. Им посвящён следующий раздел.

Два самых сложных статуса

«Discovered — currently not indexed» — Google знает URL, но ещё не сканировал его. Официально: "The page was found by Google, but not crawled yet." Обычные причины:

• Сайт новый или число URL быстро выросло — краулингового бюджета не хватает.
• Сервер отвечает медленно, и Googlebot снизил темп.
• На URL идёт мало внутренних ссылок или их нет вовсе — Google не считает его приоритетным.
• URL есть в sitemap, но отсутствует в структуре сайта («сиротская страница»).

Что делать: усилить внутреннюю перелинковку (самый действенный шаг — см. тематический авторитет и контент-кластеры), ускорить ответ сервера, очистить sitemap (без 404 и редиректов), сократить бессмысленные варианты URL (параметры фильтров и сортировок).

«Crawled — currently not indexed» — Google видел страницу и решил не индексировать её. Официально: "The page was crawled by Google but not indexed." Это не техническая ошибка, а оценка ценности. Самые частые причины:

• Контент тонкий или повторяет другие ваши страницы.
• Страница ничего не добавляет к тому, что уже в выдаче.
• Преобладает шаблонный текст (одинаковый текст, меняется одно слово).
• Страница сгенерирована автоматически (комбинации фильтров, пустые категории).

Что делать: усилить страницу (оригинальные данные, глубина, ответы на реальные вопросы), объединить близкие дубли, а бесполезные страницы закрыть noindex или удалить. О структурировании темы: что такое семантическое SEO.

Инструмент проверки URL

Проверка URL показывает всё, что Google знает об одном конкретном адресе. По описанию Google, инструмент "provides information about Google's indexed version of a specific page, and also allows you to test whether a URL might be indexable".

Здесь два разных набора данных, и их смешение — самая частая ошибка:

То есть сразу после правки версия в индексе всё ещё покажет старую проблему — это нормально. Чтобы проверить правку, нужно нажать «Проверить страницу» (live test).

Запрос индексирования. Кнопка ставит URL в приоритетную очередь сканирования. Google прямо пишет: "submitting a request does not guarantee that the page will appear in the Google Index." Есть и дневные лимиты — как на проверки, так и на запросы индексирования. Отправлять сотни URL вручную нецелесообразно; на масштабе правильный инструмент — sitemap.

О сроках Google говорит так: "Indexing typically takes only a day or so, but can take much longer in some cases" — иногда стоит подождать неделю-две. На новых сайтах срок бывает ещё больше.

Инструмент также показывает каноническую версию URL (вашу и выбранную Google — они могут различаться), удобство для мобильных, структурированные данные и то, в каком sitemap найден адрес. Расхождение по канонической версии видно здесь быстрее всего.

Последовательность диагностики

Держитесь этого порядка:

1. Проверьте URL и прочитайте статус конкретной страницы.
2. Если это технический блок (robots.txt, noindex, 4xx, 5xx) — снимите его и запустите живой тест.
3. Если это дубль или каноническая версия — убедитесь, что канонический тег, внутренние ссылки и sitemap указывают на один URL.
4. Если статус «Discovered» или «Crawled — not indexed» — работайте над структурой и контентом, а не над кнопкой.
5. После правки запросите индексирование один раз и подождите неделю-две.
6. Если в отчёте есть кнопка «Проверить исправление» — нажмите её, Google перепроверит всю группу.

Частые ошибки

1. Совмещать noindex с блокировкой в robots.txt. Если страница закрыта в robots.txt, Google не прочитает noindex внутри неё, и URL может остаться в индексе. Правильный порядок: снять блок, дать увидеть noindex, и только затем при необходимости закрывать.

2. Пытаться свести «не проиндексировано» к нулю. В это число входят совершенно нормальные случаи (канонические альтернативы, редиректы). Цель — не ноль, а разумное распределение причин.

3. Многократно запрашивать индексирование одного URL. Очередь это не ускоряет, а дневной лимит расходует.

4. Принимать результат живого теста за статус индекса. Живой тест говорит «может быть проиндексирована», а не «проиндексирована».

5. Не чистить sitemap. Файл с 404, редиректами и noindex-адресами снижает доверие и расходует бюджет сканирования.

6. Ждать результата за день на новом сайте. Google пишет, что индексирование обычно занимает около суток, но может занять значительно больше — на новых доменах недели это норма.