Ошибка 404, 410 и soft 404: как работать с удалёнными страницами

404 — это ответ сервера «здесь ничего нет». Вокруг этого кода в SEO кочуют два мифа: первый — что 404 «наказывает» сайт; второй — что решение в том, чтобы перенаправить их все на главную. Оба неверны.

Реальность проще: 404 — нормальный и полезный ответ. Настоящая проблема возникает тогда, когда код и содержимое не совпадают: страницы нет, а сервер отдаёт 200. Это soft 404, и он тихо съедает ваш краулинговый бюджет.

Что такое 404 и как ведёт себя Google

404 (Not Found) — самый известный представитель семейства клиентских ошибок (4xx). Сервер сообщает: запрос корректный, но по этому адресу ничего нет.

Документация Google описывает поведение точно:

• Содержимое URL с кодами 4xx не используется.
• Если URL раньше был в индексе, он со временем оттуда удаляется.
• Впервые встреченные страницы 404 вообще не обрабатываются.
• Частота сканирования такого URL постепенно снижается.

А руководство по краулинговому бюджету даёт прямую рекомендацию: для навсегда удалённых страниц отдавайте 404 или 410. Причина практическая: 404 — сильный сигнал роботу больше не обращаться к этому URL, тогда как закрытые URL остаются в очереди сканирования гораздо дольше.

Вредят ли 404 ранжированию

Короткий ответ: сами по себе нет. 404 — не механизм наказания, Google просто убирает URL из индекса.

Но это не значит, что на них можно не смотреть. Реальные потери в другом:

• Потеря трафика. Если страница приводила посетителей из поиска, этот трафик исчезает.
• Потеря внешних ссылок. Если на страницу ссылались другие сайты, ценность этих ссылок пропадает. Это самая частая «утечка» в работе с бэклинками.
• Пользовательский опыт. Когда внутренние ссылки ведут в 404, посетитель уходит.
• Краулинговый бюджет. На крупных сайтах массовые 404 занимают сканирование впустую.

То есть вопрос не «есть 404, это опасно?», а «была ли ценность за этим конкретным 404?»

404 и 410: в чём разница

410 (Gone) означает «страница удалена навсегда» — заявление более категоричное, чем 404.

С точки зрения SEO практическая разница почти нулевая. Документация Google объединяет их в одном пункте, и результат одинаков: URL убирается из индекса, частота сканирования падает. Руководство по бюджету рекомендует оба варианта.

Практический совет: 410 там, где вы уверены, 404 во всех остальных случаях. Переделывать всю систему ради 410 не стоит — результат почти тот же.

Soft 404 — фальшивая страница с кодом 200

Soft 404 — страница, которая отдаёт код 200, но содержимым сообщает «такого нет». Это не код, который шлёт сервер, а ярлык, который Google присваивает, сравнив код с содержимым.

Руководство Google по краулинговому бюджету для крупных сайтов формулирует прямо: «страницы soft 404 продолжают сканироваться и расходуют ваш бюджет».

Типичные источники:

• Сайты на JavaScript. Сервер отдаёт 200 для несуществующего маршрута, а сообщение «страница не найдена» рисует JavaScript.
• Каталоги с фильтрами. Страницы «ничего не найдено» с кодом 200 порождают тысячи вариаций.
• Удалённые товары. Карточка превращается в «товара больше нет», а код остаётся 200.
• Пустые категории. Разделы без единого элемента.

Решение: привести код в соответствие с реальностью. Страницы нет — отдавайте 404 на уровне сервера, а не просто меняйте текст.

Редиректить или оставить 404

Самый частый практический вопрос. Дерево решений простое:

Если решили редиректить, соблюдайте правила из материала о редиректах 301: напрямую, без цепочек и релевантно по содержанию.

Как сделать страницу 404

Хорошая страница 404 удерживает посетителя. Её состав:

• Понятное сообщение. «Страница, которую вы искали, не найдена» — без технического жаргона.
• Поле поиска. Чтобы посетитель мог ввести то, что искал.
• Ссылки на основные разделы. Услуги, блог, контакты.
• Популярный или свежий контент. Несколько полезных переходов.
• Тот же дизайн. Страница должна выглядеть частью сайта, а не голой страницей сервера.

Главное техническое условие: эта страница обязана отдавать код 404. Красиво оформленная страница 404 с кодом 200 — это и есть soft 404.

Проверить:

curl -I https://example.com/nesushchestvuyushchaya-stranica
# ожидается: HTTP/2 404

Как найти свои 404

Самая ценная связка: Search Console + логи сервера. Первое даёт взгляд Google, второе — реальный трафик.

Какие 404 стоит исправлять

Исправить все 404 невозможно и не нужно. Порядок приоритетов:

1. URL с внешними ссылками. Если удалена страница, на которую ссылались другие сайты, это прямая потеря — поставьте 301 на ближайшую по смыслу.

2. URL, всё ещё дающие трафик. Удалённые страницы, по которым в аналитике или Search Console видны показы.

3. URL, на которые ссылаются изнутри сайта. Самое простое исправление: обновите ссылку — редирект вообще не понадобится.

4. URL, оставшиеся в карте сайта. Удалённой странице там не место.

Не стоит исправлять: выдуманные URL, которых никогда не было, адреса, которые перебирают спам-боты (/wp-admin, /.env и подобные), и старые тестовые страницы. Для них 404 — совершенно правильный ответ.

Частые ошибки

1. Перенаправлять все 404 на главную. Самая повторяемая ошибка. Нерелевантные редиректы Google часто расценивает как soft 404.

2. Отдавать страницу 404 с кодом 200. Дизайн верный, код неверный — получается soft 404.

3. Держать удалённые страницы через noindex. Руководство по бюджету это не рекомендует: страницу всё равно надо просканировать и затем отбросить — потеря времени. Для удалённой страницы 404/410 чище.

4. Не чистить sitemap. Если удалённые URL остаются в карте, Google проверяет их снова и снова.

5. Оставлять битые внутренние ссылки. Починить ссылку лучше, чем строить вокруг неё редирект.