Почему страницы не индексируются Google: три типа проблем

Несмотря на отправку адресов URL -адресов через карты XML на сайте и соответствие рекомендациям, определенные страницы все еще входят в категорию «неиндексированной» в GSC.

Обычно страницы могут не быть проиндексированы по трем причинам:

1. Страница не соответствует техническим требованиям для индексации Google.

2. На странице есть дублированный контент: алгоритм канонизации Google может выбрать плохой канонический URL группы в парном разряде.

3. Google считает, что страница имеет низкое качество.

1. Технические требования для индексации

Эта категория включает в себя ошибки, когда Google не может индексировать страницу, потому что технические требования не выполняются:

• Ошибка сервера (5xx);

• Ошибка передачи;

• URL заблокирован robots.txt;

• URL отмечен как noindex;

• Мягкий 404;

• Заблокирован из -за несанкционированного запроса (401);

• Не найден (404);

• Заблокирован, доступ запрещен (403);

• URL -адрес заблокирован из -за еще одной ошибки 4xx;

• Страница с передачей.

Следует отметить, что ошибка перенаправления сама по себе не является препятствием для индексации, если перенаправление правильно настроено. Как правило, проблемы возникают с циклическими перераспределениями или слишком длинными цепями перенаправлений, которые усложняют сканирование.

Требования Google, которые должны быть выполнены таким образом, чтобы страница была проиндексирована:

• Робот Google может перейти на страницу.

• Google получает код ответа HTTP 200.

• Страница содержит индексированный контент.

Если вы регрессируете ошибки в консоли поиска Google, что связано с техническими требованиями, вы получите следующий список:

• Робот Google не может перейти на страницу:

  • URL заблокирован robots.txt;

  • Заблокирован из -за несанкционированного запроса (401);

  • Заблокирован, доступ запрещен (403);

  • URL -адрес заблокирован из -за еще одной ошибки 4xx.

• Google не получает код ответа HTTP 200:

  • Ошибка сервера (5xx);

  • Ошибка передачи;

  • Не найден (404);

  • Страница с передачей (3xx).

• Страница не содержит индексированного контента:

Технические ошибки Пользователь может отремонтировать его независимо.

Google Robot не может зайти на страницу

Если важная страница возвращает ошибку, убедитесь, что поисковый робот может его сканировать. Важная страница может быть заблокирована, если:

• Файл robots.txt имеет правило, которое блокирует сканирование страницы.

• Страница скрыта за входной формой (соединение).

• CDN (сеть сети доставки) частично или полностью блокирует поисковый робот.

Вы можете проверить, заблокирована ли важная страница, используя анализ инструментов сайта в разделе «Аудит сайта».

Google не получает код ответа HTTP 200

Если важная страница не возвращает код ответа HTTP 200, робот поиска не индексирует.

Есть несколько причин, по которым важная страница может вернуть код состояния, который отличается от HTTP 200. Набор JavaScript также может вернуть коды плохих состояний для важных страниц.

Иногда у поискового робота нет времени, чтобы сканировать страницу, или отчеты требуют времени, чтобы отобразить изменения на вашем сайте. Поэтому, если вы знаете, что страница была недавно изменена, не паникуйте. Вы можете проверить страницу, используя инструмент проверки URL Google Research ConsoleПолем

Страница не содержит индексированного контента

Если на важной странице есть тег NoIndex (в мета-тегат-роботах или HTTP, парамецую рентгеновскую Tag), Google не будет отображаться и не будет указывать на эту страницу.

Кроме того, следует отметить ошибку Soft 404. Если это происходит на важной странице, это означает, что Google думал: содержание этой страницы должно вернуть ошибку 404. Это обычно происходит, когда Google обнаруживает небольшой подобный контент на нескольких страницах: это заставляет думать, что эти страницы должны вернуть ошибку 404.

✉ Еженедельный информационный бюллетень

Подпишитесь на нашу новостную рассылку в неделю, мы отправим новую статью в блоге и другие полезные документы для вашего электронного письма.

ЧИТАТЬ   Сервисы Яндекса представили политику безопасности доставок - Новости

2. Дублированное содержимое

Эти ошибки связаны с процессом канонизации Google:

• Альтернативная страница с правильной канонической тегом. На странице указано, что другая страница представляет собой канонический URL, который должен отображаться в результатах поиска.

• Дублировать без канонического выбранного пользователем. Google обнаружил, что эта страница является двойной, и, поскольку на странице Discovery нет канонического тега, сам Google выбрал канонический URL.

• Google выбрал плохую канонику, что пользователь. Хотя пользователь указал на другую страницу в качестве канонического URL, Google выбрал другую страницу для отображения в результатах поиска.

Почему Google может выбрать плохую канонику, что пользователь

Когда Google находит страницы дубликатов на сайте, он:

1. Группы страниц в кластере.

2. Проанализируйте канонические сигналы страниц кластера.

3. Выберите Canonical URL в кластере для отображения в результатах поиска.

Этот процесс называется канонизацией. Google постоянно оценивает канонические сигналы, чтобы определить, какой URL должен быть каноническим для кластера и наиболее актуальными для пользователей. Он смотрит:

• 3xx перенаправление;

• Включение страницы на сайте сайта;

• Канонические сигналы метки;

• Структура внутренних связей;

• Предпочтения структуры URL.

Если страница была канонической, но новые сигналы заставляют Google выбрать другой URL в кластере, исходная страница удаляется из результатов поиска. Это может произойти, даже если вы используете канонический тег. Поэтому важно убедиться, что канонические сигналы вашего сайта согласились с URL -адресами, которые вы хотите увидеть в результатах исследования.

Прочитайте по теме: Все в канонике Rel: как правильно указать атрибут и почему это необходимо

3. Качество низкой страницы

Эти ошибки основаны на сигналах страницы, которые Google собирает с течением времени:

• Scanné — в настоящее время не проиндексирован. Страница была обнаружена, отмечена, но не проиндексирована, или ранее проиндексированная страница теперь удалена из результатов поиска Google.

• Обнаружен — в настоящее время не проиндексирован. Новая страница была обнаружена, но еще не руководствовалась, или Google теперь удаляет индексированную страницу индекса ранее. Следует отметить, что этот статус также может указывать на проблемы с бюджетом песни, в частности на больших сайтах. Если сайт имеет ограниченный бюджет Крейлинга, Google может отложить индексацию определенных страниц.

• URL -адреса неизвестны Google. Поисковая система никогда не видела эту страницу или уже удаляла индексированную страницу индекса.

Чтобы не влиять на страницы, которые не важны для индексации, вы должны разделить важные страницы на две категории:

1. Индексирован. Важные страницы, которые могут быть проиндексированы Google, но которые не индексируются сейчас.

2. Удивительный. Важные страницы, которые не должны быть проиндексированы (например, с ошибками 301, 404 и т. Д.).

Что в конце

Технические трудности и дублированные проблемы с контентом, как правило, полностью решаются. Они могут быть исправлены с использованием стандартных методов оптимизации.

Проблемы качества страницы требуют более глубокого анализа. Часто они сообщают о более серьезных проблемах с тем, как контент соответствует ожиданиям пользователей и поисковых систем.

Поэтому очень важно регулярно проверять состояние индексации. Это поможет определить, какую категорию принадлежат бескомпромиссные страницы, и принять необходимые меры.

Вы можете проверить состояние индексации в Google или Yandex, используя онлайн -инструмент. Введите список URL -адресов в поле, выберите поисковую систему и запустите проверку: инструмент оценит состояние страниц и будет отмечать индексированные с помощью тика.