По разным причинам поисковые системы не индексируют все страницы сайта или, наоборот, добавляют в индекс ненужные. В результате найти сайт с одинаковым количеством страниц в Яндексе и Гугле практически невозможно.
Если разница не превышает 10%, мы не всегда обращаем на это внимание. Но эта позиция справедлива для медиа- и информационных сайтов, когда потеря небольшой части страниц не влияет на общий трафик. А вот для интернет-магазинов и других сайтов электронной коммерции отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сравнивать результаты, выявлять недостающие страницы в поиске и принимать меры.
Содержание
Проблема с мониторингом индекса
Просмотр проиндексированных страниц не представляет сложности. Это можно сделать, загрузив отчеты в панели вебмастеров:
- Яндекс Вебмастер («Индексирование» → «Страницы в поиске» → «Все страницы» → «Загрузить таблицу XLS/CSV»);
- Консоль поиска Google («Индексирование» → «Страницы» → «Проиндексированные страницы» → «Экспорт»).
В результате у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема состоит в том, чтобы сравнить эти списки и определить, какие URL-адрес недостаток.
Если у вас, скажем, до 100 URL-адресов, вы можете сделать это вручную, отсортировав URL-адреса в алфавитном порядке и выискивая несоответствия. Это займет от 15 до 20 минут. Если количество URL-адресов составляет 500, 1000 или десятки тысяч, ручная работа займет часы или даже дни. В этом случае необходима автоматизация.
PromoPult Онлайн-индекс-проверка
Чтобы быстро проверить индексацию онлайн в Яндексе и Google, у PromoPult есть инструмент «Анализ индекса страниц».
Возможности инструмента:
- одновременная проверка страниц, индексируемых в Яндексе и Google (или в одном ПС);
- возможность одновременной проверки всех URL-адресов сайтов с помощью XML-карты;
- Ограничений на количество URL-адресов нет.
Особые возможности:
- работа «в облаке» — не нужно скачивать и устанавливать программное обеспечение или плагины;
- скачивать отчеты в формате XLSX;
- уведомление по электронной почте об окончании сбора данных;
- хранение отчетов неограниченный срок на сервере PromoPult.
Как работает инструмент проверки индекса
Шаг 1. Добавьте URL-адрес
Идти к страница инструментов и добавьте URL-адреса, которые вы хотите проверить на индексацию. Вы можете сделать это тремя способами:
- Добавлена XML-карта сайта. Этот метод подойдет, если вам нужно проверить все URL-адреса на сайте. Для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml.
- Загрузите файл XLSX. В этом случае система проверит все URL, указанные на первой странице сайта. Расположение столбцов и строк URL-адреса не имеет значения.
- Добавление списка URL-адресов вручную. Этот метод подойдет, если вам нужно проверить не все URL сайта, а только некоторые из них. Пожалуйста, вводите каждый URL-адрес в новой строке.
В зависимости от источника, из которого вы получите URL, решаются разные проблемы:
- Из карты сайта XML или CMS. В этом случае вы можете проверить, какие важные URL-адреса не проиндексированы.
Пример. Карта сайта содержит 1250 URL-адресов, подлежащих индексированию. Вводим команду поочередно в Яндексе и Гугле:
сайт: yourdomain.ru
Получаем количество проиндексированных страниц – 684 и 1090.
Задача — определить, каких страниц не хватает. Анализируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию обо всех URL-адресах и выявляем несоответствия.
О других полезных операторах в поиске Яндекса и Google читайте в этой статье.
- Из отчета Яндекс Вебмастер или Google Search Console проиндексированные страницы. Бывает, что в некоторых поисковых системах количество проиндексированных страниц превышает количество URL-адресов в карте сайта. В такой ситуации необходимо загрузить для проверки все URL-адреса поисковой системы, в которых наблюдается такое превышение – это поможет выявить «лишние» страницы.
Пример. Карта сайта содержит 15 570 URL-адресов, подлежащих индексированию. Проверяем количество страниц с помощью команды сайт:вашдомен.ру в Яндексе и Google. Выясняем, что в Яндексе количество страниц превышает количество страниц не только в Гугле, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы.
Если мы проверим только URL-адрес карты, мы никогда не узнаем, какие URL-адреса являются «дополнительными». Поэтому заходим в Яндекс Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь легче определить, в чем проблема.
Чтобы избежать проблем с индексацией, начните продвижение сайта в сложный SEO-модуль Системы ПромоПульт. Внутренняя оптимизация, повышение авторитета сайта, наполнение контентом – все это за вас делают специалисты. Вы просто устанавливаете бюджет и контролируете процесс.
Шаг 2. Укажите ПС
На этом этапе вам необходимо выбрать ПС для проверки индексации. Для выявления отклонений выбраны две системы:
Шаг 3. Получите результат
После завершения анализа отчет появится в «Списке задач». Кроме того, вы получите уведомление по электронной почте:
Вы можете скачать отчет в формате XLSX:
Файл содержит 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные индексации (1 — страница проиндексирована, 0 — нет).
С помощью автоматического фильтра вы легко сможете определить, каких страниц нет в том или ином ПС:
Сколько стоит использование инструмента?
Проверка 1 URL в поисковике обойдется в 0,02 рубля. То есть для мониторинга сайта небольшого интернет-магазина в 1000 страниц нужно 40 рублей, для более крупного сайта в 10 000 страниц — 400 рублей. Учитывая экономию времени инструментом, его стоимость можно считать условной. Бесплатный анализ первых 100 URL.
Анализатор индекса страниц – это лишь один из инструментов PromoPult. В главе «Профессиональные инструменты» вы найдете средство проверки поисковых позиций, кластеризатор запросов, анализатор Wordstat, советы по поиску и выбор соответствующих фраз, генератор изображений AI, генератор объявлений YML, нормализатор слов и другие полезные вещи.
Многие инструменты бесплатны. Платные стоят в 2-4 раза дешевле конкурентов.
Количество проиндексированных страниц в Яндексе и Google разное – что с этим делать?
На этом этапе вы уже знаете, какие страницы не индексируются. Теперь нам нужно понять, почему это произошло.
Существует ряд причин, по которым поисковые системы могут проиндексировать не все страницы (или дополнительные страницы):
- Отдельные рекомендации для Яндекса и Google в robots.txt. В этом случае по ошибке или намеренно индексирование определенного типа страниц для одного из поисковых роботов – Googlebot или Yandexbot – запрещено. Необходимо проверить файл и при необходимости исправить директивы.
- Молодой сайт. Поисковым системам требуется время, чтобы добавить все страницы в индекс. Если проблема не решилась через 2-3 месяца после запуска сайта, ищите другие причины.
- Нет XML-карты сайта. В последнее время его значимость для индексации снизилась (особенно об этом заявили представители Google), но тем не менее он помогает поисковым системам лучше понимать структуру сайта. Стоит его создать и разместить в корне сайта.
- Наличие дубликатов страниц. Они возникают из-за специфики система управления контентом, ошибки разработки и настройки сайта, копирование контента. Решение — найти и устранить дубликаты.
- Низкая скорость сайта. Робот может просто не дождаться ответа и уйти ни с чем. Решение – найти узкие места и ускорить строительство.
- Редкая публикация нового контента. Чем меньше новых страниц вы добавляете, тем меньше ботов посещают сайт. Естественно, скорость сканирования Яндекса и Гугла разная, поэтому и возникают расхождения. Решение состоит в том, чтобы систематически создавать новые страницы с уникальным и интересным контентом, например, сообщением в блоге. Если у вас недостаточно времени для такой работы, авторизуйтесь модуль автоматического наполнения сайта от PromoPult — редакторы будут регулярно писать тематические тексты для вашего сайта, а верстальщики размещать их на страницах.
- Редкое устаревшее обновление контента. Если существующие страницы не обновляются, если они выпадают из индекса, переиндексация произойдет нескоро. Настройка последней измененной информации и ее регулярное обновление помогают предотвратить это.
- Санкции поисковых систем. Ваш сайт может подвергнуться санкциям со стороны одной поисковой системы, тогда как со стороны другой санкций не будет. В этом случае уместно проверить сайт на наличие фильтров и при необходимости принять меры по их выходу.
- Более 4 уровней вложенности. В такой ситуации поисковая система не успевает дойти до определенных «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.
Для точной диагностики причин ухода страниц из индекса выполните SEO аудит сайта. По его результатам у вас на руках будет готовый план действий. Остается только применить это на практике.
Устранив пробелы, подождите несколько недель, пока поисковые системы переиндексируют страницы, и еще раз проследите за ситуацией. Если все сделано правильно, расхождения сводятся к минимуму, но рассчитывать на совпадение 100% страниц не стоит.
Заключение
Проверить индексацию в поисковике не проблема; Вам просто нужно скачать отчеты из панели вебмастера. А вот сравнить данные Яндекса и Google и выявить страницы, которые не индексируются ни одной из поисковых систем – другое дело. Делать это вручную, особенно если страниц более 100-200, — большой труд. В такой ситуации стоит воспользоваться средством автоматизации. Уже через несколько минут после запуска вы получите отчет, который позволит выявить несоответствия и принять меры по их устранению.
Попробуйте инструмент «Анализатор индекса страниц» в действии — мы предлагаем 100 бесплатных проверок.
Реклама. Клик.ру, ООО, ИНН 7743771327, ЕРИД: 2Vtzquo9Wuv
