Google не всегда мгновенно анализирует каждую страницу сайта. Иногда это может занять недели. Это может навредить вашим усилиям по SEO. Ваша недавно оптимизированная целевая страница может быть не проиндексирована. На этом этапе пришло время оптимизировать краулинговый бюджет. В этой статье мы рассмотрим, что такое «бюджет сканирования» и как его оптимизировать.
Содержание
Что такое краулинговый бюджет?
Бюджет сканирования — это количество страниц, которые Google просканирует на вашем сайте в определенный день. Это число незначительно меняется ежедневно, но в целом оно относительно стабильно. Google может сканировать шесть страниц вашего сайта каждый день; он может просматривать 5000 страниц; он мог даже сканировать 4 000 000 страниц каждый день. Количество страниц, просканированных Google, ваш «бюджет», обычно определяется размером вашего сайта, «здоровьем» вашего сайта (количеством ошибок, с которыми сталкивается Google) и количеством ссылок. имеет твой сайт. На некоторые из этих факторов вы можете повлиять; мы вернемся к этому через мгновение.
Как работает краулер?
Такой робот, как Googlebot, получает список URL-адресов для сканирования сайта. Он систематически просматривает этот список. Время от времени он извлекает файл robots.txt, чтобы убедиться, что ему по-прежнему разрешено сканировать каждый URL-адрес, а затем анализирует URL-адреса по отдельности. После того как паук просканировал URL-адрес и проанализировал его содержимое, он добавляет новые URL-адреса, найденные на этой странице, которые необходимо повторно просканировать, в список задач.
Некоторые события могут заставить Google поверить, что URL-адрес следует сканировать. Возможно, он обнаружил новые ссылки, указывающие на контент, или кто-то написал об этом в Твиттере, или он мог быть обновлен в карте сайта XML и т. д. и т. п. Невозможно составить список всех причин, по которым Google будет сканировать URL-адрес. но когда он это определяет, он добавляет это в список дел.
Подробнее: Торговля ботами: что это такое и почему вас это должно волновать »
Когда краулинговый бюджет является проблемой?
Бюджет сканирования не является проблемой, если Google необходимо сканировать множество URL-адресов вашего сайта и он выделил много сканирований. Но предположим, что на вашем сайте 250 000 страниц, и Google каждый день сканирует 2500 страниц на этом конкретном сайте. Некоторые страницы (например, домашнюю страницу) он будет сканировать чаще, чем другие. Если вы не предпримете никаких действий, Google может заметить какие-либо конкретные изменения на ваших страницах в течение 200 дней. Бюджет геологоразведочных работ теперь является проблемой. С другой стороны, если он сканирует 50 000 в день, проблем нет.
Выполните следующие действия, чтобы определить, есть ли у вашего сайта проблемы с бюджетом сканирования. Это предполагает, что на вашем сайте относительно небольшое количество URL-адресов, которые Google сканирует, но не индексирует (например, из-за того, что вы добавили метаданные). noindex).
- Определите количество страниц на вашем сайте; количество URL-адресов в ваших XML-картах сайта может быть хорошим началом.
- Зайдите в консоль поиска Google.
- Зайдите в «Настройки» -> «Статистика сканирования» и посчитайте среднее количество просканированных страниц за день.
- Разделите количество страниц на число «Среднее сканирование в день».
- Вероятно, вам следует оптимизировать свой бюджет на сканирование, если в итоге вы получите число, превышающее ~10 (то есть у вас будет в 10 раз больше страниц, чем Google сканирует ежедневно). Вы можете прочитать что-нибудь еще, если получите число меньше 3.
Какие URL-адреса сканирует Google?
Вам действительно нужно знать, какие URL-адреса Google сканирует на вашем сайте. Журналы сервера вашего сайта — единственный «реальный» способ узнать об этом. Для более крупных сайтов вы можете использовать что-то вроде Logstash + Kibana. Для небольших сайтов ребята из Screaming Frog выпустили Анализатор файлов журналов SEO инструмент.
Получите журналы вашего сервера и просмотрите их.
В зависимости от типа вашего хостинга вы не всегда сможете восстановить файлы журналов. Однако, даже если вы думать вам нужно поработать над оптимизацией бюджета сканирования, потому что ваш сайт большой, и вам следует их получить. Если ваш хостинг не позволяет вам их получить, пришло время сменить хост.
Настройка бюджета сканирования вашего сайта немного похожа на ремонт автомобиля. Вы не можете решить проблему, глядя снаружи; вам придется открыть этот двигатель. Смотреть газеты поначалу будет страшно. Вы быстро увидите, что есть сюжет шум в журналах. Вы встретите много распространенных ошибок 404, которые вы считаете абсурдными. Но ты иметь чтобы их отремонтировать. Вам нужно уйти от шума и убедиться, что ваш сайт не утонул в тоннах старых ошибок 404.
Продолжайте читать: Обслуживание веб-сайта: проверьте и исправьте страницы с ошибками 404 »
Увеличьте свой краулинговый бюджет
Давайте посмотрим, как увеличить количество страниц, которые Google может просканировать на вашем сайте.
Обслуживание веб-сайта: уменьшение ошибок
Первый шаг к сканированию большего количества страниц — убедиться, что просканированные страницы возвращают один из двух возможных кодов возврата: 200 (для «ОК») или 301 (для «Вместо этого перейдите сюда»). Все остальные коды возврата нет ВСЕ В ПОРЯДКЕ. Чтобы понять это, посмотрите логи сервера вашего сайта. Google Analytics и большинство других аналитических пакетов будут отслеживать только те страницы, которые обслужили 200, поэтому вы не найдете много ошибок на своем сайте.
Получив журналы сервера, найдите и исправьте распространенные ошибки. Самый простой способ — собрать все URL-адреса, которые не вернули 200 или 301, а затем ранжировать их по частоте доступа к ним. Исправление ошибки может означать, что вам нужно исправить код. Или вам может потребоваться перенаправить URL-адрес в другое место. Если вы знаете, что вызвало ошибку, вы также можете попытаться исправить источник.
Консоль поиска Google — еще один хороший источник для поиска ошибок. Прочтите наше руководство по Search Console для получения дополнительной информации об этом. Если у вас есть Yoast SEO Premium, вы можете легко перенаправить их с помощью менеджера перенаправления.
Блокируйте части вашего сайта
Если на вашем сайте есть разделы, которым не обязательно быть в Google, заблокируйте их с помощью файла robots.txt. Конечно, делайте это только в том случае, если вы знаете, что делаете. Одна из распространенных проблем, с которыми мы сталкиваемся на крупных сайтах электронной коммерции, заключается в том, что у них есть миллиарды способов фильтрации товаров. Каждый фильтр может добавлять новые URL-адреса для Google. В таких случаях вам следует убедиться, что вы разрешаете Google сканировать только один или два из этих фильтров, а не все из них.
Уменьшите цепочки перенаправлений
Когда вы перенаправляете URL-адрес 301, происходит что-то странное. Google увидит этот новый URL-адрес и добавит его в список задач. Это не всегда следует немедленно; он добавляет это в свой список дел и идет дальше. Когда вы объединяете перенаправления, например, когда вы перенаправляете без www на www, а затем с http на https, у вас везде есть два перенаправления, поэтому сканирование всего занимает больше времени.
Получить больше ссылок
Легко сказать, но трудно сделать. Чтобы получить больше ссылок, нужно не только выглядеть круто, но и убедиться, что другие знать ты обалденный. Все дело в хорошем пиаре и взаимодействии в социальных сетях. Мы много писали о построении ссылок; Предлагаем вам прочитать эти три статьи:
- Построение ссылок с целостной точки зрения SEO
- Линкбилдинг: чего не следует делать?
- 6 шагов к успешной стратегии построения ссылок
Если у вас возникла острая проблема с индексацией, вам следует сначала проверить ошибки сканирования, заблокировать части вашего сайта и исправить цепочки перенаправления. Создание ссылок — очень медленный метод увеличения краулингового бюджета. С другой стороны, построение ссылок должно быть частью вашего процесса, если вы собираетесь создать большой сайт.
TL;DR: Оптимизировать бюджет сканирования сложно.
Оптимизация краулингового бюджета – занятие не для слабонервных. Если вы хорошо поддерживаете свой сайт или он относительно небольшой, в этом, вероятно, нет необходимости. Если ваш сайт среднего размера и хорошо поддерживается, это довольно легко сделать, основываясь на приведенных выше советах.
Оцените свои технические способности к SEO
Оптимизация краулингового бюджета является частью вашего технического SEO. Вам интересно, как вписывается общее техническое SEO вашего сайта? Мы создали технический тест по SEO-фитнесу, который поможет вам понять, над чем вам нужно работать!
Продолжить чтение: Robots.txt: полное руководство »
Эдвин — специалист по стратегическому контенту. Прежде чем присоединиться к Yoast, он несколько лет оттачивал свои навыки в ведущем журнале о веб-дизайне Нидерландов.
