В новом аудиоподкасте №375 Николай Шмичков рассказал о том, что такое краулинг-бюджет Google и как его увеличить.
Текстовая версия выступления:
«Всем привет!
Вы находитесь на канале SEOquick.
Меня зовут Николай Шмичков.
И сегодня я хочу рассказать вам в нашем подкасте, что такое ползущий бюджет.
Бюджет сканирования или бюджет сканирования — это количество страниц, которые робот Googlebot сканирует и индексирует на веб-сайте за определенный период времени.
Почему это так важно для генерального директора?
Давайте будем краткими.
Если Google не индексирует страницу, она не получает рейтинга, что логично.
У меня есть клиент, который управляет сайтами по поиску работы, и у него серьезная проблема: его сайт не сканируется должным образом.
Либо он сканируется не так, как вы хотите, и сканируется с ошибками.
Поэтому, если количество ваших страниц превышает бюджет сканирования вашего сайта, на вашем сайте будут неиндексированные страницы.
Однако подавляющему большинству сайтов не нужно беспокоиться об этом сканировании.
Google действительно хорош в поиске и индексировании страниц.
При этом бывают случаи, когда вам действительно захочется обратить внимание на этот показатель.
Дело 1.
У вас огромный сайт.
Например, сайт электронных продаж или тот же поиск работы.
Он содержит более 10 000 страниц.
И у Google возникнут проблемы с поиском этих страниц.
Дело №2.
Вы только что добавили несколько страниц.
Они добавили на свой сайт новый раздел, содержащий сотни страниц.
Вам нужно убедиться, что он индексируется быстро.
Дело №3.
На вашем сайте много перенаправлений.
Большое количество редиректов и цепочек редиректов съедают ваш краулинговый бюджет.
Следует помнить, что это тоже важно.
Как можно повысить эффективность краулингового бюджета?
Первый вариант — увеличить скорость загрузки страниц вашего сайта.
Со временем робот Googlebot будет сканировать больше ссылок на вашем сайте.
Google говорит открытым текстом: «Ускорение сайта улучшает взаимодействие с пользователем, а также увеличивает скорость сканирования».
Другими словами, медленная загрузка страниц отнимает драгоценное время робота Google.
Медленное сканирование означает, что меньше страниц будет съедено.
Но если ваша страница загружается быстро, у робота есть время посетить и проиндексировать больше ваших страниц.
Второй момент – использование внутренних ссылок.
И это тоже проблема моего клиента.
Робот Googlebot отдает приоритет страницам, имеющим несколько внешних и внутренних ссылок.
Те. если страница есть только в карте сайта, но на нее физически невозможно попасть ни по внешним ссылкам, которые уже есть в индексе, ни по внутренним ссылкам вашего сайта, то эта страница не будет проиндексирована.
Да, в идеале у вас должны быть обратные ссылки, ведущие на каждую страницу вашего сайта.
Но это нереально…
Поэтому внутренние ссылки чрезвычайно важны.
Если у вас есть сайт с сотнями тысяч страниц, невозможно щелкнуть существующие страницы, которые уже проиндексированы, чтобы перейти на другие страницы (так называемые «сиротские страницы»).
Тогда Google не сможет попасть на эти страницы и не будет их индексировать.
Внутренние ссылки сообщают роботу Googlebot, какие страницы индексировать.
Без внутренних ссылок вы ничего не сможете сделать.
Конечно, ссылки, популярные в Интернете, обычно сканируются чаще, чтобы поддерживать их актуальность в нашем индексе.
А в мире Google популярность равна авторитету ссылок.
Таким образом, все используют плоскую архитектуру, которая позволяет передавать полномочия от одного звена ко всем остальным.
Конечно, следует избегать потерянных страниц или «сиротских страниц».
Бесхозная страница — это страница, не имеющая внутренних или внешних ссылок, но открытая для индексации.
Помните, что Google действительно может найти эти потерянные страницы.
Например, из вашей карты сайта.
Но если вы хотите получить максимальную отдачу от своего краулингового бюджета, убедитесь, что хотя бы одна внутренняя ссылка указывает на те потерянные страницы, которые необходимо проиндексировать.
У нас есть несколько страниц, которые являются классическими страницами-сиротами.
Мы создали их специально.
Они не индексируются.
Они высылаются только по электронной почте: найти их в поиске невозможно.
Эти ссылки созданы в формате наших потерянных страниц и таким образом специально блокируются от индексации.
Есть база негативных слов, негативных сайтов и тому подобного.
Эти ссылки можно получить только в том случае, если вы оставите соответствующую заявку на сайте и получите ссылку по электронной почте.
Следующий способ увеличить бюджет сканирования — ограничить дублирование контента.
Если у вас сайт со 100 000 страниц и контент на этих страницах практически похож, схож на 80-90%, то Google будет индексировать эти страницы гораздо хуже и гораздо реже, даже если контент на них меняется.
Я объясню почему.
Как идентифицировать такие страницы?
Конечно, вам необходимо провести технический аудит и проверить уникальность контента страницы.
Есть такая функция, которая называется анализом дубликатов.
Мы его проводим и суть в том, что мы отлавливаем страницы, которые, как мы подозреваем, будут плохо индексироваться.
Если вы запускаете молодой сайт, вам обязательно нужно его заказать, чтобы отловить страницы, с которыми у вас возникнут потенциальные проблемы.
Дублированный контент действительно вредит вашему сканирующему бюджету.
Это связано с тем, что Google не хочет тратить ресурсы на индексацию нескольких страниц с одинаковым содержанием.
Поэтому убедитесь, что 100% проиндексированных страниц вашего сайта состоят из уникального контента.
Это непросто для сайта с десятью тысячами страниц.
Но это необходимо, если вы хотите действительно улучшить краулинговый бюджет вашего сайта.
Уточню: краулинговый бюджет определяется для каждого сайта.
Если у сайта проблемы с этими показателями, он сжимается и его индексация замедляется.
Следует помнить, что количество сайтов, находящихся в индексе, почти приближается к 2 миллиардам.
И Google становится все труднее и труднее сканировать.
Я бы рекомендовал в первую очередь обратить внимание на увеличение краулингового бюджета вашего сайта и пройти этот контрольный список, чтобы исправить потенциальные ошибки.
Конечно, оптимизируйте сканирование и индексацию.
Эту информацию можно найти в Google, читайте, как это сделать.
Также прочитайте полное руководство по оптимизации краулингового бюджета.
Вам также следует всегда изучать отчет о статистике сканирования вашего веб-сайта в консоли поиска в веб-мастере.
Это первое, на что вам нужно будет обратить внимание.
Фактически, Google опубликовал настоящее руководство по управлению краулинговыми бюджетами.
Справка Google предоставляет расширенное руководство по управлению ограничениями сканирования для владельцев крупных сайтов.
Он предназначен для владельцев очень больших сайтов: более 1 000 000 уникальных страниц с довольно часто меняющимся контентом.
А также средние и крупные сайты, более 10 000 уникальных страниц с очень часто меняющимся контентом.
Ограничение на сканирование по их запросу связано с двумя основными факторами: скоростью сканирования и потребностями сканирования.
Есть только два способа увеличить лимит сканирования.
Выделив дополнительные ресурсы сервера для сканирования или увеличив ценность контента, размещенного на сайте, для пользователей поиска Google.
Краткий чек-лист, который выкинул сам Google.
Заблокируйте сканирование повторяющихся URL-адресов, чтобы Google не тратил на них время.
Удалите страницы с идентичным содержанием.
Да, не жалейте их, смело удаляйте – они не нужны.
Заблокируйте сканирование страниц, которые вы не хотите индексировать, с помощью файла robots.txt или инструмента параметров URL-адреса.
Да, есть такой параметр.
Не используйте тег noindex.
Не используйте файл robots.txt для временного увеличения предела сканирования других страниц.
Лимит сканирования не будет перераспределен на другие страницы, пока он не будет исчерпан.
Возврат кодов ошибок 404 и 410 для безвозвратно удаленных страниц очень важен.
Исправьте ложную ошибку 404.
По этому поводу у нас большой видео.
Своевременно обновляйте файл карты сайта.
Об этом мы также сняли большое видео и его можно найти на нашем канале.
Избегайте длинных цепочек перенаправлений: они действительно создают проблемы при сканировании.
Оптимизируйте страницы для более быстрой загрузки.
Как я уже сказал, скорость загрузки является важным фактором.
Ну и не забудьте проверить, как сканируется ваш сайт.
Владельцам сайтов-миллионников рекомендуется заказывать масштабный технический аудит.
Они действительно большие, потому что иногда размер проекта в той же Screaming Frog может весить несколько десятков гигабайт.
Да, такие вещи действительно нужно проводить и такие проверки делать ежемесячно, а может и чаще.
Технические аудиты такого уровня у меня заказаны…
Да, действительно, компьютеры пыхтят, пытаясь всё это просканировать.
Но в итоге мы получаем большие табличные данные, с которыми нам нужно работать.
Гайд, как говорится, очень полезен для всех…
Но в первую очередь вам следует обратить внимание на своевременное обновление карты сайта и проверку отчета об индексации: посмотрите на него внимательно.
Владельцам крупных сайтов необходимо постоянно проверять этот отчет, выявлять ошибки и своевременно реагировать на них.
Если на сайте есть контент, который долгое время не индексировался, вам необходимо использовать инструмент проверки URL.
А вручную переходить по ссылкам, например отправлять запросы на индексацию, уже невозможно.
Этот инструмент заблокирован навсегда и никто не знает, когда он вернется.
Если вам понравился этот подкаст, не забудьте задавать вопросы в комментариях.
Я всегда готов обсудить эти мелочи, а также узнать ваши ожидания.
Как изменится индексация в будущем?
Какие трюки раскроет Google?
Каковы обходные пути для увеличения индексации?
Я хотел бы услышать напрямую от вас.
Как вы можете еще больше увеличить свой краулинговый бюджет?
Итак, давайте делиться своим мнением, задавать мне вопросы в комментариях.
Вы также можете обсудить нашу группу в Telegram.
Также приходите каждый четверг на наши вебинары.
Конечно, поздравляю всех с наступающими праздниками и до новых встреч!»
