В новом аудиоподкасте №24 Анатолий Улитовский и Николай Шмичков объяснили, что такое дубликаты страниц.
Текстовая версия выступления:
«Всем привет.
Это 24-й подкаст.
С вами Николай Шмичков и Анатолий Улитовский.
Да, сегодня мы поговорим о такой довольно интересной теме для более-менее опытного оптимизатора, для тех, кто знает свой сайт – это страницы-дубликаты.
Я затрону эту тему, потому что именно из-за этой ошибки большинство сайтов практически не прогрессируют.
Это касается огромных сайтов с огромным количеством страниц, это интернет-магазины, сайты, например, каталоги.
Если вы планируете создать свой собственный интернет-магазин, малейшая ошибка может означать, что вы просто будете стагнировать и никогда не добьетесь никакого прогресса.
Я буду говорить с точки зрения Яндекса о том, что я узнал, что изменилось, что не изменилось.
Анатолий позже добавит, что что-то гуглил.
Итак, что такое дубликаты страниц?
Дублирование страниц, когда на самом деле на одном сайте есть две или более страницы, содержащие схожий текстовый контент.
Текстовое содержание ключевых слов.
Поисковый робот, в частности Яндекс, смотрит только на текст.
Поэтому, если ваш текст повторяется, но URL-адреса у вас разные, поисковая система воспринимает такие страницы как дубликаты.
То есть чаще всего 90% дублей, которые замечает поисковая система, — это одна и та же страница, возникшая из-за каких-то ошибок.
Какие ошибки.
Например, относительные ссылки на вашем сайте работают неправильно.
Да, есть понятие абсолютные и относительные, нужно накачать относительные ссылки и получится двойник.
Второй момент – когда контента на страницах просто нет.
Самая частая причина – карточки товаров, в которых не заполнено описание, или когда есть страницы каталога, которые функционально невозможно отличить друг от друга, они ничем не отличаются, и фактически, если название одинаковое, страница является дубликатом.
Даже с разными URL-адресами.
То есть, когда ты даже логически думаешь, что это разные страницы, страница «белые футболки» и «желтые футболки», но в итоге у тебя заголовок «Футболки», заголовок страницы « Футболки» — для Google это разные страницы, но страницы с одинаковым содержанием — появляются дубликаты.
Третий вариант, когда у вас ошибка 404 работает некорректно, об этом я снял видео.
Если у вас ошибка 404, вы получите HTTP-ответ 200, поэтому поисковая система предоставит вам еще одну страницу с уникальным URL-адресом, но в конечном итоге с тем же содержанием.
Если 504 страницы с разными URL-адресами с 200-м ответом создадут целую машину из бесконечного количества дубликатов.
А еще, конечно, самая сложная проблема – это когда вы забываете заблокировать от индексации свои сервисные страницы, например, личный кабинет, корзину и тому подобное.
Поскольку генерируемые там URL-адреса разные, их нужно заблокировать от индексации, чтобы поисковая система о них даже не знала.
В противном случае каждый раз, когда ваша корзина заполняется, каждый раз, когда вы ее заполняете, будет генерироваться уникальный URL-адрес, и в результате при попытке доступа к нему пользователю ничего не выйдет, но поисковая система будет знать, что в индекс была включена корзина, наполненная 50 тысяч раз.
Собственно, что может случиться.
Прежде всего, ключевые проблемы, которые могут вас ждать, это, конечно же, из-за изменения релевантности ваши позиции могут упасть, то есть робот сохраняет 1 страницу из дубликата.
Если он узнает, что, допустим, у вас есть вторая, третья, пятая одинаковые страницы, то он запомнит только одну конкретную, так решит робот.
Анатолий рассказал, что алгоритмы ранжирования Google и Яндекса разные.
В этом плане Яндекс немного тормозит, он обновляет страницы не каждый час и не каждую секунду, а примерно раз в неделю, поэтому ваши результаты поиска будут достаточно шаткими просто из-за дубликатов.
Вторая причина, которую я заметил, это обход дубликатов страниц.
В чем может быть проблема?
Вы все прекрасно понимаете, что поисковый робот ограничен в сканировании вашего сайта.
Если на вашем сайте миллион страниц, то есть 1 000 000 страниц, то он будет сканировать их шаг за шагом, и вы фактически ограничены задержкой сканирования, которую вы прописали для своего сайта, вашим хвостом, вашими брандмауэрами на сайте и нравиться.
Поисковый робот не может обработать весь сайт, они будут просматривать его пачками по 1000 страниц, по 10 000 страниц за раз, и всё.
И, если он получит 90% дублей, в конечном итоге для анализа, то есть поиска бесконечных дублей страниц внутри сайта, то рано или поздно уникальные страницы, даже уникальные, которые можно назвать уникальной страницей, будут никогда даже не будут должным образом проиндексированы.
Если у вас молодой сайт и вы не исправили ошибки технического аудита, вы рискуете, что на месяц, а то и на год, и из-за этого вы просто застанетесь в органике, даже если будете делать ссылки и пробовать, индексация будет отложена.
А если постоянно дополнять позиции, то о полной индексации всего ресурса можно забыть.
Более того, нельзя забывать, что поисковому роботу все равно необходимо повторно просканировать уже посещенные им страницы.
Вы обновили товар, обновили карту, обновили описание — за этим нужно следить.
Если он будет тратить время на ваши дубли, то, конечно, все это будет сделано напрасно.
Ну и собственно, какие есть методы поиска дубликатов.
Расскажу вебмастеру Яндекса.
Самый простой способ — он, конечно, есть — скачать весь список дублей, отдать его программисту, и пусть он его проанализирует.
Второй способ, который я бы проверил, конечно, более сложный.
Вам нужно просмотреть все 200 ответов на основании статистики сканирования и просмотреть те страницы, которые назвал поисковик, закрыть дубликаты, нужно разобраться и закрыть дубликаты, оставить только одну нужную версию, которая нужна.
Третий способ я бы, конечно, назвал более сложным, я бы сказал, он требует воображения, ведь ваша задача — зайти в Вебмастер, инструмент кода ответа сервера.
Попробуйте составить любой новый URL-адрес, используя параметр Get(?), есть ли URL-адрес сайта? 123, например.
Если вам выдает опцию 200, они у вас там как редирект или что-то еще, то по сути это возможность генерации бесконечного количества дубликатов страниц.
Что ж, четвертый метод, который я бы проверил, — это инструмент для проверки статуса URL-адреса.
Есть такой инструмент в Яндекс Вебмастере, где всегда можно посмотреть причину удаления страницы из индекса, но это уже постранично.
Анатолий.
Спасибо, очень полезная информация, даже я ее прослушала.
Просто добавьте что-нибудь об инструментах.
Google Webmaster, также известный сегодня как Google Console, имеет инструменты для проверки заголовка и описания: являются ли они уникальными или нет.
Сама информация тоже будет полезна.
Если вы видите, что заголовок и описание не уникальны, вам действительно стоит это исправить, поскольку это важно для поисковой системы, она не понимает, по каким ключам должна ранжироваться эта страница.
Есть множество инструментов, которые напрямую проверяют дубликаты: тот же кричащий Frog и многие другие, зайдите на страницу нашего сайта, список утилит, там много инструментов и вы можете просто выбрать тот, который подойдет именно вам.
А еще они напрямую проверяют уникальность ваших страниц и обязательно обратите на это внимание, ведь если у вас много дублей и страниц, то я вам скажу, вы будете конкурировать сами с собой и конечно поисковой системе нужно пройти через дублируется дважды.
Иногда там создают много дублей — это очень распространенная ситуация в интернет-магазинах, когда там создается много однотипных страниц, лучше конечно оставить какую-то главную страницу, можно настроить тот же Canonical или какие-то другие, которые вам более предпочтительны.
Возможно, это будет просто закрытие страницы из индекса.
Возможно, роботу надо запретить напрямую проверять эти страницы, но мне больше нравится канонический, потому что он все равно передает вес напрямую на какую-нибудь главную страницу, внешнюю ссылку и тому подобное.
Поэтому обязательно обратите на это внимание и тогда вы получите результат.
В принципе, на сегодня это все.
Оценивайте наши аудиоподкасты, пишите свои комментарии, задавайте вопросы и до новых встреч».
