Джон Мюллер из Google в последних часах работы SEO-отдела сказал, что Google, Googlebot, обычно не пробует варианты URL-адресов, чтобы проверить, работают ли они. Так что если у вас есть URL-адрес типа domain.com/pagegoeshere1/, Google не будет пробовать domain.com/pagegoeshere2/ просто из любопытства.
Честно говоря, это не новость, я освещал этот же вопрос в 2018 году, когда Джон Мюллер из Google также сказал, что Googlebot не создает URL-адреса, но прошло уже несколько лет, и это распространенный вопрос SEO, который я время от времени вижу.
Джона спросили на 9 минут и 50 секунд «Сканирует ли Google подпапки в URL-пути, в которых нет страниц? Будет ли это проблемой?»
Джон ответил: «Системы Google обычно не просто перебирают варианты URL-адресов, они используют ссылки для обнаружения новых URL-адресов».
Вот видео:
Вот стенограмма:
Сканирует ли Google подпапки в URL-пути, в которых нет страниц? Будет ли это проблемой?
Я видел вариации этого с течением времени. Очень часто встречаются URL с путями, которые на самом деле не существуют. Простой ответ заключается в том, что системы Google обычно не просто пробуют варианты URL, они полагаются на ссылки, чтобы обнаружить новые URL.
Это означает, что если вы не ссылаетесь на эти подкаталоги, Google, скорее всего, не узнает о них и не попробует их. Тем не менее, даже если Google попробует их и они вернут 404, это совершенно нормально. То, что страницы на вашем сайте возвращают 404, когда они не используются, ожидаемо и не является признаком проблемы.
Обсуждение на форуме Ютуб.
