Сообщается, что Google работает над исправлением ошибки, из-за которой невозможно правильно реагировать на директиву noindex на некоторых страницах, сгенерированных JavaScript. Это происходит с некоторыми приложениями React, использующими одностраничные приложения (SPA), на которых есть директива noindex, но Google не улавливает ее и, таким образом, индексирует страницы, которые не должны индексироваться.
Эту проблему заметил Марк Уильямс-Кук, директор Candour и основатель AlsoAsked, популярного инструмента SEO. Он опубликовал пост о проблеме на LinkedIn и сказал: «Вот скриншот более 9000 индексируемых страниц «noindex». Добавление «noindex» через JS может быть решением, но это абсолютно ненадежно».
Вот скриншот из отчета об индексации Google Search Console:
Позже он поделился, что Google теперь знает об этой проблеме и работает над ее устранением. «Я говорил об этом с сотрудниками Google, и это ошибка, над устранением которой они работают», — написал он.
Марк продолжил объяснять, что это пример приложения React, в которое через JavaScript добавлен метатег «noindex», но страницы тем не менее индексируются.
Мартин Сплитт из Google в прошлом говорил о метаданных noindex и страницах JavaScript, и иногда Google действительно испытывает трудности с их обработкой. Но в наши дни Google не должен подвергаться сомнению с их стороны. Полагаю, в этом случае Google был?
Опять же, я подозреваю, что в этом случае Google извлек и отобразил страницу до того, как JavaScript выполнил метаданные noindex. Так что Googlebot пока не увидел директиву noindex. Это может случиться, это редко, но это может случиться и, очевидно, случалось. Google предупреждал об этом раньше, включая использование JavaScript для генерации структурированных данных в некоторых случаях.
Решение Марка состояло в том, чтобы использовать CloudFlare для обслуживания директивы noindex до того, как JavaScript выполнит свои собственные метаданные (которые обслуживаются в заголовке HTTP), но это произошло только после того, как он узнал, что Google не воспринял его первое решение. Марк написал: «С некоторыми приложениями Single Page Applications (SPA) может быть сложно контролировать то, что отображается до выполнения JS. В этом случае мне удалось заставить страницы установить «noindex» до того, как JS был отрисован с помощью правил преобразования Cloudflare».
Так что если вы тоже заметили эту проблему, надеюсь, Google ее исправит, а если нет, поищите альтернативное решение — как это сделал Марк.
Обсуждение на форуме LinkedIn.
