Вы используете CDN для части или всего вашего сайта и хотите управлять только одним файлом robots.txt вместо файла robots.txt CDN и файла robots.txt вашего основного сайта? Гари Иллайес из Google сказал, что все, что вам нужно сделать, это перенаправить ваш основной robots.txt в CDN и управлять им в CDN.
Гэри написал на LinkedIn:
У вас есть CDN и ваш основной сайт. У вас есть два файла robots.txt, один на https∶//cdn․example․com/robots.txt и один на https∶//www․example․com/robots.txt. У вас может быть только один центральный robots.txt со всеми правилами, скажем, на вашем CDN, что может помочь вам отслеживать все правила, которыми вам нужно управлять. Все, что вам нужно сделать, это перенаправить https∶//www․example․com/robots.txt на https∶//cdn․example․com/robots.txt, и сканеры, которые соответствуют RFC9309, просто будут использовать цель перенаправления как файл robotstxt https∶//www․example․com/. Странно или что.
Теперь, это не совет по SEO-ранжированию. Это просто способ держать все в одном robots.txt и не управлять несколькими. Это не поможет вам повысить рейтинг или что-то в этом роде.
Теперь я жду рекламы услуг SEO по перемещению вашего файла robots.txt в CDN. Опять же, это не дает вам никаких преимуществ SEO или рейтинга, это просто для того, чтобы вам было легче поддерживать один файл. Конечно, если вы когда-нибудь покинете этот CDN, вам придется с этим разобраться, но это не сильно отличается от перехода на новый хостинг.
Обсуждение на форуме LinkedIn.
