Google полностью реорганизовал свою Документация по сканерам и сборщикам, активируемым пользователем. Это привыкший все было на одной странице, а теперь на нескольких. Большинство изменений заключалось в перемещении контента, но Google добавил разделы о том, на какой продукт влияет каждый краулер, и добавил фрагмент robots.txt для каждого краулера, чтобы продемонстрировать, как использовать токены агента пользователя.
Google написал«Документация стала очень длинной, что ограничило наши возможности по расширению контента о наших сканерах и сборщиках, запускаемых пользователями», поэтому они ее переделали.
Если вы углубитесь в каждый скан, например Googlebot вы увидите два новых раздела:
(1) Затронутые продукты
(2) Пример группы robots.txt
Вот пример скриншота, но то, что я выделил красным, было добавлено для каждого сканера:
Вот как каждый поисковик влияет на продукты:
- Googlebot: Настройки сканирования, адресованные пользовательскому агенту Googlebot, влияют на поиск Google (включая Discover и все функции поиска Google), а также на другие продукты, такие как Google Images, Google Video, Google News и Discover.
- Googlebot Image: Настройки сканирования, адресованные пользовательскому агенту Googlebot-Image, влияют на Google Images, Discover, Google Video и все функции в поиске Google, где представлены изображения, логотипы и значки.
- Googlebot Video: Настройки сканирования, адресованные пользовательскому агенту Googlebot-Video, влияют на функции поиска Google, связанные с видео, и другие продукты, зависящие от видео.
- Googlebot News: настройки сканирования, адресованные пользовательскому агенту Googlebot-News, влияют на все поверхности Google News (например, вкладку «Новости» в Google Search и приложение Google News).
- Google StoreBot: Настройки сканирования, адресованные пользовательскому агенту Storebot-Google, влияют на все поверхности Google Покупок (например, вкладка «Покупки» в Google Поиске и Google Покупки).
- Google-InspectionTool: Настройки сканирования, адресованные пользовательскому агенту Storebot-Google, влияют на инструменты тестирования поиска, такие как Rich Result Test и URL inspection в Search Console. Это не влияет на Google Search или другие продукты.
- GoogleOther: Настройки сканирования, адресованные пользовательскому агенту GoogleOther, не влияют на какой-либо конкретный продукт. GoogleOther — это общий краулер, который может использоваться различными командами по продуктам для извлечения общедоступного контента с сайтов. Например, его можно использовать для одноразовых сканирований для внутренних исследований и разработок. Он не влияет на Google Search или другие продукты.
- GoogleOther-Image: Настройки сканирования, адресованные пользовательскому агенту GoogleOther-Image, не влияют на какой-либо конкретный продукт, аналогично GoogleOther. GoogleOther-Image — это версия GoogleOther, оптимизированная для извлечения общедоступных URL-адресов изображений.
- GoogleOther-Video: Настройки сканирования, адресованные пользовательскому агенту GoogleOther-Video, не влияют на какой-либо конкретный продукт, аналогично GoogleOther. GoogleOther-Video — это версия GoogleOther, оптимизированная для извлечения общедоступных URL-адресов видео.
- Google-CloudVertexBot: Настройки сканирования, адресованные пользовательскому агенту Google-CloudVertexBot, влияют на сканирования, запрошенные владельцами сайта для создания агентов Vertex AI. Это не влияет на Google Search или другие продукты.
- Google-Extended: Google-Extended — это автономный токен продукта, который веб-издатели могут использовать для управления тем, помогают ли их сайты улучшить генеративные API Gemini Apps и Vertex AI, включая будущие поколения моделей, которые поддерживают эти продукты. Google-Extended не влияет на включение или рейтинг сайта в Google Search.
- API-интерфейсы Google: Настройки сканирования, адресованные пользовательскому агенту API-интерфейсов Google, влияют на доставку push-уведомлений API-интерфейсами Google.
- AdsBot Mobile Web: Настройки сканирования, адресованные пользовательскому агенту AdsBot-Google-Mobile, влияют на способность Google Ads проверять качество рекламы на веб-страницах.
- AdsBot: Настройки сканирования, адресованные пользовательскому агенту AdsBot-Google, влияют на способность Google Ads проверять качество рекламы на веб-страницах.
- AdSense: Настройки сканирования, адресованные пользовательскому агенту Mediapartners-Google, влияют на Google AdSense. Сканер AdSense посещает участвующие сайты, чтобы предоставить им релевантные объявления.
- Google-Safety: Пользовательский агент Google-Safety обрабатывает сканирование, направленное на выявление злоупотреблений, например, обнаружение вредоносного ПО для публично размещенных ссылок на ресурсах Google. Таким образом, на него не влияют настройки сканирования.
- Feedfetcher: Feedfetcher используется для сканирования каналов RSS или Atom для Google News и PubSubHubbub.
- Центр издателей Google: Центр издателей Google извлекает и обрабатывает каналы, которые издатели явно предоставили для использования на целевых страницах Новостей Google.
- Google Read Aloud: по запросу пользователя Google Read Aloud извлекает и зачитывает веб-страницы с помощью преобразования текста в речь (TTS).
- Google Site Verifier: Google Site Verifier извлекает токены проверки Search Console.
Google написал:
Реорганизовали документацию для краулеров Google и пользовательских сборщиков. Мы также добавили явные примечания о том, на какой продукт влияет каждый краулер, и добавили фрагмент robots.txt для каждого краулера, чтобы продемонстрировать, как использовать токены агента пользователя. В остальном никаких значимых изменений в контенте не было.
Google также добавил информацию о кодировках контента (сжатиях), поддерживаемых краулерами Google и загружаемыми пользователем сборщиками. Это просто изменение документации, никаких изменений в поведении. Google также обновил URL в строке агента пользователя GoogleProducer HTTP в документации для загружаемых пользователем сборщиков Google, чтобы он соответствовал значению, используемому фактическим сборщиком.
Обсуждение на форуме Х.
Изображение предоставлено Лиззи Сассман
