У Google есть добавлен два новых робота Googlebot, сканеры Google, добавлены в список сканеров. К ним относятся GoogleOther-Image и GoogleOther-Video, которые входят в категорию ботов GoogleOther и используются для сканирования двоичных данных в целях исследований и разработок.
Google написал«Добавлены два новых сканера, GoogleOther-Image и GoogleOther-Video, которые представляют собой версии GoogleOther, оптимизированные для извлечения байтов изображений и видео соответственно. При этом мы также обновили список строк пользовательского агента GoogleOther, чтобы лучше отражать наиболее активного пользователя. версии агента».
«Новые сканеры были запущены для лучшей поддержки сканирования двоичных данных, которые могут быть использованы для исследований и разработок», — добавили в Google.
В апреле 2023 года Google добавила GoogleOther в качестве сканера, который представлял собой «универсальный сканер, который может использоваться различными группами разработчиков для получения общедоступного контента с сайтов». Гэри Иллис из Google тогда объяснил, что сканер «заменит некоторые другие задачи Googlebot, такие как сканирование исследований и разработок, чтобы освободить часть возможностей сканирования для Googlebot».
Он добавил, что эти боты «используются группами разработчиков продуктов Google для внутреннего построения индекса Google». «Робот Googlebot используется для построения индексов, а GoogleOther — для других задач, которые исторически принадлежали роботу Googlebot», — добавил он.
Этих ботов можно найти в документация здесь:
- GoogleOther-Image — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных изображений. Он находится под токенами пользовательского агента; GoogleOther-Image и GoogleOther и использует полную строку пользовательского агента GoogleOther-Image/1.0.
- GoogleOther-Video — это версия GoogleOther, оптимизированная для получения URL-адресов общедоступных видео. Он работает под токенами пользовательского агента GoogleOther-Video и GoogleOther и использует полную строку пользовательского агента GoogleOther-Video/1.0.
Вот скриншот трех сканеров GoogleOther:
GoogleOther сканирует слишком много?
Вы также можете использовать форму обратной связи для сканирования, ссылку на которую можно найти по адресу если есть что-то конкретное, что можно передать — это читают люди, управляющие сканерами Google.
— Джон 🧀 … 🧀 (@JohnMu) 17 мая 2024 г.
Обсуждение на форуме Икс.
