Гэри Иллис из Google опубликовал сообщение на LinkedIn что его миссия в этом году — «придумать, как ползать еще меньше и передавать по сети меньше байтов». Он добавил, что робот Google должен «более разумно подходить к кэшированию и совместному использованию внутреннего кэша между пользовательскими агентами, и у нас должно быть меньше байтов в сети».
Он добавил: «Уменьшение сканирования без ущерба для качества сканирования принесет пользу всем».
Сегодня, добавил Гэри, Google сканирует столько же, сколько и раньше, несмотря на то, что некоторые считают, что Google сканирует меньше. Он сказал: «По большому счету это не так; мы ползаем примерно так же, как и раньше».
Раньше Google был лучше в планировании. «Однако планирование стало более интеллектуальным, и мы уделяем больше внимания URL-адресам, которые с большей вероятностью заслуживают сканирования», — пояснил он.
Похоже, что Microsoft Bing, в частности Фабрис Канель из Microsoft и Гэри Иллис из Google, преследуют одни и те же цели. Microsoft решает эту проблему, поощряя владельцев сайтов использовать IndexNow. В ноябре 2021 года Google заявил, что Google может рассмотреть возможность внедрения IndexNow, но это пришло и ушло…
Джон Мюллер из Google прокомментировал в сообщении, в котором предлагается: «Мы могли бы просто просканировать RSS-каналы и создать что-то вроде Reader». Шутка про Google Reader…
В любом случае, посмотрим, что в итоге сделает Google. Вот его полный пост:
Моя задача в этом году — выяснить, как еще меньше сканировать и передавать по сети меньше байтов.
Несколько дней назад в сообществе Reddit появился пост о том, что, по мнению OC, Google сканирует меньше, чем в предыдущие годы. По большому счету это не так; мы сканируем примерно столько же, сколько и раньше, однако планирование стало более интеллектуальным, и мы больше уделяем внимание URL-адресам, которые с большей вероятностью заслуживают сканирования.
Однако на самом деле нам следует меньше ползать. Например, нам следует более разумно относиться к кэшированию и совместному использованию внутреннего кэша между пользовательскими агентами, и нам следует иметь меньше байтов в сети.
Если вы видели в Интернете интересный проект IETF (или другого органа по стандартизации), который может помочь в этой работе, или реальный стандарт, который я мог пропустить, пришлите его мне. Сокращение сканирования без ущерба для качества сканирования принесет пользу всем.
Обсуждение на форуме LinkedIn.
