Еще в середине июня я заметил, что Google не показывает многие из моих изображений в Google Search и Discover, а некоторые читатели также указали мне на это. Поэтому я использовал удобный инструмент проверки URL-адресов Google Search Console, чтобы выяснить, что те URL-адреса S3, которые я использовал для размещения своих изображений, блокируют сканирование Googlebot. Вот небольшой пример из практики от вашего покорного слуги, касающийся проблемы индексации/сканирования, которая у меня была для URL-адресов моих изображений.
Этот баг AWS привел к падению на 83% показов моих изображений из Google Search и Google Images. Это привело к падению на 76% кликов, связанных с поиском изображений, на этом сайте. Спустя несколько недель я все еще нахожусь ниже примерно на 16% показов и на 26% кликов из поиска изображений, но это огромное улучшение.
Вот отчет Google Search Console Search Performance, показывающий график показов и кликов с течением времени. Вы увидите падение около 15 июня, затем он начнет расти около 8 июля. Вы также увидите, что мой трафик изображений все еще не полностью вернулся к своим обычным показателям до ошибки AWS, даже спустя два месяца:
Когда Googlebot пытался получить доступ к моим URL-адресам изображений на S3, Google получал ошибку 404 «не найдено». Но когда я заходил на URL-адреса со своего компьютера, они загружались нормально. Это те же самые URL-адреса изображений, которые я использовал на этом сайте более десяти лет, и вот однажды AWS решила заблокировать Googlebot. Я обратился и к Google, и к AWS по поводу этой проблемы, и я подозреваю, что это была довольно серьезная проблема. Множество сайтов используют S3 для хранения изображений и файлов, поэтому Googlebot, вероятно, получал кучу ошибок 404. Самое странное, что я не видел ни одной публичной жалобы на эту проблему.
В любом случае, вот что увидел Googlebot, когда попытался просканировать эти URL-адреса:
AWS исправила это через несколько дней:
Вот как выглядели мои изображения в инструменте проверки URL в Google Search Console:
Это должно выглядеть примерно так:
С тех пор я решил перенести свои изображения в CloudFront от AWS — сервис, который не был доступен, когда я впервые создал этот сайт — поэтому я использовал S3 для изображений. Проблема с S3 с Googlebot все еще исправлена и работает нормально. Но я не собираюсь возвращаться к S3 для изображений.
Я должен поблагодарить Гленна Гейба за то, что он также заметил, что изображения исчезают в Google Discover на ранней стадии. Гленн также написал об этом статья о миграции изображений которые я рассмотрел перед тем, как перейти с AWS S3 на AWS CloudFront. Я не переносил свои старые образы, я оставил их, потому что AWS исправила проблему. Но с конца июня все мои новые образы используют CloudFront.
Чтобы было ясно, это была не ошибка Google, а изменение AWS, которое привело к блокировке Googlebot AWS S3. Сейчас это исправлено, но, похоже, ущерб уже нанесен… Если графики изменятся еще больше, я обновлю эту историю ниже, чтобы задокументировать изменения. Но пока что он был плоским в течение последних 5 недель или около того, поэтому я не ожидаю больших изменений в будущем.
Обсуждение на форуме Х.
