Как удалить страницу из результатов Яндекса и Google

Вам может потребоваться удалить страницу из результатов поиска по разным причинам: нерелевантная информация, обновления контента, случайное дублирование или мертвая страница-зомби, которая не добавляет ценности вашему бизнесу.

Есть несколько способов предотвратить появление страницы в результатах поиска:

• Полностью удалите и установите Disallow в файле robots.txt;

• Запретить индексацию с помощью noindex;

• Заблокировать доступ паролем;

• Настройте перенаправление на другую страницу, если это возможно;

• Настройте код ответа сервера 404, 403 или 410.

При этом у Google и Яндекса свои рекомендации по удалению страницы из поиска и механизмы немного отличаются. Давайте подробнее рассмотрим, что советуют поисковые системы и какие инструменты у них для этого есть.

Как удалить страницу из Google

У Google есть специальный инструмент для удаления отдельной страницы или изображения из результатов.

Обратите внимание, что этот способ действителен до полугода, затем страница, если не будет полностью удалена с сайта, снова появится в результатах.

В этом случае поисковый робот все равно сможет просканировать страницу, если она не скрыта каким-либо другим способом.

В каких случаях использовать средство:

• Чтобы страница не появлялась в результатах поиска;

• После удалить ненужную информацию со страницы, чтобы изменения отразились в результатах поиска.

В каких случаях это не работает:

• Если сайт вам не принадлежит и у вас нет доступа к нему через Search Console;

• Для страниц 404 поисковый робот самостоятельно определит, что страница не существует и постепенно исключит их из поиска;

• Чтобы исключить ошибки сканирования, инструмент удаляет страницы из результатов поиска, а не из Search Console;

• После санкций – если вы исправили ошибки, приведшие к санкциям, нет необходимости удалять страницы из поиска, запрашивать новую проверку;

• После взлома сайта и нарушения его работы Google советует не блокировать все страницы сразу, а удалить вредоносный код или нежелательный контент. Подробнее о том, что делать в случае взлома описано в сертификате;

• Чтобы просмотреть конкретную версию страницы — этот метод удалит из результатов поиска все страницы, а не только неканонические. Чтобы каноническая версия попала в поиск, укажите ее в коде страницы.

Статья по теме: Все о rel canonical: как правильно указать атрибут и зачем это нужно

Итак, чтобы удалить страницу из поиска, в левом меню Search Console выберите раздел «Индексирование», затем «Удалить». Нажмите «Создать запрос».

В запросе есть два варианта: удалить URL и удалить кэшированную копию страницы. Оба варианта работают только для адреса страницы. Если он доступен по разным адресам или существуют варианты их написания с разными регистрами, для каждого нужно будет сделать отдельный запрос.

Удалить один или несколько URL-адресов

Чтобы удалить URL-адрес, вам нужно будет выбрать один из вариантов:

• Только указанный URL;

• Все URL-адреса с указанным префиксом. Например, обратите внимание, что страницы с www и без него, с HTTP и HTTPS будут удалены из поиска, но это не касается поддоменов, например m. для мобильной версии сайта.

Удалить кэшированную копию страницы

В этом случае описание текущей страницы исчезнет из поиска и после следующего сканирования появится новая. Обратите внимание, что необходимо ввести полный адрес страницы, включая расширение: www.site.com/cat/page.html.

Аналогично предыдущему варианту вы можете удалить кэшированные копии всех страниц определенного раздела сайта, указав префикс.

После создания заявки она появится в списке в разделе «Удаления». Обработка может занять до суток. Если вы передумаете, вы можете отменить свой запрос в любое время.

Удаление страницы из Google Поиска навсегда

Инструмент исключения страниц из результатов поиска работает временно, поэтому для их полного удаления необходимо выполнить несколько дополнительных действий.

• Удалить страницу через админку сайта. Поэтому, когда поисковый робот просканирует сайт несколько месяцев спустя, он обнаружит код ответа 404 или 410 и распознает страницу как удаленную;

• Заблокировать доступ к странице, например, с помощью пароля;

• Отключите сканирование через noindex. При этом страница не должна закрываться в файле robots.txt, поскольку в этом случае поисковый робот не сможет обработать код страницы и найти запрет на ее индексацию.

Как удалить страницу из результатов поиска Яндекса

Яндекс отличается от Google. Поисковая система рекомендует сначала удалить страницу или закрыть ее из индексации, а затем воспользоваться инструментом для удаления страниц из поиска. Варианта два: выбор зависит от того, удалили ли вы страницу с сайта или просто хотите заблокировать ее от поискового робота.

При удалении страницы с сайта

1. В файле robots.txt закройте страницу с помощью директивы Disallow. Это первый шаг, поскольку при сканировании сайта робот сначала обращается к файлу robots.txt. Как он выглядел:

Пользовательский агент: Яндекс

Забанить: /страница? # запрещает сканирование страниц с указанным URL

2. Настройте код ответа сервера 404, 403 или 410. Если вам нужно перенаправить пользователей на другую страницу, настройте перенаправление 301.

Статья по теме: Как настроить перенаправление самостоятельно

При удалении страницы из результатов поиска

1. На странице в метатеге robots укажите директиву noindex. Оставьте страницу в файле robots.txt, чтобы робот мог найти ваши инструкции.

Статья по теме: Метатеги Robots и X-Robots для ручного управления индексацией страниц.

2. Настройте код ответа сервера на 404, 403 или 410.

В обоих случаях страница исчезнет из результатов поиска примерно через неделю. Страница, которая не была удалена, но закрыта для сканера, может появиться в результатах поиска, если на нее ссылаются другие страницы.

Список исключенных из индекса страниц доступен в Вебмастере в разделе «Индексирование» — «Страницы в поиске». Перейдите на вкладку «Исключенные страницы», вы увидите дату последнего посещения страницы роботом, URL и причину удаления страницы: перенаправление, индексирование запрещено, код ответа 404.

Инструмент для удаления страниц из поиска

Чтобы ускорить удаление страницы, используйте специальный инструмент. В Вебмастере перейдите в «Инструменты» — «Удалить страницы из поиска».

Удалить можно всю страницу или раздел — по префиксу.

Введите URL-адрес или путь и нажмите «Удалить».

Вы не можете удалить более 500 страниц в день.

Ниже в этом же разделе вы найдете список запросов на удаление.

Каждому из них присвоен статус:

Чтобы вернуть страницу в результаты поиска, удалите директиву Disallow из файла robots.txt или метатег noindex в коде. Страница будет просмотрена повторно в течение трех недель.