В новом аудиоподкасте №242 Николай Шмичков рассказал о том, как удалить информацию из Google – 5 советов.
Текстовая версия выступления:
«Всем привет.
Вы находитесь на канале Seoquick, меня зовут Николай Шмичков и сегодня мы обсудим следующую тему: Как убрать свою ссылку из поиска Google, и рассмотрим новейшие методы.
Наткнулся на эту статью на сайте ahrefs, хочу поделиться с вами своим мнением.
У них есть хорошая инфографика на эту тему, которую вы можете изучить.
На каком основании его удаляют?
Прежде всего, вам следует спросить себя, контролируете ли вы страницу, и ответить на вопрос да или нет.
Если вы следите за страницей, полезна ли эта информация?
Вы также отвечаете «да» или «нет» и продолжаете по этой цепочке.
Саму картинку я добавлю в описание под этим подкастом, не забудьте обратить на нее внимание.
Но сейчас мне хотелось поговорить непосредственно о самой статье.
Какие полезные методы описаны в нем.
Прежде всего, мы должны ответить на вопросы: как проверить, проиндексирована ли страница, затем рассмотрим все способы удаления этой ссылки, как научиться расставлять приоритеты удаления, проверить наличие ошибок при удалении, как удалить контент, который нет на вашем сайте и как удалить изображение.
Все моменты интересны.
Как проверить, проиндексирован ли URL-адрес, очень просто.
Зайдите на сайт, скопируйте ссылку, вставьте site: и ссылку на сайт в строку браузера и посмотрите результат.
Если вы что-то видите, значит, в индексе есть ссылка; если вы видите, что ссылки нет, значит ее не существует.
Второй вариант — Google Webmaster, если это ваш сайт или у вас есть доступ к сайту, то в Google Webmaster есть функция отчета об индексировании.
Просто введите URL-адрес, и вы увидите, авторизован он или нет.
Таким же образом можно воспользоваться, например, ahrefs и поискать там, есть ли показы по ключевым словам — как минимум, на этот момент можно обратить внимание.
Есть самые простые способы удаления страницы.
Первый вариант – удалить саму страницу.
То есть, если вы удалите страницу и дадите ответ 404 или 410, страница будет удалена из индекса вскоре после повторного сканирования.
Пока он не будет удален, страница может появляться в результатах поиска.
И даже если сама страница остается недоступной, кэшированная страница может быть временно доступна.
Если вам нужны другие варианты, если вам нужно очень быстро удалить страницу, то вам нужно перейти к инструменту удаления URL-адресов веб-мастера и таким образом удалить ее.
Если вам нужно объединить сигналы, то вам необходимо настроить каноническую страницу.
Вам нужно будет настроить Canonical и таким образом перенести вес старой ссылки на новую.
А если вам нужна страница, доступная для пользователей, но при этом ее не должно быть в Google, то вы можете проверить и установить статус noindex в заголовке кода страницы.
Второй вариант — вариант удаления через noindex.
Сообщите поисковым системам в заголовке xrobots через метатег noindex, что страница была удалена из индекса, и, если поисковый робот зайдет и увидит это как таковое, он удалит страницу из индекса и, следовательно, она больше не будет быть доступным.
Пример робота noindex выглядит очень просто.
META name =»robotscontent»noindex.
Если в ответе заголовка, то ответом http 200 будет x-robots-tag noindex.
Если вам нужно, чтобы пользователи имели доступ к этим страницам, ограничьте доступ.
Если вам нужно объяснить такие сигналы, как ссылки, мы перейдем к разделу канонизации.
Третий вариант ограничения доступа.
Если вы хотите, чтобы страница была доступна некоторым пользователям, но не поисковым системам, вам нужно сделать один из трех вариантов.
Какая-то система через вход в систему, http-аутентификация, где для входа требуется пароль и белый лист IP, когда вход разрешен только через определенные IP-адреса.
Если контент закрыт и доступен только разработчикам, лучший вариант — использовать такого рода закрытие.
Если вы заблокируете что-то подобное, то поисковик выпадет из страницы и они выпадут из индекса.
Если вам действительно нужно все удалить, то переходите к четвертому варианту.
Это инструмент для удаления URL-адресов.
Название инструмента немного вводит в заблуждение, поскольку на самом деле он не удаляет внешние ссылки — это то, что делает другой председатель, служба растворения ссылок.
Этот сервис занимается удалением страниц из индекса Google.
Это действительно следует делать в крайнем случае, если есть такие проблемы, как утечки безопасности, утечки данных, личной информации.
Для Google они используют инструменты удаления, а для Bing — службу блокировки URL-адресов.
Необходимо объединить несколько элементов и соответственно использовать несколько для запрета доступа к старому контенту и доступа к обновлению.
Чтобы быстро удалить URL-адрес, я бы рекомендовал объединить все предыдущие методы и этот инструмент, иначе URL-адрес появится снова.
Пятый вариант, который мы рассмотрим – это канонизация.
Если вы отслеживаете несколько версий страницы и хотите объединить сигналы, например внешние ссылки на одну и ту же версию, то вы выполняете некоторую форму канонизации.
Получаете дубликаты страниц, делаете каноническую ссылку на одну страницу.
Таким образом, в конечном итоге будет только один проиндексированный URL-адрес, даже если пользователи перейдут на другие.
Здесь доступны следующие варианты: канонический тег, перенаправление и обработка параметров URL.
В теге canonical вы указываете версию, которую хотите показать, и если страница дублируется и очень похожа, это самый правильный вариант.
Если страницы слишком разные, каноническую можно игнорировать, поскольку это не директива, а, к сожалению, лишь подсказка.
В любом случае вам необходимо использовать функцию редиректа, которая перенаправляет пользователя и поискового робота с одной страницы на другую.
301 редирект является наиболее часто используемым.
Он сообщает поисковым системам, что вы хотите, чтобы канонический URL-адрес отображался в результатах поиска, где сигналы объединены — 302 или временный, сообщает поисковым системам, что вы хотите, чтобы исходный URL-адрес оставался в индексе и объединял сигналы там, но при в то же время пользователь перенаправляется.
Обработка параметров URL, добавление вопросительного знака и какого-либо параметра в конец ссылки.
Этот инструмент Google позволяет вам рассказать, как обрабатывать URL-адрес с определенными параметрами.
Например, вы хотите указать, будет ли параметр изменять содержимое страницы, кроме целей отслеживания.
Каковы приоритеты удаления страниц?
Конечно, те страницы, которые действительно представляют угрозу безопасности, получают наивысший приоритет.
Когда кто-то имеет доступ к вашим личным данным и личным данным ваших пользователей.
Или контент, содержащий коммерческую или конфиденциальную информацию.
Тогда нужно использовать те методы, которые очень актуальны.
В среднем приоритете это корпоративный Интернет или портал для сотрудников, чаще всего в среде подготовки и тестирования разработки.
Низким приоритетом являются страницы, содержащие дублированный контент.
Ну, например, когда несколько страниц обслуживаются с несколькими или URL с параметрами, это действительно приоритеты для удаления.
Каковы самые большие ошибки удаления?
Первая ошибка — когда пытаются удалить, просто прописывать в robots теги noindex.
Роботы больше официально не поддерживаются Google, поэтому это неправильный метод. Второе — это блокировка для краулера в robots.txt, это одно и то же.
На самом деле сканирование — это не то же самое, что индексирование.
Об этом я писал в своей статье «Факторы ранжирования» — рекомендую зайти и посмотреть.
Это два разных процесса.
Сканирование — это проход поискового робота по страницам, а индексирование — это сбор собранных данных, которые получила поисковая система.
Но поисковая система не обязательно может получать данные от поискового робота.
Если у вас есть внутренние или внешние ссылки, даже если вы заблокируете вход, Google проигнорирует ваши указания в файле robots и просто перейдет по внутренней ссылке на этот контент.
Яркий пример: в robots вы заблокировали вход на страницу Б, но со страницы А, на которую может попасть робот, есть ссылка на страницу Б.
В любом случае поисковый робот проигнорирует robots.txt и пойдет другим путем.
Nofollow также является самой большой проблемой, которую путают с новым индексом.
Nofollow — это когда вы сообщаете поисковым роботам, что переходить по этой ссылке не нужно — раньше это была подсказка.
Если раньше по многим ссылкам поисковый робот не переходил, то сейчас это не так.
У Google достаточно ресурсов, чтобы перейти по ссылкам Nofollow и посмотреть, куда они ведут.
Зачем он проверяет ссылку Nofollow, неправильно ее ввели или нет, даже их стали игнорировать.
Раньше Nofollow использовался для поддержания рейтинга страницы, так называемое моделирование рейтинга страницы — процесс, при котором вы накачиваете домен ссылками и закрываете все исходящие ссылки тегом Nofollow.
Теперь поисковая система начала прекрасно ориентироваться в них.
Мы заметили, что ссылки Nofollow действительно получают клики.
Он проиндексирован, поэтому поисковая система будет игнорировать Nofollow при сканировании.
Известная ошибка: noindex каноничен для другого URL.
Этот сигнал противоречив; noindex указывает, что страница удаляется из индекса.
Canonical сообщает, что другая страница — это версия, которую необходимо проиндексировать. Это может сработать в качестве совета, поскольку Google предпочитает игнорировать noindex и вместо этого использовать канонические базы сигналов.
Тег noindex может быть счетным сигналом.
В этом случае страницы не будут объединены правильно, поэтому сочетание noindex и canonical может быть вредным.
Если вы можете проверить комбинацию в ahrefs с помощью анализа эксплорера страниц и проверить, скажем, совпадение noindex — да и self Canonical — нет, то если вы найдете такие страницы, вы увидите, что их тоже можно проиндексировать.
При установке noindex и когда робот уже просканировал страницу будет заблокирована, но проиндексирована.
Люди добавят тег noindex и таким образом поисковая система уже успеет его просканировать и поместить в индекс.
Как удалить URL-адрес, если его контента нет на вашем сайте.
Это один из вопросов, который нам задали и, к сожалению, ответ на него только один.
Существует инструмент удаления авторских прав Google, есть DMCA и есть инструмент удаления авторских прав, который позволяет удалять контент.
Если этот контент действительно ваш.
На чужом сайте из поисковика, например, есть ваши фотографии.
Это самый простой метод.
Если вы докажете, что являетесь автором.
Размещая коммерчески значимые для вас файлы на сторонних сайтах, вы можете подать запрос через этот бесплатный сервис, и таким образом он будет рассмотрен.
Если вы хотите ускорить процесс, то, пожалуйста, заплатите.
И это недорого.
Если этот контент принадлежит нам, но не находится на вашем сайте, то, если вы находитесь в Европейском Союзе, вы можете удалить контент, содержащий информацию о вас, благодаря решению суда о праве на удаление.
Вы можете запросить удаление личной информации через специальную форму удаления конфиденциальности и ЕС.
Например, если вам нужно удалить изображение из Google Картинок.
Ваши личные фотографии были слиты с вашего личного сайта по ошибке.
Затем вам нужно будет запретить изображения Googlebot для определенного изображения для одного изображения, а для всех изображений вам нужно будет запретить изображения Googlebot, тогда все изображения с определенного сайта исчезнут из изображений Google.
Мой последний совет: если вы хотите удалить что-то из поиска, вам нужно продумать стратегию.
Очень полезно понимать, за что браться, в каких процедурах и за что нужно цепляться.
Если вы хотите удалить информацию, которая касается лично вас, но вы проживаете не в Евросоюзе, то попробуйте написать письмо владельцу сайта и попросить удалить ее.
Иногда это действительно работает.
Например, если это приемлемо, ваш контент и вы можете доказать права на него, то через форму DMCA, конечно, заблокируйте его и попросите избавиться от него.
Я оставлю это изображение под описанием этого подкаста на нашем сайте.
Я рекомендую пойти и посмотреть, там очень четко изложена стратегия.
На сегодня все, не забывайте подписываться на наш канал, задавайте вопросы в комментариях.
Буду рад получить любое мнение, которое можно задать в нашей телеграм-группе, на нашем YouTube-канале.
Еще увидимся.»
