Учебник по парсингу Scrapebox – Легко 59 миллионов ссылок в день

Парсинг с помощью Scrapebox затруднен.

По крайней мере, это первое впечатление, которое складывается у большинства людей, когда они его пробуют.

Сегодня я собираюсь доказать вам, что все как раз наоборот. Это руководство Scrapebox будет покажу тебе все тебе придется почесаться более 56 миллионов ссылок в день с легкостью на слабом оборудовании.

Давайте начнем.

Урок царапин №1

Не используйте публичные прокси!

Я только что раскрыл вам самый важный общедоступный секрет, который изменит ваш способ использования этого инструмента.

Тебе нужно частный прокси.

Публичные прокси не только медленные, но и КРАЙНЕ ненадежные. Они ненадежны до такой степени, что, если вы не получите менее 10 ключевых слов, вы, вероятно, не сможете закончить, потому что все они будут мертвы.

И я уже упоминал, что они медленные во всех смыслах этого слова?

Где найти быстрые и надежные прокси?

Прежде чем ответить на эти вопросы, вот скриншот моего последнего запуска с этими прокси:

Он запускает 8 потоков с 10 прокси на недорогом VPS стоимостью 35 долларов США, оба от SolidSEOVPS.com.

Я запускаю 3 таких экземпляра Scrapebox, и у меня осталось достаточно ресурсов для запуска как GSA Platform Identifier, так и GSA Search Engine Ranker по 200 потоков каждый.

Другой вариант — получить ReverseProxies.

Я также использовал их с большим успехом, хотя в конечном итоге я использовал чисто частные прокси, потому что эти обратные прокси производят немного больше ошибок, и вам приходится использовать больше потоков для достижения той же скорости.

Однако вот исполнение, которое я сделал с Обратные прокси используя 45 потоков на том же бюджетном VPS за 35 долларов:

Хотя эти скорости смехотворны и очень желательны, они полностью перегружают процессор. Если вы хотите запускать другие задачи параллельно, вам нужен деди или сокращение потоков.

Вот почему сейчас я запускаю SB всего с 8 потоками. Это дает вам более чем достаточно ресурсов для запуска любого другого инструмента на том же VPS.

Урок царапин № 2

Вы готовы к этому?

Очистите Bing, а не Google.

Серьезно, это намного быстрее и намного проще.

Проблема с парсингом Google заключается в том, что вам нужно большое количество прокси и использовать задержки между запросами, чтобы НАДЕЖНО парсить на разумных скоростях.

Что-либо, превышающее 5% потоков от количества прокси (5 потоков на 100 прокси), кажется невозможным в долгосрочной перспективе.

(Это не считается, если вы парсите 500 URL-адресов в секунду в течение 1 минуты, а затем все ваши прокси-серверы исчерпаны)

С Bing вы можете получить невероятную скорость 24 часа в сутки, 7 дней в неделю, используя всего лишь несколько потоков/прокси.

Фактически, мои тесты показывают, что вы можете увеличить количество потоков до 90% от количества ваших прокси (например: до 27 потоков с 30 приватными прокси) и никогда не заблокируйте свои прокси.

Теперь вы можете подумать, что не хотите удалять ссылки Bing. Что произойдет, если он содержит неиндексированные ссылки?

Что ж, это вполне могло быть так.

Однако НАМНОГО быстрее получить список из Bing, обработать его, как вы обычно делаете (GSA SER, вручную и т. д.), а затем проверить этот обработанный рабочий список на предмет индексации в SB. (список, который теперь намного меньше того, с которого вы начали)

VPS

Какого VPS-провайдера выбрать?

Честно говоря, никакой ерунды… пользуйтесь СолидСЕОВПС.

Серьезно, в прошлом я пользовался услугами многих провайдеров (я не буду называть ни одного, потому что о них не стоит упоминать), но после того, как я открыл для себя SolidSEO, у меня пока нет причин искать где-то еще.

Они есть невероятно надежный, их поддержка клиентов идеальна и они дешевы. Я использую их почти для всех своих потребностей в хостинге (и прокси), потому что от хостинг-провайдера больше нечего ожидать.

У них также есть специальные предложения на их веб-сайте: вы можете получить выделенный сервер всего за 45 долларов.

Я знаю, что для вас это, вероятно, мало что значит, тем более, что это партнерские ссылки, но я буду с вами на 100% честен, как только я об этом прочитал, надежность сервера перестала быть для меня проблемой и Я бы сделал это. Я не хочу использовать никого другого.

Оптимизируйте свой VPS

Scrapebox и другие подобные программы не являются вашим повседневным программным обеспечением. Таким образом, типичный VPS не совсем оптимизирован для таких типов рабочих нагрузок.

Проще говоря, вы можете следовать этому руководству, и там упомянуто все, что вам нужно знать о нем. Я не беру за это никакой ответственности, это было составлено участником BHW GoldenGlovez:

Об этом также упоминалось в этом руководстве, и это определенно здравый смысл, но…

ОБЯЗАТЕЛЬНО СОЗДАЙТЕ РЕЗЕРВНУЮ РЕЗЕРВНУЮ НАСТРОЙКУ ПРЕЖДЕ ЧЕМ ВЫПОЛНИТЬ ЧТО-ЛИБО, УПОМЯНУТО В РУКОВОДСТВЕ.

Ключевые слова

Теперь, когда вы позаботились о ситуации с прокси и VPS, вы можете парсить больше целей за день, чем 90% пользователей Scrapebox парсят за месяц.

Поздравляем!

Но что мы царапаем? Как получить максимально уникальные URL-адреса?

Ваш выбор ключевых слов действительно имеет значение при парсинге.

Если все ваши ключевые слова в основном похожи (например, те, которые вы получили бы, если бы использовали парсер ключевых слов более чем на один уровень), не имеет значения, есть ли у вас огромный список ключевых слов. Неважно, какие принты вы используете. В конечном итоге вы получите МНОГО повторяющихся URL-адресов.

Если вам нужно как можно больше уникальных URL-адресов, вам нужно много коротких ключевых слов в разных нишах.

Проведите собственное исследование ключевых слов

Вам нужно будет потратить время на исследование различных ниш и создание разных категорий ключевых слов, в которых вы сможете найти уникальные ключевые слова с длинным хвостом.

Если только вы не пытаетесь получить целевые URL-адреса в одной нише, в этом случае вам следует делать это только для одной ниши, но не только для этого. тщательно.

вот большой полный гид о том, как проводить этот тип исследования ключевых слов.

Исследование ключевых слов сделано для вас

Самостоятельное исследование ключевых слов — это нормально, но это также довольно утомительно.

Особенно, когда вы просто делаете это, чтобы найти больше ключевых слов для поиска.

Вы всегда можете облегчить себе жизнь, приобретя огромный список ключевых слов и работать с этим.

Эти типы списков предназначены для использования с Scrapebox, и в большинстве случаев вам не нужно ничего с ними делать, кроме как нажать «Импорт» и «Начать очистку».

Однако вы также можете использовать их в качестве отправной точки, если хотите расширить и получить еще больше ключевых слов.

• Список ключевых слов ниши — Это список, который я составил с течением времени, чтобы решить именно ту проблему, о которой я здесь пишу. Чтобы получить как можно больше уникальных ссылок, вам нужно как можно больше разных ключевых слов в разных нишах. Вот почему этот список содержит более 1,3 миллиона ключевых слов во всех известных человечеству нишах.

Как и в случае с ключевыми словами, не следует использовать много отпечатков пальцев, которые очень похожи друг на друга. Конечно, вы можете получить 1 или 2 дополнительных URL-адреса, которые в противном случае вы бы не получили, но за это время вы могли бы получить 10 000, используя другой отпечаток пальца.

Кроме того, желательно использовать по 1 отпечатку за раз, чтобы потом можно было сравнить результаты парсинга разных отпечатков и решить, какие из них продолжать использовать, а какие не стоит.

Оба списка ключевых слов, упомянутых выше, содержат отпечатки пальцев, но простой поиск в Google выдаст вам более чем достаточно отпечатков пальцев. Кроме того, если у вас есть GSA SER, у него есть все необходимые отпечатки пальцев.

По правде говоря, все используют одни и те же принты, и найти новые — задача не из легких. Вам придется копать глубоко и запачкать руки, чтобы получить сомнительные результаты.

Единственное, о чем вам нужно беспокоиться в отношении следов, это то, что у Bing и Google разные поисковые операторы.

[table type=»simple»]

Google	Пример	Бинг	Пример
—	Яблоки-Апельсины	НЕТ	Яблоки НЕ апельсины
URL-адрес:	inurl: яблоки	instreamset:(url):	instreamset :(url):яблоки

[/table]

Отличий больше, но большинство других операторов, используемых в отпечатках пальцев, одинаковы в Google и Bing.

Настройки

Параметры двигателя комбайна

Вот так выглядят настройки моего двигателя. Обратите внимание: я не изменил ничего, что не указано на скриншотах:

Настройка двигателя комбайна — Bing — Страница 1

Настройка двигателя комбайна — Bing — страница 2

Что нужно изменить:

• Очистить файлы cookie — Кажется, что Bing дает вам меньше результатов по ключевому слову после некоторого парсинга, независимо от ваших прокси. Включение этой опции, кажется, отменяет это. Это немного замедляет скорость очистки.

Темы

Я провел небольшое тестирование оптимального количества потоков, и результаты оказались весьма неожиданными.

Прежде всего, никогда не используйте больше потоков, чем количество имеющихся у вас прокси. На самом деле оно не должно превышать 90%.

Не более 9 потоков на 10 прокси.

Даже если вы очистите Bing, использование слишком большого количества потоков приведет к исчерпанию ваших прокси.

И самое удивительное, что я обнаружил, это… увеличение количества потоков не улучшит скорость парсинга настолько, насколько вы думаете. Количество потоков не очень хорошо масштабируется. Что я имею в виду под этим?

Допустим, у вас 30 прокси и вы выполнили 3 запуска.

Например:

• 10 потоков – у вас в среднем около 550 URL/с.
• 15 потоков – средняя скорость около 600 URL/с.
• 30 потоков – у вас в среднем около 700 URL/с.

Вау, что случилось?

Вы могли бы подумать, что удвоение количества потоков удвоит вашу производительность. Похоже, что это не так.

Ты мне не веришь ? Приобретите приватные прокси и попробуйте сами.

Лучше, если вы используете меньше потоков.

Короче говоря, лучше, если вы используете меньше потоков. Вы не потеряете большую производительность, не рискуете исчерпать свои прокси, а если вам действительно нужно больше скорости, вы можете просто запустить еще один экземпляр SB.

Время ожидания

Вообще-то я оставляю все по умолчанию. Я пробовал изменить все настройки тайм-аута, но никаких заметных улучшений от этого не добился.

Вероятно, это связано с тем, что частные прокси стабильны и быстры, а это означает, что срок их действия практически никогда не истекает.

Завершите все это

Парсинг с помощью Scrapebox действительно прост и удобен, если вы знаете, как это делать.

В следующей статье мы увидим, как все это автоматизировать с помощью плагина Automator. Вы должны быть в состоянии потратить 10 минут на создание работы, уйти на 1 месяц, и когда вы вернетесь, все будет работать.