Вход для пользователей
Логин
Пароль
Забыли пароль? Регистрация


Все новости

Новости

22.11.2021

У проекта новый домен и владельцы!

Мы рады сообщить вам, что наш проект поменял владельцев и домен!


01.10.2021

Приглашаем к сотрудничеству поставщиков прокси!

Мы снова ищем поставщиков качественных и быстрых прокси


29.07.2021

Наш сервис стал эффективнее

Мы значительно увеличили количество прокси, расширили пул серверов и локаций, а также улучшили скорость работы!




Полный список

Бесплатные прокси

109.238.222.5:40387
 Czechia
103.31.134.136:9050
 Germany
151.22.181.212:8080
 Italy
1.117.199.111:7890
 Japan
145.249.238.4:8123
 Kazakhstan
85.158.75.102:53281
 Latvia
107.189.29.103:3128
 Luxembourg
104.18.111.37:8080
 Netherlands
109.167.134.253:30710
 Russia
149.34.7.65:8080
 Spain
179.43.140.249:3128
 Switzerland



A-Parser - многопоточный парсер для профессионалов

25.04.2018

A-Parser - многопоточный парсер поисковых систем, сайтов, ключевых слов, контента. Включающий в себя различные парсеры, такие как:



  • Парсеры поисковых систем: SE::Google Google, SE::Yandex Yandex, SE::AOL AOL, SE::Bing Bing, SE::Baidu Baidu, SE::DuckDuckGo DuckDuckGo, SE::MailRu Mail.Ru, SE::QIP QIP, SE::Yahoo Yahoo, SE::Seznam Seznam, SE::YouTube YouTube, SE::Ask Ask, SE::Comcast Comcast

  • Парсеры подсказок поисковых систем: SE::AOL::Suggest AOL, SE::Google::Suggest Google, SE::Yandex::Suggest Yandex, SE::Bing::Suggest Bing, SE::Yahoo::Suggest Yahoo

  • Парсеры и анализ ключевых слов: кейворды и частотность по SE::Yandex::WordStat Yandex.WordStat, в т.ч. по датам и регионам; частотность по SE::Yandex::Direct::Frequency Yandex.Direct; SE::Google::Trends Google Trends

  • Регистрация аккаунтов: SE::Yandex::Register Yandex

  • Парсеры параметров сайтов и доменов: позиции в поисковых системах SE::Google::position Google, SE::Yandex::position Yandex, SE::MailRu::position Mail.Ru, SE::QIP::position QIP; параметры сайтов SE::Google::pR PageRank, SE::Google::TrustCheck TrustRank, SE::Google::Compromised Compromised, SE::Google::SafeBrowsing SafeBrowsing, HTML::TextExtractor::LangDetect LangDetect, SE::Bing::LangDetect LangDetect через Bing, SE::Yandex::TIC тИЦ, Net::Whois Whois, Net::DNS DNS, Rank::CMS CMS, Rank::Ahrefs Ahrefs, Rank::Alexa Alexa, Rank::Category Category, Rank::DMOZ DMOZ, Rank::Linkpad Linkpad, Rank::MajesticSEO MajesticSEO, Rank::OpenSiteExplorer OpenSiteExplorer, Rank::SEMrush SEMrush, Rank::Mustat Mustat

  • Парсеры различных сервисов: SE::Bing::Translator Bing Translator, SE::Google::Maps Google Images, SE::Bing::Images Bing Images, SE::Google::Maps Google Maps, SE::Yandex::Direct Yandex.Direct, SE::Yandex::Catalog Yandex.Catalog, Util::AntiGate AntiGate, SEO::ping Ping

  • Парсеры контента: HTML::TextExtractor TextExtractor, HTML::LinkExtractor LinkExtractor, Check::BackLink BackLink, Net::HTTP HTTP парсер для создания произвольных парсеров



В статье мы рассмотрим добавление и проверку прокси на примере нашего сервиса и запуск задания в A-Parser с проксями.

После запуска A-Parser, переходим в Настройки, во вкладку Настройки потоков:



Выбираем количество потоков 100 - как показано на скриншоте, больше 100 не рекомендуется использовать.
Остальные поля оставляем по умолчанию.

Теперь переходим во вкладку Настройки проверки прокси (1)
Добавляем новый пресет, кликаем Добавить новый (2)
Даем свое название, у меня это “no check1”
И нажимаем на клавишу Ok (3)



Переходим в раздел, куда вы установили A-Parser, находим папку
aparser, далее заходим в папку files, далее переходим в папку proxy
И тут мы видим наш созданный пресет:



Переходим в него, разберём что он в себя включает:



sites.txt здесь находится наша ссылка на прокси,
proxy.txt здесь отображается список прокси из ссылки,
alive.txt здесь отображается список прокси, которые были живыми при работе парсера;

Теперь переходим на https://awmproxy.com/edituser.php


Тут мы видим наш IP, у вас будет свой), прописываем его в поле как показано на скриншоте, и нажимаем кнопку Сохранить.
Мы сделали привязку прокси к нашему IP адресу, это нужно чтобы наши прокси работали.

Теперь переходим в наш кабинет - https://awmproxy.com/cabinet.php



Копируем ссылку на прокси, далее переходим в наш рабочий каталог с нашим пресетом - Переходим в раздел, куда вы установили A-Parser находим папку
aparser, далее заходим в папку files далее переходим в папку proxy.
Открываем файл sites.txt


И вставляем нашу скопированную ссылку, потом нажимаем закрыть.
Теперь возвращаемся к вкладке Настройки проверки прокси

Check url: вставляем нашу ссылку на прокси
No check proxies: ставим галочку, это значит что мы выключили проверку прокси на валидность. Наш сервис продает только рабочие прокси и мы сами их проверяем, поэтому нет необходимости делать это на вашей стороне, все прокси будут рабочими. Остальные настройки оставляем по умолчанию, далее нажимаем Сохранить
Переходим во вкладку Проверка проксей

Видим следующее -

Как мы видим наши прокси загружены, и готовы к работе в количестве 8811 у вас будет своё число, в зависимости от купленного вами тарифа. Теперь перейдём к Редактору заданий (1) и запуска, на примере поисковой выдачи Google

Конфиг потоков (2) - ставим потоки 100 threads
Парсер: (3) - из списка выбираем - SE::Google
Формат результата: (4) - $pl.preset
Выберите файл: (5) - subs/english_top1000.txt (в качестве запроса мы используем топ 1000 запросов гугле)
Имя файла: (6) - $datefile.format().txt
Сохранить (7)

Переходим в Очередь заданий и видим нашу рабочую карточку.
Наше задание уже начало работу, прокси загрузились и выполняется парсинг.
Также видим подробную статистику, и прокси которые попали в бан.
Через некоторое время, после завершения парсера, рабочая карточка перемещается в Завершенные.

Мы можем скачать результат -


И, как мы видим, наши ссылки успешно спарсены, и сохранены в файл.

<<< Вернуться к статьям

Читайте также другие статьи: