Я хочу написать небольшой парсер.
Суть парсера: функцией file_get_contents() беру страничку и выбираю нужную информацию.
Проблема в том, что всё в одной странице не получается забрать, т.к там есть ссылки на дополнительную информацию.
Соответственно примерно 5 пунктов, выходит: 1 страница с инфой + 5 страниц по ссылкам за доп.инфой
В результате конечно удалённый сервер выдаёт ошибку HTTP/1.1 503 Service Temporarily Unavailable, типа воу воу полегче.
Пробовал через прокси, но вся операция заняла более 8 секунд, что очень много + иногда всё равно была ошибка, даже при переборе разных IP.
-----
$ctext_param = array(
'http' => array(
'proxy' => 'tcp://84.42.3.3:3128', // This needs to be the server and the port of the NTLM Authentication Proxy Server.
'request_fulluri' => True,
),
);
$hd_ctext = stream_context_create($ctext_param);
----------
Предложите пожалуйста какой нибудь интересный вариант.
Примечание:
Прощу прощения, реализация интересует на языке PHP.
RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.
Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.
Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.