С какого хоста лучше спарсить большой объем данных?

интернет программирование php хостинг парсеры

Задача: спарсить около 150млн страниц+картинок, по http. Хорошо бы уложиться в пару месяцев :)
Вопрос: как это сделать? Простой вариант (vds + php mcurl) дают где-то 1000 картинок за 15 минут, надо хотя бы в 10 раз быстрее.
Никогда не пользовался облачным хостингом - мб. здесь оно имеет смысл? Или ощутимого прироста в скорости не будет? Мб. еще какие-то варианты есть?
Ответы:
> надо хотя бы в 10 раз быстрее.
запустите несколько потоков/форков скрипта.
Перейлите на более быструю платформу — NodeJS, например.


11 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.