Cutter 8
$ 32.3 /month
Итого 96,90 $ · Скидка 5%
- vCPU
- 4 × dedicated
- RAM
- 8 GB
- Диск
- 160 GB NVMe SSD
- Трафик
- 10 TB
- IPv4 / IPv6
- 1 / /64 routed
Решение
VPS для веб-скрапинга и сбора данных
Cutter 8 · $34/moCutter 16 · $62/mo
Краткий ответ
Скрапинг привязан к памяти, а не к ЦП: одна вкладка headless Chromium занимает около 300 МБ, поэтому планируйте с учетом параллелизма. Четыре ядра и 8 ГБ позволяют запускать около 20 параллельных контекстов браузера. На успех на самом деле влияют разнообразие IP-адресов и юрисдикция — вам нужно чистое адресное пространство, несколько IPv4-адресов и провайдер, который не блокирует аккаунты из-за одной жалобы на скорость сканирования.
Что вам нужно
| Ресурс | Что вам нужно на самом деле |
|---|---|
| CPU | 4 ядра для ~20 одновременных headless-браузеров |
| RAM | Минимум 8 ГБ; 16 ГБ, если вы рендерите JavaScript в больших объемах |
| Диск | 160 ГБ NVMe для кэша и артефактов |
| IP-адреса | Дополнительные IPv4-адреса, добавляемые на экземпляр через панель |
| Трафик | 10 ТБ — отрендеренные страницы тяжелее, чем кажутся |
Рекомендуемые тарифы
Cutter 16
$ 58.9 /month
Итого 176,70 $ · Скидка 5%
- vCPU
- 6 × dedicated
- RAM
- 16 GB
- Диск
- 320 GB NVMe SSD
- Трафик
- 15 TB
- IPv4 / IPv6
- 1 / /64 routed
Clipper 16
$ 87.4 /month
Итого 262,20 $ · Скидка 5%
- vCPU
- 8 × dedicated
- RAM
- 16 GB
- Диск
- 400 GB NVMe Gen4 SSD
- Трафик
- 30 TB
- IPv4 / IPv6
- 1 / /64 routed
Рекомендуемые местоположения
Местоположение обычно является решающим фактором для этой нагрузки — либо из-за задержек, либо из-за юрисдикции.
Почему OnionVPS для этого
- Дополнительные IPv4-адреса стоят 3 доллара в месяц без формы обоснования.
- Мы не ограничиваем скорость исходящего HTTP и не проверяем, что запрашивает ваш краулер.
- Оффшорные юрисдикции выводят проект из-под досягаемости спекулятивных гражданских расследований.
- Чистое, не переработанное адресное пространство — IP-адрес, который никогда не был в спам-списке, дает вам фору.
Как настроить
-
Разверните Cutter 8 с Ubuntu 24.04
Четыре выделенных ядра и 8 ГБ — практичный стартовый уровень.
-
Установите headless-браузерный стек
Playwright или Puppeteer со встроенным Chromium, запускаемые в Docker для чистого удаления.
-
Добавьте IP-адреса и ротируйте исходящие подключения
Привяжите каждый воркер к отдельному исходному адресу через SO_BINDTODEVICE или исходящий прокси.
-
Соблюдайте robots.txt и лимиты запросов
Вежливые паузы уберегут вас от блок-листов и сохранят проект устойчивым.
-
Выгружайте результаты с сервера
Потоковая передача в объектное хранилище или экземпляр Hold — пересборка ничего не будет стоить.
Часто задаваемые вопросы
Разрешен ли веб-скрапинг на ваших серверах?
Да, для законно доступных публичных данных, с интенсивностью, не наносящей ущерба цели. Мы не допускаем перебор учётных данных, обход платных стенок или аутентификации, а также скрапинг, представляющий собой несанкционированный доступ.
Сколько IP-адресов можно добавить к одному VPS?
До восьми дополнительных IPv4-адресов на инстанс через панель, плюс ваш маршрутизируемый IPv6 /64.
Какая локация лучше для скрапинга?
Где-то вне юрисдикции цели для юридического разделения и рядом с ней для низкой задержки. Амстердам, Молдова и София — обычный компромисс для европейских целей.