Solução

VPS para raspagem web e recolha de dados

Cutter 8 · $34/moCutter 16 · $62/mo
Resposta curta

A raspagem é limitada pela memória, não pela CPU: um separador Chromium sem interface custa cerca de 300 MB, por isso planeie em torno da concorrência. Quatro núcleos e 8 GB executam cerca de 20 contextos de navegador paralelos. O que realmente decide o sucesso é a diversidade de IP e a jurisdição — precisa de espaço de endereços limpo, vários endereços IPv4, e um fornecedor que não encerre contas por uma única queixa sobre a taxa de rastreamento.

O que precisa

Especificações mínimas para raspagem web e recolha de dados
RecursoO que realmente precisa
CPU4 núcleos para ~20 navegadores sem interface concorrentes
RAM8 GB mínimo; 16 GB se renderizar JavaScript em escala
Disco160 GB NVMe para caches e artefactos
IPsEndereços IPv4 adicionais, adicionados por instância a partir do painel
Transferência10 TB — as páginas renderizadas são mais pesadas do que parecem

Planos recomendados

Cutter

Cutter 8

$ 34 /month
vCPU
4 × dedicado
RAM
8 GB
Armazenamento
160 GB NVMe SSD
Transferência
10 TB
IPv4 / IPv6
1 / /64 routed
Configurar
Cutter

Cutter 16

$ 62 /month
vCPU
6 × dedicado
RAM
16 GB
Armazenamento
320 GB NVMe SSD
Transferência
15 TB
IPv4 / IPv6
1 / /64 routed
Configurar
Clipper

Clipper 16

$ 92 /month
vCPU
8 × dedicado
RAM
16 GB
Armazenamento
400 GB NVMe Gen4 SSD
Transferência
30 TB
IPv4 / IPv6
1 / /64 routed
Configurar

Localizações recomendadas

A localização é geralmente a decisão que mais importa para esta carga de trabalho — seja porque a latência domina, seja porque a jurisdição domina.

Porquê a OnionVPS para isto

  • Endereços IPv4 adicionais custam $3 por mês, sem formulário de justificação.
  • Não limitamos a velocidade do HTTP de saída nem inspecionamos o que o seu crawler solicita.
  • Jurisdições offshore mantêm o projeto fora do alcance de descobertas civis especulativas.
  • Espaço de endereços limpo, não reciclado — um IP que nunca esteve numa lista de spam dá-lhe vantagem desde o início.

Como configurar

  1. Implemente um Cutter 8 com Ubuntu 24.04

    Quatro núcleos dedicados e 8 GB são o ponto de partida prático.

  2. Instale uma stack de browser headless

    Playwright ou Puppeteer com o Chromium incluído, executado dentro de Docker para uma limpeza fácil.

  3. Adicione endereços IP e faça rotação de saída

    Vincule cada worker a um endereço de origem diferente com SO_BINDTODEVICE ou um proxy de saída.

  4. Respeite robots.txt e limites de taxa

    Atrasos de cortesia mantêm-no fora de listas de bloqueio e tornam o projeto sustentável.

  5. Envie os resultados para fora da máquina

    Faça streaming para armazenamento de objetos ou uma instância Hold para que uma reconstrução não lhe custe nada.

Perguntas frequentes

A raspagem web é permitida nos vossos servidores?

Sim, para dados públicos legalmente acessíveis, a taxas que não degradem o alvo. Não permitimos preenchimento de credenciais, contornar paywalls ou autenticação, nem raspagem que constitua acesso não autorizado.

Quantos IPs posso adicionar a um VPS?

Até oito endereços IPv4 adicionais por instância a partir do painel, mais o seu IPv6 /64 roteado.

Qual localização é melhor para raspagem?

Em algum lugar fora da jurisdição do alvo para separação legal, e perto dele para latência. Amesterdão, Moldávia e Sófia são o compromisso habitual para alvos europeus.