Çözüm

Web kazıma ve veri toplama için VPS

Cutter 8 · $34/moCutter 16 · $62/mo
Kısa cevap

Kazıma bellek sınırlıdır, CPU sınırlı değil: başsız bir Chromium sekmesi yaklaşık 300 MB tutar, bu yüzden eşzamanlılığa göre planlayın. Dört çekirdek ve 8 GB yaklaşık 20 paralel tarayıcı bağlamı çalıştırır. Başarıyı belirleyen şey IP çeşitliliği ve yargı bölgesidir — temiz adres alanı, birkaç IPv4 adresi ve tek bir tarama hızı şikayeti üzerine hesabı sonlandırmayan bir sağlayıcı istersiniz.

Neye ihtiyacınız var

web kazıma ve veri toplama için asgari özellikler
KaynakGerçekte ihtiyacınız olan
CPU~20 eşzamanlı başsız tarayıcı için 4 çekirdek
RAM8 GB minimum; ölçekte JavaScript işliyorsanız 16 GB
DiskÖnbellekler ve artefaktlar için 160 GB NVMe
IP'lerPanelden örnek başına eklenen ek IPv4 adresleri
Aktarım10 TB — işlenmiş sayfalar göründüğünden daha ağırdır

Önerilen planlar

Cutter

Cutter 8

$ 32.3 /month

Toplam $96,90 · %5 tasarruf

Sanal CPU
4 × ayrılmış
RAM
8 GB
Depolama
160 GB NVMe SSD
Aktarım
10 TB
IPv4 / IPv6
1 / /64 routed
Yapılandır
Cutter

Cutter 16

$ 58.9 /month

Toplam $176,70 · %5 tasarruf

Sanal CPU
6 × ayrılmış
RAM
16 GB
Depolama
320 GB NVMe SSD
Aktarım
15 TB
IPv4 / IPv6
1 / /64 routed
Yapılandır
Clipper

Clipper 16

$ 87.4 /month

Toplam $262,20 · %5 tasarruf

Sanal CPU
8 × ayrılmış
RAM
16 GB
Depolama
400 GB NVMe Gen4 SSD
Aktarım
30 TB
IPv4 / IPv6
1 / /64 routed
Yapılandır

Önerilen konumlar

Bu iş yükü için en önemli karar genellikle konumdur — ya gecikme baskın olduğu için ya da yargı yetkisi baskın olduğu için.

Bunun için neden OnionVPS?

  • Ek IPv4 adresleri ayda $3 olup gerekçe formu gerektirmez.
  • Giden HTTP'yi hız sınırlamıyoruz veya tarayıcınızın ne istediğini incelemiyoruz.
  • Kıyı ötesi yargı bölgeleri projeyi spekülatif sivil keşif erişiminin dışında tutar.
  • Temiz, geri dönüştürülmemiş adres alanı — hiçbir spam listesinde olmamış bir IP size önden avantaj sağlar.

Nasıl kurulur

  1. Cutter 8'i Ubuntu 24.04 ile dağıtın

    Dört özel çekirdek ve 8 GB, pratik bir başlangıç noktasıdır.

  2. Başsız bir tarayıcı yığını kurun

    Playwright veya Puppeteer, gömülü Chromium ile; temiz bir kapatma için Docker içinde çalıştırın.

  3. IP adresleri ekleyin ve giden trafiği döndürün

    Her çalışanı, SO_BINDTODEVICE veya bir giden proxy ile farklı bir kaynak adrese bağlayın.

  4. robots.txt ve hız sınırlarına saygı gösterin

    Nezaket gecikmeleri sizi kara listelerden uzak tutar ve projeyi sürdürülebilir kılar.

  5. Sonuçları sunucudan gönderin

    Nesne depolamaya veya bir Hold örneğine aktarın; böylece yeniden oluşturma size hiçbir maliyet getirmez.

Sık sorulan sorular

Sunucularınızda web kazıma yapmak izinli mi?

Yasal olarak erişilebilir kamu verileri için, hedefi yavaşlatmayan hızlarda evet. Kimlik bilgisi doldurmayı, ödeme duvarlarını veya kimlik doğrulamayı atlamayı veya yetkisiz erişim teşkil eden kazımayı desteklemiyoruz.

Bir VPS'e kaç IP ekleyebilirim?

Panelden örnek başına en fazla sekiz ek IPv4 adresi ve yönlendirilmiş IPv6 /64'ünüz.

Kazıma için hangi konum en iyisi?

Yasal ayrım için hedefin yargı yetkisi dışında bir yer ve gecikme için hedefe yakın bir yer. Amsterdam, Moldova ve Sofya, Avrupa hedefleri için olağan uzlaşmadır.