Cutter 8
Toplam $96,90 · %5 tasarruf
- Sanal CPU
- 4 × ayrılmış
- RAM
- 8 GB
- Depolama
- 160 GB NVMe SSD
- Aktarım
- 10 TB
- IPv4 / IPv6
- 1 / /64 routed
Çözüm
Kazıma bellek sınırlıdır, CPU sınırlı değil: başsız bir Chromium sekmesi yaklaşık 300 MB tutar, bu yüzden eşzamanlılığa göre planlayın. Dört çekirdek ve 8 GB yaklaşık 20 paralel tarayıcı bağlamı çalıştırır. Başarıyı belirleyen şey IP çeşitliliği ve yargı bölgesidir — temiz adres alanı, birkaç IPv4 adresi ve tek bir tarama hızı şikayeti üzerine hesabı sonlandırmayan bir sağlayıcı istersiniz.
| Kaynak | Gerçekte ihtiyacınız olan |
|---|---|
| CPU | ~20 eşzamanlı başsız tarayıcı için 4 çekirdek |
| RAM | 8 GB minimum; ölçekte JavaScript işliyorsanız 16 GB |
| Disk | Önbellekler ve artefaktlar için 160 GB NVMe |
| IP'ler | Panelden örnek başına eklenen ek IPv4 adresleri |
| Aktarım | 10 TB — işlenmiş sayfalar göründüğünden daha ağırdır |
Toplam $96,90 · %5 tasarruf
Toplam $176,70 · %5 tasarruf
Toplam $262,20 · %5 tasarruf
Bu iş yükü için en önemli karar genellikle konumdur — ya gecikme baskın olduğu için ya da yargı yetkisi baskın olduğu için.
Dört özel çekirdek ve 8 GB, pratik bir başlangıç noktasıdır.
Playwright veya Puppeteer, gömülü Chromium ile; temiz bir kapatma için Docker içinde çalıştırın.
Her çalışanı, SO_BINDTODEVICE veya bir giden proxy ile farklı bir kaynak adrese bağlayın.
Nezaket gecikmeleri sizi kara listelerden uzak tutar ve projeyi sürdürülebilir kılar.
Nesne depolamaya veya bir Hold örneğine aktarın; böylece yeniden oluşturma size hiçbir maliyet getirmez.
Yasal olarak erişilebilir kamu verileri için, hedefi yavaşlatmayan hızlarda evet. Kimlik bilgisi doldurmayı, ödeme duvarlarını veya kimlik doğrulamayı atlamayı veya yetkisiz erişim teşkil eden kazımayı desteklemiyoruz.
Panelden örnek başına en fazla sekiz ek IPv4 adresi ve yönlendirilmiş IPv6 /64'ünüz.
Yasal ayrım için hedefin yargı yetkisi dışında bir yer ve gecikme için hedefe yakın bir yer. Amsterdam, Moldova ve Sofya, Avrupa hedefleri için olağan uzlaşmadır.