Cutter 8
कुल $96.90 · 5% बचत
- vCPU
- 4 × समर्पित
- RAM
- 8 GB
- स्टोरेज
- 160 GB NVMe SSD
- ट्रांसफर
- 10 TB
- IPv4 / IPv6
- 1 / /64 routed
समाधान
स्क्रैपिंग मेमोरी-बद्ध है, CPU-बद्ध नहीं: एक हेडलेस Chromium टैब लगभग 300 MB लेता है, इसलिए समवर्तीता के आसपास योजना बनाएँ। चार कोर और 8 GB लगभग 20 समानांतर ब्राउज़र संदर्भ चलाते हैं। सफलता वास्तव में IP विविधता और अधिकार क्षेत्र तय करते हैं — आप स्वच्छ पता स्थान, कई IPv4 पते चाहते हैं, और एक प्रदाता जो क्रॉल दर की एक शिकायत पर खाते बंद नहीं करता।
| संसाधन | आपको वास्तव में क्या चाहिए |
|---|---|
| CPU | ~20 समवर्ती हेडलेस ब्राउज़र के लिए 4 कोर |
| RAM | 8 GB न्यूनतम; 16 GB यदि आप बड़े पैमाने पर JavaScript रेंडर करते हैं |
| डिस्क | कैशे और आर्टिफैक्ट्स के लिए 160 GB NVMe |
| IPs | अतिरिक्त IPv4 पते, पैनल से प्रति इंस्टेंस जोड़े गए |
| ट्रांसफर | 10 TB — रेंडर किए गए पेज जितने दिखते हैं उससे भारी होते हैं |
कुल $96.90 · 5% बचत
कुल $176.70 · 5% बचत
कुल $262.20 · 5% बचत
इस कार्यभार के लिए स्थान आमतौर पर सबसे महत्वपूर्ण निर्णय होता है — या तो विलंबता प्रभावी होती है, या क्षेत्राधिकार।
चार समर्पित कोर और 8 GB व्यावहारिक शुरुआती बिंदु है।
Playwright या Puppeteer, बंडल किए गए Chromium के साथ, साफ टीयरडाउन के लिए Docker के अंदर चलाएँ।
SO_BINDTODEVICE या आउटबाउंड प्रॉक्सी के साथ प्रत्येक वर्कर को अलग स्रोत पते से बाँधें।
विनम्रता देरी आपको ब्लैकलिस्ट से दूर रखती है और परियोजना को टिकाऊ बनाए रखती है।
ऑब्जेक्ट स्टोरेज या Hold इंस्टेंस पर स्ट्रीम करें ताकि पुनर्निर्माण में आपको कुछ भी खर्च न हो।
हाँ, कानूनी रूप से सुलभ सार्वजनिक डेटा के लिए, उन दरों पर जो लक्ष्य को ख़राब न करें। हम क्रेडेंशियल स्टफिंग, पेवॉल या प्रमाणीकरण को बायपास करने, या अनधिकृत पहुँच के गठन वाली स्क्रैपिंग की अनुमति नहीं देते।
पैनल से प्रति इंस्टेंस आठ अतिरिक्त IPv4 पते, साथ ही आपका रूटेड IPv6 /64।
कानूनी अलगाव के लिए लक्ष्य के क्षेत्राधिकार के बाहर कहीं, और विलंबता के लिए उसके करीब। यूरोपीय लक्ष्यों के लिए Amsterdam, Moldova और Sofia सामान्य समझौता हैं।