समाधान

वेब स्क्रैपिंग और डेटा संग्रह के लिए VPS

Cutter 8 · $34/moCutter 16 · $62/mo
संक्षिप्त उत्तर

स्क्रैपिंग मेमोरी-बद्ध है, CPU-बद्ध नहीं: एक हेडलेस Chromium टैब लगभग 300 MB लेता है, इसलिए समवर्तीता के आसपास योजना बनाएँ। चार कोर और 8 GB लगभग 20 समानांतर ब्राउज़र संदर्भ चलाते हैं। सफलता वास्तव में IP विविधता और अधिकार क्षेत्र तय करते हैं — आप स्वच्छ पता स्थान, कई IPv4 पते चाहते हैं, और एक प्रदाता जो क्रॉल दर की एक शिकायत पर खाते बंद नहीं करता।

आपको क्या चाहिए

वेब स्क्रैपिंग और डेटा संग्रह के लिए न्यूनतम विनिर्देश
संसाधनआपको वास्तव में क्या चाहिए
CPU~20 समवर्ती हेडलेस ब्राउज़र के लिए 4 कोर
RAM8 GB न्यूनतम; 16 GB यदि आप बड़े पैमाने पर JavaScript रेंडर करते हैं
डिस्ककैशे और आर्टिफैक्ट्स के लिए 160 GB NVMe
IPsअतिरिक्त IPv4 पते, पैनल से प्रति इंस्टेंस जोड़े गए
ट्रांसफर10 TB — रेंडर किए गए पेज जितने दिखते हैं उससे भारी होते हैं

अनुशंसित योजनाएँ

Cutter

Cutter 8

$ 32.3 /month

कुल $96.90 · 5% बचत

vCPU
4 × समर्पित
RAM
8 GB
स्टोरेज
160 GB NVMe SSD
ट्रांसफर
10 TB
IPv4 / IPv6
1 / /64 routed
कॉन्फ़िगर करें
Cutter

Cutter 16

$ 58.9 /month

कुल $176.70 · 5% बचत

vCPU
6 × समर्पित
RAM
16 GB
स्टोरेज
320 GB NVMe SSD
ट्रांसफर
15 TB
IPv4 / IPv6
1 / /64 routed
कॉन्फ़िगर करें
Clipper

Clipper 16

$ 87.4 /month

कुल $262.20 · 5% बचत

vCPU
8 × समर्पित
RAM
16 GB
स्टोरेज
400 GB NVMe Gen4 SSD
ट्रांसफर
30 TB
IPv4 / IPv6
1 / /64 routed
कॉन्फ़िगर करें

अनुशंसित स्थान

इस कार्यभार के लिए स्थान आमतौर पर सबसे महत्वपूर्ण निर्णय होता है — या तो विलंबता प्रभावी होती है, या क्षेत्राधिकार।

इसके लिए OnionVPS क्यों

  • अतिरिक्त IPv4 पते $3 प्रति माह हैं, बिना किसी औचित्य फ़ॉर्म के।
  • हम आउटबाउंड HTTP को रेट-लिमिट नहीं करते या आपके क्रॉलर द्वारा अनुरोधित चीज़ों का निरीक्षण नहीं करते।
  • अपतटीय क्षेत्राधिकार परियोजना को सट्टा सिविल डिस्कवरी की पहुँच से बाहर रखते हैं।
  • स्वच्छ, गैर-पुनर्चक्रित पता स्थान — एक IP जो कभी स्पैम सूची में नहीं रहा, आपको आगे से शुरू कराता है।

इसे कैसे सेट करें

  1. Ubuntu 24.04 के साथ Cutter 8 तैनात करें

    चार समर्पित कोर और 8 GB व्यावहारिक शुरुआती बिंदु है।

  2. हेडलेस ब्राउज़र स्टैक स्थापित करें

    Playwright या Puppeteer, बंडल किए गए Chromium के साथ, साफ टीयरडाउन के लिए Docker के अंदर चलाएँ।

  3. IP पते जोड़ें और आउटबाउंड घुमाएँ

    SO_BINDTODEVICE या आउटबाउंड प्रॉक्सी के साथ प्रत्येक वर्कर को अलग स्रोत पते से बाँधें।

  4. robots.txt और दर सीमाओं का सम्मान करें

    विनम्रता देरी आपको ब्लैकलिस्ट से दूर रखती है और परियोजना को टिकाऊ बनाए रखती है।

  5. परिणाम बॉक्स से बाहर भेजें

    ऑब्जेक्ट स्टोरेज या Hold इंस्टेंस पर स्ट्रीम करें ताकि पुनर्निर्माण में आपको कुछ भी खर्च न हो।

अक्सर पूछे जाने वाले प्रश्न

क्या आपके सर्वर पर वेब स्क्रैपिंग की अनुमति है?

हाँ, कानूनी रूप से सुलभ सार्वजनिक डेटा के लिए, उन दरों पर जो लक्ष्य को ख़राब न करें। हम क्रेडेंशियल स्टफिंग, पेवॉल या प्रमाणीकरण को बायपास करने, या अनधिकृत पहुँच के गठन वाली स्क्रैपिंग की अनुमति नहीं देते।

मैं एक VPS में कितने IP जोड़ सकता हूँ?

पैनल से प्रति इंस्टेंस आठ अतिरिक्त IPv4 पते, साथ ही आपका रूटेड IPv6 /64।

स्क्रैपिंग के लिए कौन सा स्थान सबसे अच्छा है?

कानूनी अलगाव के लिए लक्ष्य के क्षेत्राधिकार के बाहर कहीं, और विलंबता के लिए उसके करीब। यूरोपीय लक्ष्यों के लिए Amsterdam, Moldova और Sofia सामान्य समझौता हैं।