适用于 AI 工作负载、LLM 推理和 RAG 管道的 VPS

推奨プラン

推奨ロケーション

このワークロードでは、通常ロケーションの選択が最も重要です—レイテンシが支配的になるか、管轄権が支配的になるかのどちらかだからです。

これにOnionVPSを選ぶ理由

• 高频 EPYC 核心搭配 AVX-512 使 llama.cpp 在无 GPU 时也能真正可用。
• NVMe Gen4 在几秒内即可加载 40 GB 模型文件，而非几分钟。
• 自托管意味着提示词永远不会离开你控制的基础设施——这正是大多数人这样做的真正原因。
• 适用于通过模型处理敏感文档的团队的隐私司法管辖区。

設定方法

1. 部署一台 Ubuntu 24.04 的 Clipper 32

   12 个专用核心和 32 GB 可覆盖大多数 CPU 推理。

2. 安装 Ollama 或 llama.cpp

   Ollama 是最快路径；llama.cpp 提供对量化更精细的控制。

3. 量子化モデルを取得する

   Q4_K_Mは、品質と速度の一般的なスイートスポットです。

4. 前面にAPIゲートウェイを配置する

   LiteLLMまたは認証とレート制限を備えたリバースプロキシ。

5. RAGを構築する場合は、ベクターデータベースを追加する

   Qdrantまたはpgvector。どちらもモデルと一緒に快適に実行できます。