适用于 AI 工作负载、LLM 推理和 RAG 管线的 VPS

推荐套餐

推荐位置

对于此工作负载，位置通常是影响最大的决定——要么因为延迟至关重要，要么因为司法管辖区至关重要。

为什么选择OnionVPS

• 支持 AVX-512 的高频 EPYC 核心使 llama.cpp 在无 GPU 的情况下也能真正可用。
• NVMe Gen4 可在几秒内加载 40 GB 的模型文件，而非几分钟。
• 自托管意味着任何提示词都不会离开您控制的基础设施——这是大多数人这样做的真正原因。
• 适用于通过模型处理敏感文档的团队的隐私司法管辖区。

如何设置

1. 部署带 Ubuntu 24.04 的 Clipper 32

   十二个专用核心和 32 GB 内存可满足大多数 CPU 推理需求。

2. 安装 Ollama 或 llama.cpp

   Ollama 是最快的路径；llama.cpp 提供对量化的更细粒度控制。

3. 拉取量化模型

   Q4_K_M 是通常的质量与速度之间的最佳平衡点。

4. 在前面放置 API 网关

   使用 LiteLLM 或带身份验证和速率限制的反向代理。

5. 如果构建 RAG，添加向量数据库

   Qdrant 或 pgvector；两者都可以与模型一起稳定运行。