解决方案

低延迟 API 和实时后端的 VPS

Clipper 8 · $49/moClipper 16 · $92/mo
简短回答

亚 10 毫秒的 API 响应首先是部署位置问题,然后才是代码问题。物理定律决定了每 100 公里光纤约 1 毫秒的下限,因此无论怎么优化都无法弥补城市选择错误。在用户所在的区域部署 Clipper 实例,保持热路径不跨区域调用,并测量第 99 百分位而非平均值。

你需要什么

低延迟 api 的规格下限
资源你实际需要的东西
CPU高频专属核心;尾部延迟是调度问题
RAM8–32 GB,取决于工作集
磁盘NVMe Gen4
网络支持 Anycast 的区域,提供单一全球入口点

推荐套餐

Clipper

Clipper 8

$ 46.55 /month

总计 US$139.65 · 节省 5%

vCPU
4 × 专用
RAM
8 GB
存储
200 GB NVMe Gen4 SSD
流量
20 TB
IPv4 / IPv6
1 / /64 routed
配置
Clipper

Clipper 16

$ 87.4 /month

总计 US$262.20 · 节省 5%

vCPU
8 × 专用
RAM
16 GB
存储
400 GB NVMe Gen4 SSD
流量
30 TB
IPv4 / IPv6
1 / /64 routed
配置
Clipper

Clipper 32

$ 165.3 /month

总计 US$495.90 · 节省 5%

vCPU
12 × 专用
RAM
32 GB
存储
800 GB NVMe Gen4 SSD
流量
40 TB
IPv4 / IPv6
1 / /64 routed
配置

推荐位置

对于此工作负载,位置通常是影响最大的决定——要么因为延迟至关重要,要么因为司法管辖区至关重要。

为什么选择OnionVPS

  • 专属高频核心消除了造成 p99 异常的窃取时间。
  • 支持 Anycast 的区域让一个地址路由到最近的健康实例。
  • 在六大洲都有节点,因为位置是你拥有的最大的单一杠杆。
  • 在主要交换中心有对等良好的核心区域,因此路径既短又快。

如何设置

  1. 绘制你的请求来源地图

    然后部署到这些区域,而不是最便宜的区域。

  2. 按区域部署Clipper实例

    使用高频核心,并固定进程。

  3. 保持热路径区域本地化

    一次跨区域数据库调用会抹掉所有其他优化。

  4. 启用HTTP/3并保持连接持久

    连接建立主导了短请求的延迟。

  5. 测量p99,而不是平均值

    平均值恰恰隐藏了你的用户抱怨的请求。

常见问题

从VPS获得现实的API延迟是多少?

对于简单处理器在专用核心上,服务器时间可低于1毫秒。用户感知的总延迟主要由距离决定:每100公里往返大约1毫秒,所以位置决定了结果。

任播有助于API延迟吗?

是的,通过将每个用户路由到最近的健康实例,无需DNS传播延迟。它需要在多个区域有实例,并且在我们支持任播的位置可用。

为什么我的p99远差于我的平均值?

通常是共享核心上的CPU偷取时间,或是垃圾回收。专用核心消除了前者;后者是代码问题。