Clipper 8
- vCPU
- 4 × dedicado
- RAM
- 8 GB
- Almacenamiento
- 200 GB NVMe Gen4 SSD
- Transferencia
- 20 TB
- IPv4 / IPv6
- 1 / /64 routed
Solución
Las respuestas de API por debajo de 10 ms son un problema de ubicación antes que un problema de código. La física impone un mínimo de aproximadamente 1 ms por cada 100 km de fibra, por lo que ninguna optimización supera estar en la ciudad equivocada. Despliegue instancias Clipper en las regiones donde se encuentran sus usuarios, mantenga la ruta crítica libre de llamadas entre regiones y mida en el percentil 99 en lugar de la media.
| Recurso | Lo que realmente necesita |
|---|---|
| CPU | Núcleos dedicados de alta frecuencia; la latencia de cola es un problema de planificación |
| RAM | 8–32 GB según el conjunto de trabajo |
| Disco | NVMe Gen4 |
| Red | Regiones con capacidad Anycast para un único punto de entrada global |
La ubicación suele ser la decisión que más importa para esta carga de trabajo, ya sea porque domina la latencia o porque domina la jurisdicción.
Luego despliega en esas regiones, no en la más barata.
Núcleos de alta frecuencia y fija el proceso.
Una llamada de base de datos entre regiones borra cualquier otra optimización.
El establecimiento de conexión domina la latencia de solicitudes cortas.
Los promedios ocultan exactamente las solicitudes de las que se quejan tus usuarios.
Menos de 1 ms de tiempo de servidor es alcanzable para handlers simples en núcleos dedicados. La latencia total percibida por el usuario está dominada por la distancia: aproximadamente 1 ms por cada 100 km por trayecto, por lo que la ubicación decide el resultado.
Sí, enrutando cada usuario al nodo sano más cercano sin retraso por propagación de DNS. Requiere instancias en varias regiones y está disponible en nuestras ubicaciones con capacidad anycast.
Generalmente por tiempo de CPU robado en núcleos compartidos, o por recolección de basura. Los núcleos dedicados eliminan lo primero; lo segundo es un problema de código.