¿Qué significa latency?
Significado en Inteligencia artificial y aprendizaje automático, traducción al español y ejemplos
latency: latencia
Tiempo entre enviar una solicitud a un modelo y recibir su respuesta, normalmente medido en milisegundos o segundos.
Cómo se usa
Se siguen la latencia media y la de cola, como p95 o p99. En LLM también se mide el tiempo hasta el primer token. Se equilibra con rendimiento, coste y calidad.
Frases de ejemplo
The bigger model is more accurate, but latency went from 300 milliseconds to two seconds.
El modelo grande es más preciso, pero la latencia pasó de 300 milisegundos a dos segundos.
La mayor precisión viene acompañada de una respuesta más lenta.
Our p99 latency spikes every time the cache is cleared.
Nuestra latencia p99 se dispara cada vez que se vacía la caché.
El percentil 99 refleja las solicitudes lentas y empeora al limpiar la caché.
Combinaciones frecuentes
- low latency
- p99 latency
- reduce latency
- latency budget
- time to first token
Términos relacionados
Esta palabra en otras especialidades
Una misma palabra en inglés puede tener un significado diferente según la especialidad:
Más términos: Despliegue y MLOps
Practica con lecturas adaptadas a tu nivel
Leer textos de tu nivel te ayuda a recordar las palabras nuevas. Elige libros gratuitos en inglés: