Що означає latency?

Де і як уживається

Команди відстежують середню й хвостову затримку, наприклад p95 або p99. Для LLM також вимірюють час до першого токена. Затримку часто доводиться балансувати з пропускною здатністю, вартістю та якістю моделі.

Приклади речень

1. The bigger model is more accurate, but latency went from 300 milliseconds to two seconds.

   Більша модель точніша, але затримка зросла з 300 мілісекунд до двох секунд.

   Підвищення точності супроводжується довшим очікуванням кожної відповіді.

2. Our p99 latency spikes every time the cache is cleared.

   Затримка p99 різко зростає щоразу після очищення кешу.

   Найповільніші запити погіршуються після скидання кешованих результатів.

Поширені словосполучення

• low latency
• p99 latency
• reduce latency
• latency budget
• time to first token