Что значит latency?

Где и как употребляется

Отслеживают среднюю и хвостовую задержку, например p95 или p99. Для LLM также измеряют время до первого токена; задержку сопоставляют с пропускной способностью.

Примеры предложений

1. The bigger model is more accurate, but latency went from 300 milliseconds to two seconds.

   Модель большего размера точнее, но задержка выросла с 300 миллисекунд до двух секунд.

   Повышение точности сопровождается увеличением времени ответа.

2. Our p99 latency spikes every time the cache is cleared.

   Наша задержка p99 резко возрастает каждый раз после очистки кэша.

   Показатель для самых медленных запросов скачет при сбросе кэша.

Распространённые словосочетания

• low latency
• p99 latency
• reduce latency
• latency budget
• time to first token