Что значит LoRA?

Где и как употребляется

Популярный метод параметрически эффективного дообучения (PEFT). Для каждой задачи или клиента обучают отдельный адаптер LoRA и подключают его к общей базовой модели. QLoRA сочетает метод с квантованием для работы на менее мощных GPU.

Примеры предложений

1. With LoRA we fine-tuned the 8B model on a single GPU in one afternoon.

   С LoRA мы дообучили модель 8B на одной видеокарте за один день.

   Небольшие адаптеры позволили провести настройку без большого кластера оборудования.

2. Each customer has its own LoRA adapter, but they all share the same base model.

   У каждого клиента свой адаптер LoRA, но базовая модель у них общая.

   Клиентские настройки разделены, а исходные веса модели повторно используются.

Распространённые словосочетания

• LoRA adapter
• train a LoRA
• LoRA rank
• QLoRA
• merge the LoRA weights