Параметро-эффективное дообучение больших языковых моделей - Бабич, И.В.; Ефименко, К. Н. (Информатика и кибернетика, 2025)
В статье приведён обзор теоретической основы parameter-efficient fine-tuning (PEFT) для больших языковых моделей (LLM). Рассмотрены ключевые методы низкоранговых адаптаций (LoRA) и их комбинация с низкобитной квантизацией (QLoRA). Дополнительно приведены рекомендации по выбору ранга адаптации и уровня квантизации на основе спектра Гессиана и эффективной размерности задачи. Успешность использования методов PEFT зависит от правильного выбора параметров, прежде всего ранга адаптации и глубины квантизации