⚡️ LoRA может быть так же хороша, как полный fine-tuning, но в разы дешевле

Thinking Machines выпустили новое исследование, которое смотрит на LoRA под другим углом. Главная идея исследования: LoRA может обучаться почти как полный fine-tuning, но при этом быть проще, дешевле и предсказуемее. Они доказали это экспериментально: взяли одинаковую модель, прогнали обучение двумя способами: полным fine-tuning и LoRA - и сравнили кривые потерь (loss vs steps). Процесс: - Дали чёткий рецепт, а не случайные гипотезы. - Показали, что процесс можно повторять с одинаковым результатом. - Выяснили, что если адаптеру не хватает памяти, модель не ломается, а просто замедляется. Результат показал, что при правильных настройках LoRA движется по той же траектории, что и FullFT. То есть качество модели и динамика обучения совпадают, пока у адаптера хватает параметров. Когда лимит достигается, у LoRA кривая не «обрывается», а просто идёт дальше медленнее. Именно за счёт этого LoRA демонстрирует предсказуемое и воспроизводимое поведение, а не случайные провалы, которые часто происходят при подборе гиперпараметров «на глаз». ✔️ Правила от команды Thinking Machines 1. Ставить LoRA на все слои, а не только на attention. 2. Использовать ~10× больший learning rate, чем обычно. 3. Не раздувать batch size - иначе падает стабильность. ✔️ Что в итоге: - Кривые обучения LoRA почти совпадают с full fine-tuning. - Даже в упоре в лимит адаптера модель ведёт себя плавно. - Вычислений требуется на треть меньше, чем у FullFT. LoRA может стать инструментом для надёжного и дешёвого пост-трейнинга. Для Thinking Machines это шаг к миссии: они уверены, что непредсказуемость моделей - это не фича, а баг, который можно исправить. Если убрать случайность и сделать выходы стабильными - ИИ станет безопасным даже для критически важных процессов.