Yapay zeka alanında büyük modellerin eğitimi konusunda önemli bir gelişme yaşandı. Araştırmacılar, sınırlı veriyle büyük ölçekli önceden eğitilmiş modelleri ince ayarlama sürecini optimize eden Bi-LoRA (İki Yönlü Düşük Rankli Adaptasyon) tekniğini geliştirdi.
Mevcut sistemlerde kullanılan Sharpness-Aware Minimization (SAM) algoritması, modellerin genelleme kabiliyetini artırmada etkili olmakla birlikte, yüksek bellek ve hesaplama gereksinimleri nedeniyle büyük modellerde kullanımı zorlaşıyor. Bu sorunu çözmek için SAM'i Low-Rank Adaptation (LoRA) gibi parametre-verimli yöntemlerle birleştirme denenmiş ancak kısıtlı alt uzayda çalışma sorunu yaşanmış.
Yeni geliştirilen Bi-LoRA tekniği, bu sınırlamaları aşmak için ikili bir yaklaşım benimsiyor. Sistem, ana LoRA modülünün standart gradyan iniş yöntemiyle belirli görevlere uyum sağlamasını sağlarken, yardımcı bir modül SAM'in adversarial ağırlık pertürbasyonlarını modelliyor. Bu sayede SAM'in ağırlık pertürbasyonları LoRA optimizasyonundan ayrıştırılıyor.
Bu gelişme, özellikle büyük dil modellerinin sınırlı veriyle eğitilmesi gereken durumlarda kritik önem taşıyor. Bi-LoRA'nın sunduğu çözüm, hem hesaplama verimliliğini artırıyor hem de modellerin genelleme performansını iyileştiriyor. Araştırma, yapay zeka modellerinin daha az kaynak tüketerek daha iyi sonuçlar vermesinin önünü açıyor.