Yapay zeka dünyasında model verimliliğini artırmaya yönelik önemli bir keşif yapıldı. Araştırmacılar, farklı görevlerde uzmanlaşmış AI modellerini tek bir sistemde birleştirirken karşılaşılan performans sorunlarının kaynağını buldu.
LoRA (Low-Rank Adaptation) tekniği, büyük dil modellerinin farklı görevler için özelleştirilmesinde kullanılan popüler bir yöntem. Ancak birden fazla LoRA uzmanını tek bir modelde birleştirme sürecinde beklenmedik performans kayıpları yaşanıyordu. Mevcut yaklaşımlar, ağırlık enterpolasyonu veya alt uzay hizalama gibi tekniklerle bu sorunu çözmeye çalışsa da, temel bir varsayımdan yola çıkıyorlardı: tüm LoRA katmanlarının birleştirilmiş modele olumlu katkı sağladığı.
Yeni araştırma, bu varsayımın yanlış olduğunu kanıtladı. Bilim insanları, 'negatif modül' adını verdikleri, birleştirme sırasında genel performansı düşüren özel LoRA katmanlarının varlığını keşfetti.
Geliştirilen ENMP (Evolutionary Negative Module Pruning) yöntemi, bu zararlı modülleri birleştirme öncesinde tespit edip çıkarıyor. Evrimsel arama stratejisi kullanan sistem, modül seçiminin ayrık ve türevlenemez yapısında etkili bir şekilde gezinerek optimal budama konfigürasyonlarını belirliyor.
Bu yaklaşım, AI sistemlerinin çok görevli dağıtımlarında daha verimli çalışması için umut verici bir çözüm sunuyor.