Yapay zeka alanında büyük dil modelleri, genel dil anlama ve üretim görevlerinde etkileyici performans sergiliyor. Ancak bu modelleri belirli alanlara uyarlama sürecinde önemli bir sorunla karşılaşılıyor: modeller yeni görevler öğrenirken, önceden edindikleri genel bilgileri kısmen kaybediyor.
Araştırmacılar bu soruna yenilikçi bir çözüm önerdi. Geleneksel ince ayar yöntemleri tüm model parametrelerini aynı şekilde eğitirken, yeni yaklaşım parametrelerin heterojen doğasını dikkate alıyor. Çalışmada parametreler, genel dil yetenekleri ve özel görevlerdeki önem derecelerine göre kategorize ediliyor.
Geliştirilen parametre önem değerlendirme yöntemi, model parametrelerini 'çekirdek parametreler' ve 'çekirdek olmayan parametreler' olarak ikiye ayırıyor. Çekirdek parametreler genel dil görevleri için kritik öneme sahipken, diğer parametreler belirli alan görevlerine karşı daha hassas.
Bu seçici parametre optimizasyonu sayesinde, modeller yeni görevleri öğrenirken genel bilgilerini koruyabiliyor. Böylece hem genelleme yeteneği hem de farklı görevler arasında transfer edilebilirlik önemli ölçüde artıyor. Yöntem, yapay zeka modellerinin daha verimli ve esnek kullanımına olanak sağlıyor.