Büyük dil modellerinin eğitimi konusunda yeni bir çıkış yolu keşfedildi. Stanford Üniversitesi araştırmacıları, yapay zeka modellerinin muhakeme yeteneklerini geliştirmek için sadece kritik parametreleri güncelleyerek aynı başarıyı elde etmenin mümkün olduğunu gösterdi.
Geleneksel tam eğitim yöntemlerinde (Full Fine-Tuning) modelin tüm parametreleri güncellenir. Bu yaklaşım güçlü sonuçlar verse de hesaplama maliyeti çok yüksektir ve sınırlı veri ile çalışırken aşırı öğrenme ve bilgi kaybı riskine neden olabilir. Araştırmacılar, bu soruna çözüm olarak 'temel ağırlık' (Principal Weights) kavramını geliştirdi.
Yöntemin özü şöyle: Düşük boyutlu yaklaşım uygulandıktan sonra en büyük değere sahip ağırlıklar belirleniyor. Bu ağırlıklar, modelin muhakeme yeteneği için en kritik olanlar olarak tanımlanıyor. Şaşırtıcı olan ise, daha önce başarısız olan büyüklük temelli seyrek eğitim yönteminin, boyut indirgeme sonrası oldukça etkili hale gelmesi.
Bu keşif, yapay zeka modellerinin eğitiminde yeni bir dönemin başlangıcı olabilir. Hesaplama maliyetlerini dramatik şekilde azaltırken performans kaybı yaşanmıyor. Özellikle kaynak kısıtı olan araştırma grupları ve şirketler için büyük avantaj sağlayabilir.