Yapay zeka alanında büyük dil modelleri önemli başarılar elde etse de, çeşitli süreçlerde performans kayıpları yaşıyor. Özellikle model sıkıştırma, özelleştirme ve veri boyutu azaltma işlemleri sırasında ortaya çıkan bu sorunlar, modellerin etkinliğini ciddi şekilde azaltabiliyor.
Yeni geliştirilen 'Kendi Kendine Damıtma İnce Ayarı' (SDFT) yöntemi, bu performans kayıplarına karşı etkili bir çözüm sunuyor. Teknik, modelin kendi bilgisini kullanarak kayıp yeteneklerini yeniden kazanmasını sağlıyor. Bu süreçte model, sanki kendini yeniden eğitiyor ve unuttuğu bilgileri hatırlıyor.
Araştırmacılar, bu iyileşme mekanizmasının altında yatan teorik temelleri de açıkladı. Modelin üretken yeteneğinin, gizli katmanların oluşturduğu yüksek boyutlu matematiksel yapıya dayandığını ortaya koydular. Bu yapının korunması, modelin orijinal performansına geri dönmesi için kritik önem taşıyor.
Deneyler, öğrenci ve öğretmen model aktivasyonları arasındaki uyumu ölçen Merkezi Çekirdek Hizalama yöntemiyle desteklendi. Sonuçlar, bu hizalamanın performans iyileşmesiyle güçlü bir korelasyon gösterdiğini kanıtladı. Bu gelişme, yapay zeka modellerinin daha verimli ve sürdürülebilir kullanımına önemli katkı sağlayabilir.