Büyük dil modellerinin geliştirilmesinde kullanılan farklı optimizasyon yöntemlerinin aslında matematiksel olarak birbirine denk olduğunu gösteren yeni bir araştırma, yapay zeka alanında önemli bir kavrayış değişikliği yaratabilir.
Şimdiye kadar araştırmacılar, büyük dil modellerini iyileştirmek için iki ayrı yol izliyordu: veri odaklı yaklaşım ile eğitim verilerini seçme, artırma veya temizleme; model odaklı yaklaşım ile ise modelin ağırlıklarını maskeleme, kuantizasyon veya düşük rank adaptasyonu gibi tekniklerle ayarlama.
Yeni çalışma, bu görünürde farklı işlemlerin aslında istatistiksel manifold üzerinde aynı geometrik yapının iki farklı tezahürü olduğunu ortaya koyuyor. Fisher-Rao metriği ve doğal parametreler ile beklenti parametreleri arasındaki Legendre dualitesi kullanılarak, üç temel denklik ilişkisi tanımlanmış.
İlk denklik, veri budama ile parametre seyreltmenin manifold hacmini azaltma konusunda eşdeğer etkiler yarattığını gösteriyor. İkinci denklik ise bağlam içi öğrenme ile LoRA adaptasyonunun özdeş alt uzayları keşfettiğini ortaya koyuyor.
Bu keşif, yapay zeka modellerinin optimizasyon süreçlerinde daha bütüncül yaklaşımlar geliştirilmesine olanak sağlayabilir ve farklı tekniklerin birbirini tamamlayacak şekilde kullanılmasında yeni stratejilerin önünü açabilir.