Yapay zeka modellerinin eğitimi sırasında ortaya çıkan ilginç bir fenomen, araştırmacılar tarafından matematiksel olarak modellenmeye başlandı. Makine öğrenmesi uzmanları uzun zamandır, modellerin eğitimi sırasında başlangıçta iyi performans gösterdiği ancak daha sonra aşırı öğrenme nedeniyle performansının düştüğü geçici bir pencere olduğunu gözlemliyorlardı.
Yeni araştırma, bu 'geçici öğrenme penceresini' rastgele matris teorisi kullanarak açıklayan analitik bir model geliştirdi. Çalışmada, öğrenci-öğretmen senaryosu adı verilen basit bir öğrenme ortamında gradient akışı incelendi. Bu yaklaşımda, başarılı öğrenme, gürültülü bir arka plandan ayrılan izole bir özdeğer ile karakterize ediliyor.
Araştırmanın temel bulgusu, giriş kovaryansındaki anizotropinin öğrenme dinamiklerinde hızlı ve yavaş yönler yaratmasıdır. Bu durum, öğrenme sürecinin farklı boyutlarda farklı hızlarda ilerlemesine neden oluyor. İki bloklu kovaryans modeli kullanılarak, simetrize edilmiş ağırlık matrisinin zamana bağlı spektral özellikleri tam olarak türetildi.
Bu matematiksel yaklaşım, Baik-Ben Arous-Péché geçişi olarak bilinen bir fenomenin geçici versiyonunu ortaya koyuyor. Bu geçiş, sinyal gücü ve kovaryans yapısına bağlı olarak farklı davranışlar sergiliyor. Sonuçlar, yapay zeka modellerinin eğitim sürecini optimize etmek için yeni perspektifler sunuyor.