Stanford araştırmacıları, Tiny Recursive Models (TRM) gibi tekrarlı yapay zeka mimarilerinin çalışma prensiplerini derinlemesine inceleyerek, bu modellerin hafıza verimliliğini dramatik şekilde artıran yeni bir yöntem geliştirdi.
Araştırma ekibi, bu modellerin iteratif hesaplama süreçleri sırasında aktivasyon manifoldlarının geometrik yapısını analiz etti. Elde edilen bulgular, aktivasyonların beklenenden çok daha düzenli bir şekilde, düşük boyutlu ve neredeyse doğrusal bir alt uzayda toplandığını ortaya koydu. Bu durum, ağırlık paylaşımının iteratif hesaplamaları az sayıda dominant eigenvektör yönü boyunca yoğunlaştırdığını gösteriyor.
Bu keşfin ardından geliştirilen LASER (Low-Rank Activation SVD for Efficient Recursion) yöntemi, dinamik sıkıştırma yaklaşımı benimsiyor. Sistem, matris-içermeyen alt uzay takibi kullanarak gelişen düşük-rank temeli sürekli izliyor ve doğruluk tetiklemeli sıfırlama mekanizması ile optimum performansı koruyor.
Deneysel sonuçlar, LASER'in yaklaşık %60 oranında aktivasyon hafızası tasarrufu sağladığını ve bu tasarrufun herhangi bir performans kaybına yol açmadığını gösteriyor. Bu gelişme, özellikle mobil cihazlar ve kenar bilişim uygulamaları gibi kaynak kısıtlı ortamlarda çalışan AI sistemleri için devrim niteliğinde bir ilerleme sunuyor.