Yapay zeka ve makine öğrenmesi alanında önemli bir adım atılarak, birinci dereceden optimizasyon algoritmalarını birleştiren kapsamlı bir matematiksel çerçeve geliştirildi. Bu yenilikçi yaklaşım, günümüzde yaygın olarak kullanılan AdaGrad, AdaNorm, Shampoo ve Muon gibi popüler algoritmaları tek bir teorik çatı altında topluyor.
Geliştirilen çerçeve, adaptif olarak ön koşullandırılmış gradyanları kullanarak konveks olmayan kısıtsız optimizasyon problemlerini ele alıyor. Bu yaklaşımın en önemli avantajlarından biri, farklı değişken gruplarında heterojen geometrileri birleştirme imkanı sunması ve bunu yaparken birleşik bir yakınsama analizini korumasıdır.
Araştırmacılar, çerçevede yer alan tüm yöntemler için momentum kullanan ve kullanmayan versiyonlarla birlikte tam stokastik global yakınsama hızı analizi gerçekleştirdi. Bu analiz, gradyan oraklının varyansı hakkında makul varsayımlar kullanırken, sınırlı stokastik gradyanlar veya yeterince küçük adım boyutu gibi kısıtlayıcı varsayımlar gerektirmiyor.
Bu gelişme, özellikle büyük ölçekli makine öğrenmesi uygulamalarında kullanılan optimizasyon süreçlerinin daha iyi anlaşılmasına ve geliştirilmesine katkı sağlayacak. Farklı optimizasyon algoritmalarının güçlü yanlarını birleştiren bu birleşik yaklaşım, AI sistemlerinin eğitim süreçlerinde daha etkili ve hızlı çözümler sunma potansiyeli taşıyor.