Araştırmacılar, iki boyutlu derin evrişimsel sinir ağlarının (CNN) karmaşık matematiksel fonksiyonları nasıl yaklaştırdığını inceledi. Korobov fonksiyonları üzerinde yapılan çalışmada, CNN'lerin çok katmanlı yapısının ve ReLU aktivasyon fonksiyonlarının, boyut lanetini önemli ölçüde azalttığı ortaya çıktı. Boyut laneti, matematiksel problemlerde boyut sayısı arttıkça hesaplama karmaşıklığının katlanarak artması sorunudur. Araştırma, CNN'lerin sürekli ağırlık seçimi modelinde neredeyse optimal yaklaşım oranları elde edebildiğini gösterdi. Bu bulgular, yapay zeka ağlarının fonksiyon yaklaşımı alanındaki potansiyelini ortaya koyarken, CNN'lerin teorik temellerini güçlendiriyor.

Araştırmacılar, büyük yapay zeka modellerinin eğitiminde kullanılan SignSGD algoritmasının temel sorunlarını çözen yeni bir yöntem geliştirdi. StoSignSGD adı verilen bu algoritma, yapısal rastgelelik ekleyerek geleneksel yöntemin yakınsama problemlerini gideriyor. Özellikle dağıtık öğrenme ve büyük dil modellerinin eğitiminde önemli performans artışları sağlayan işaret tabanlı optimizasyon algoritmaları, pürüzsüz olmayan hedef fonksiyonlarda başarısız oluyordu. Yeni yaklaşım, bu sorunu çözerken matematiksel olarak yansız güncellemeler yaparak teorik garantiler sunuyor. Modern makine öğrenmesinde yaygın olan ReLU, max-pool gibi fonksiyonların neden olduğu zorlukları aşan bu geliştirme, yapay zeka modellerinin daha verimli eğitilmesi için önemli bir adım teşkil ediyor.

MIT araştırmacıları, yapay zeka dünyasında köklü bir varsayımı sarsan bir keşif yaptı. Onlarca yıldır geçerli kabul edilen 'yoğun sinir ağlarının her türlü fonksiyonu öğrenebileceği' teorisinin aslında yanlış olduğunu matematiksel olarak ispat ettiler. Araştırma, ReLU aktivasyon fonksiyonu kullanan ve ağırlık değerleri sınırlı olan yoğun bağlantılı sinir ağlarının, bazı Lipschitz sürekli fonksiyonları asla öğrenemeyeceğini gösteriyor. Bu bulgu, yapay zeka modellerinin tasarımında seyreltilmiş bağlantıların neden kritik önemde olduğunu açıklıyor ve gelecekteki sinir ağı mimarilerinin nasıl geliştirilmesi gerektiği konusunda yeni perspektifler sunuyor. Çalışma, graf sinir ağları ve mesaj geçişi yaklaşımlarını kullanarak bu sınırlamaları ortaya koyuyor.