Yapay zeka alanındaki temel varsayımlardan biri olan 'evrensel yaklaşım teoremi' ciddi bir sarsıntı geçiriyor. MIT araştırmacılarının yeni çalışması, yoğun bağlantılı sinir ağlarının aslında her türlü fonksiyonu öğrenemeyeceğini matematiksel olarak kanıtlıyor.
Geleneksel evrensel yaklaşım teoremi, yeterince büyük sinir ağlarının herhangi bir sürekli fonksiyonu yaklaşabildiğini savunuyordu. Ancak bu teori, ağırlık değerlerinin sınırsız olabileceği varsayımına dayanıyordu. Gerçek dünyada ise ağırlık değerleri her zaman sınırlıdır ve bu durum sinir ağlarının yeteneklerini önemli ölçüde kısıtlıyor.
Araştırmacılar, çalışmalarında model sıkıştırma yaklaşımını kullanarak ve ileri beslemeli ağları graf sinir ağları olarak yorumlayarak bu sınırlamaları ortaya çıkardı. ReLU aktivasyon fonksiyonu kullanan ve doğal kısıtlamalara sahip sinir ağları üzerinde yaptıkları analizde, bu ağların bazı Lipschitz sürekli fonksiyonları hiçbir zaman yaklaşamayacağını gösterdiler.
Bu keşif, neden son yıllarda seyreltilmiş bağlantılara sahip sinir ağlarının daha başarılı olduğunu açıklıyor. Transformerlar ve diğer modern mimarilerin başarısı, bu seyreltik yapıların evrensel yaklaşım için gerekliliğini doğruluyor. Bulgular, gelecekteki yapay zeka modellerinin tasarımında yoğun katmanların tek başına yeterli olmadığını ve seyreltik bağlantıların kritik önemde olduğunu gösteriyor.