Yapay zeka ve makine öğrenmesi alanında kullanılan dağıtık optimizasyon algoritmaları üzerine yapılan yeni bir araştırma, bilim dünyasında şaşkınlık yaratan bulgular ortaya çıkardı. FedExProx adlı algoritmanın teorik performansını yeniden inceleyen araştırmacılar, beklenmedik bir gerçekle karşılaştı.
FedExProx, paralel proksimal algoritmaların yakınsama özelliklerini ekstrapolasyon yoluyla geliştirmek amacıyla tasarlanmış bir dağıtık optimizasyon yöntemiydi. Ancak yeni analiz, bu gelişmiş algoritmanın kuadratik optimizasyon görevlerindeki bilinen teorik garantilerinin, basit Gradyan İnişi (GD) yönteminden daha iyi olmadığını gösterdi.
Bu şaşırtıcı keşif karşısında araştırmacılar, tamamen yeni bir analiz çerçevesi geliştirdi. Bu yeni yaklaşım sayesinde, güçlü konveks olmayan kuadratik problemler için daha sıkı bir lineer yakınsama oranı belirlendi. Özellikle hem hesaplama hem de iletişim maliyetleri göz önüne alındığında, FedExProx'un gerçekte Gradyan İnişi'nden kanıtlanabilir şekilde daha iyi performans gösterebileceği ortaya çıktı.
Çalışma bunula kalmadı; kısmi katılım senaryolarını da inceleyerek gradyan çeşitliliğine ve Polyak adım boyutlarına dayalı iki uyarlanabilir ekstrapolasyon stratejisi analiz etti. Bu stratejiler de önceki sonuçları önemli ölçüde geride bıraktı.
Bu bulgular, dağıtık makine öğrenmesi sistemlerinin optimizasyonu için yeni perspektifler sunuyor ve algoritma performansının değerlendirilmesinde daha dikkatli analiz yapılması gerektiğini gösteriyor.