Yapay zeka modellerinin büyüyerek karmaşıklaşmasıyla birlikte, bu modellerin eğitimi için birden fazla bilgisayarın koordineli çalışması gerekiyor. Bu süreçte kullanılan ring-tabanlı iletişim protokolleri, verilerin halka şeklinde düzenlenmiş bilgisayarlar arasında aktarılmasını sağlıyor.
Ancak bu sistemlerin en büyük sorunu senkronizasyon gereksinimidir. Ağ gecikmesi, tıkanıklık veya donanım farklılıkları nedeniyle bazı bilgisayarlar diğerlerinden daha hızlı çalışabilir. Bu durum, tüm sistemin en yavaş bileşenin hızıyla sınırlı kalmasına neden oluyor.
Symphony sistemi bu soruna iki temel çözüm getiriyor. İlk olarak, her işin pipeline ilerleyişini takip eden hafif bir mekanizma kullanıyor. Bu sayede hangi bileşenlerin öne geçtiğini veya geride kaldığını anlık olarak tespit edebiliyor.
İkinci yenilik ise tıkanıklık sinyallerinin akıllıca kullanımıyla ilgili. Sistem, hızlı ilerleyen veri akışlarını seçici olarak yavaşlatarak, geride kalan akışların yakalanmasına fırsat tanıyor. Bu işlem global bir koordinasyon gerektirmeden yerel düzeyde gerçekleştiriliyor.
Astra-Sim benzetim ortamında yapılan testler, Symphony'nin ring-tabanlı toplu işlemlerdeki adım hizalama sorunlarını etkili bir şekilde azalttığını gösteriyor. Bu gelişme, büyük ölçekli AI modellerinin daha verimli eğitilmesini sağlayarak, hesaplama kaynaklarının daha iyi kullanılmasına katkıda bulunuyor.