Yapay zeka dünyasında Uzman Karışımları (Mixture-of-Experts - MoE) mimarileri, büyük modellerin hesaplama maliyetini artırmadan kapasitelerini genişletmenin etkili bir yolu olarak öne çıkıyor. Bu sistemlerin kalbinde, gelen veriyi en uygun uzman bileşene yönlendiren router adı verilen bir mekanizma bulunuyor.
Ancak yüksek boyutlu verilerde gizli küme yapılarını tanımlamak zorlaşıyor ve bu durum sistemin yavaş öğrenmesine, veri kirliliğine karşı hassaslaşmasına ve genel olarak düşük kaliteli temsillere yol açabiliyor. Router'ın doğru token-uzman eşleştirmesi yapamaması da bu sorunları derinleştiriyor.
Yeni araştırmada, router sistemini kümeleme optimizasyonu perspektifinden inceleyerek, gizli kümeleri en iyi şekilde tanımlayabilen optimal özellik ağırlıkları türetildi. Bu ağırlıklar kullanılarak, token-uzman yönlendirme atamaları adaptif olarak dönüştürülmüş bir uzayda hesaplanıyor.
Bu yaklaşım, iyi ayrılmış kümeleri teşvik ederek her token için en uygun uzmanın belirlenmesine yardımcı oluyor. Her uzman kümesi için birlikte optimize edilmiş bu yöntem, MoE modellerinin performansını önemli ölçüde artırma potansiyeli taşıyor.
Sonuçlar, yapay zeka sistemlerinin daha verimli ve doğru çalışması açısından önemli bir adım olarak değerlendiriliyor.