Yapay zeka araştırmacıları, dil modellemesi alanında yeni bir hibrit mimari geliştirdi. UniMatrix olarak adlandırılan bu sistem, Universal Transformer tarzı bir yaklaşım benimsiyor ve yapılandırılmış tekrarlayan durumları kompakt bir çağrışımsal omurga olarak kullanıyor.
Araştırma ekibi, modelin farklı katmanlarda ortak bir tekrarlayan blok kullanmasını sağladı ve bunu hibrit durum güncellemeleri, ROSA tarzı artık yol ve token-koşullu gömme modülasyonu ile güçlendirdi. Bu yaklaşım, geleneksel Transformer modellerinin avantajlarını korurken daha az parametre kullanmayı hedefliyor.
WikiText-2 veri setinde yapılan byte düzeyindeki testlerde, UniMatrix-Core ve UniMatrix-ROSA varyantları dikkat çekici sonuçlar elde etti. Bu modeller, parametre sayısı eşleştirilmiş Transformer modeline kıyasla daha az parametre kullanırken daha iyi performans gösterdi. Spesifik olarak, 5.084 ve 5.083 bit-per-byte değerlerine ulaşırken, geleneksel model 5.124 değerinde kaldı.
Ancak araştırma, önemli sınırlamaları da ortaya koydu. Çağrışımsal hafıza testlerinde, orijinal UniMatrix ailesi şans seviyesinde performans gösterirken, Transformer modeli yüzde 25.4 başarı oranına ulaştı. Bu sonuç, sıkıştırılmış tekrarlayan yapıların bazı görevlerde yetersiz kalabileceğini gösteriyor.