Yapay zeka alanında önemli bir gelişme yaşanırken, araştırmacılar Mamba tipi seçici durum uzayı modellerinin (SSM) performansını artırmak için COREY adlı yeni bir zamanlama algoritması geliştirdi. Bu sistem, modellerin çalışma zamanında karşılaştığı bellek darboğazı sorunlarına çözüm sunuyor.
Mamba modelleri teorik olarak doğrusal zamanda sekans işleme yapabilme avantajına sahip olmasına rağmen, pratikte bellek bant genişliği sınırlamaları nedeniyle performans kayıpları yaşıyor. Bu durum özellikle seçici durum güncellemelerinin parçalı çekirdekler halinde yürütülmesi ve ara tensör materyalizasyonunun tekrarlanması sırasında ortaya çıkıyor.
COREY'in en özgün özelliği, aktivasyon entropisini sabit genişlikli histogramlar aracılığıyla tahmin etmesi ve bu bilgiyi çalışma zamanında çekirdek çağırma seviyesinde parça boyutu seçimi için sinyal olarak kullanması. Sistem, tamamen yeni bir füzyon implementasyonu yerine, mevcut Triton seçici tarama çekirdeği üzerinde çalışan tek parametreli bir otomatik ayarlayıcı olarak tasarlandı.
Araştırma ekibi, kanıtlarını üç katmanda organize etti. İlk katmandaki Python maliyet modeli, entropi güdümlü gruplama yönteminin vekil gecikme süresini ve DRAM trafiğini azalttığını gösterdi. İkinci katmandaki gerçek kontrol noktası testlerinde ise, entropi hesaplama ve parça seçiminin model üretim sürecinin kritik yolunda başarıyla çalışabildiği kanıtlandı.