Stanford Üniversitesi araştırmacıları, büyük dil modeli tabanlı çoklu ajan sistemlerinde iletişim verimliliğini artıran yenilikçi bir yöntem geliştirdi. Bu sistemlerde ajanlar, daha zengin bağlam korumak için geleneksel token'lar yerine gizli katman mesajları kullanıyor.
Mevcut LatentMAS gibi sistemler, ajanların tam anahtar-değer (KV) önbellekleri aracılığıyla mesaj alışverişi yapmasını sağlıyor. Ancak bu yaklaşım yüksek bellek ve iletişim maliyeti getiriyor. Araştırmacılar bu sorunu çözmek için eviction-style KV sıkıştırması uyarladı ve Orthogonal Backfill (OBF) tekniğini geliştirdi.
OBF'nin temel prensibi, atılan KV durumlarından düşük dereceli ortogonal bir artık değer çıkararak bunu korunan KV durumlarına enjekte etmek. Bu sayede sert eviction işleminden kaynaklanan bilgi kaybı minimize ediliyor.
Matematik, kodlama ve bilgi yoğunluklu soru-cevap alanlarını kapsayan dokuz standart kıyaslama testinde yapılan değerlendirmeler, yöntemin tam KV aktarımına benzer performans sergilediğini gösterdi. Bununla beraber iletişim maliyeti %79,8 ile %89,4 arasında azaldı. OBF, dokuz testten yedisinde en iyi sonuçları elde etti.
Bu çalışma, daha fazla bilginin mutlaka daha iyi performans anlamına gelmediğini ve akıllı sıkıştırma stratejilerinin AI sistemlerinin verimliliğini önemli ölçüde artırabileceğini gösteriyor.