Yapay zeka alanında uzun süreli konuşma yapabilen sistemler için yeni bir hafıza yönetim teknolojisi geliştirildi. MemRouter adlı bu sistem, sohbet robotlarının hangi konuşma bölümlerini hafızalarında saklayacaklarına karar verme sürecini köklü şekilde değiştiriyor.
Mevcut sistemlerde sohbet robotları, her konuşma adımında büyük dil modellerini (LLM) kullanarak hafıza kararları veriyor. Bu yaklaşım hem yavaş hem de kaynak tüketimi açısından verimsiz. MemRouter ise bu süreci hafıza kabul kararlarını ana sistem omurgasından ayırarak optimize ediyor.
Sistem, her konuşma turunu yakın zamandaki bağlamla birlikte kodluyor ve ortaya çıkan embedding'leri donmuş bir LLM omurgası üzerinden işliyor. Ardından, sadece 12 milyon parametre eğiterek hafif sınıflandırma başlıkları kullanıp konuşmanın saklanıp saklanmayacağına karar veriyor.
LoCoMo veri seti üzerinde yapılan kontrollü testlerde, retrieval pipeline, cevap şablonları ve QA omurgası (Qwen2.5-7B) aynı tutularak adil bir karşılaştırma yapıldı. Sonuçlar MemRouter'ın LLM tabanlı hafıza yöneticilerini her soru kategorisinde geçtiğini gösterdi.
Bu gelişme, chatbot teknolojisinde uzun konuşmaların daha verimli yönetilmesi ve sistem performansının artırılması açısından önemli bir ilerleme temsil ediyor.