Büyük dil modellerinin en büyük zorluklarından biri uzun süreli hafıza problemi. Sabit bağlam pencereleri nedeniyle bu sistemler, uzun etkileşimlerde tutarlılığını koruyamıyor. Mevcut hafıza sistemleri ise konuşma geçmişini yapılandırılmamış gömme vektörleri olarak saklayıp, semantik benzerlik üzerinden bilgi çekmeye çalışıyor.
Araştırmacılar bu soruna insan hafızasından ilham alarak çözüm aradı. İnsan hafızasında ilişkili deneyimler, tekrarlanan ortak aktivasyonlarla aralarındaki bağlantıları progressif olarak güçlendiriyor. Bu doğal süreçten yola çıkarak HeLa-Mem adlı yeni bir bio-esinlenimli hafıza mimarisi geliştirildi.
HeLa-Mem, hafızayı Hebbian öğrenme dinamikleriyle çalışan dinamik bir graf olarak modelliyor. Sistem iki seviyeli organizasyon kullanıyor: birinci seviyede ortak aktivasyon kalıpları üzerinden gelişen episodik hafıza grafı bulunuyor. İkinci seviye ise semantik organizasyonu sağlıyor.
Bu yaklaşımın temelinde bilişsel sinirbilimden alınan üç mekanizma yatıyor: çağrışım, konsolidasyon ve yayılan aktivasyon. Bu mekanizmalar, mevcut araştırmalarda büyük ölçüde ihmal edilen konular. Sistemin en önemli özelliği, geleneksel vektör tabanlı hafıza sistemlerinin aksine, deneyimler arasında dinamik ve adaptive bağlantılar kurabilmesi.
HeLa-Mem, yapay zekâ ajanlarının daha human-like hafıza yapılarına sahip olmasını sağlayarak, uzun süreli etkileşimlerde tutarlılık ve bağlamsal zenginlik sunuyor.