Yapay zeka teknolojisinin hızla geliştiği günümüzde, büyük dil modellerine (LLM) kalıcı hafıza özelliği kazandırılması hem avantajlar hem de beklenmedik riskler getiriyor. Araştırmacılar, bu yeni güvenlik açıklarını sistemli bir şekilde değerlendirmek için MemEvoBench adlı ilk kapsamlı test platformunu geliştirdi.
AI ajanlarının hafıza sistemleri, kullanıcılarla daha sürekli ve kişiselleştirilmiş etkileşimler kurabilmelerini sağlıyor. Ancak bu özellik, kontamine olmuş veya önyargılı bilgilerin hafızada birikmesiyle ciddi güvenlik sorunları yaratabiliyor. Özellikle yanıltıcı bilgilere tekrar tekrar maruz kalan AI sistemleri, zaman içinde davranışsal sapmalar gösterebiliyor.
MemEvoBench platformu, bu 'hafıza yanlış evrimi' olarak adlandırılan fenomeni ölçmek için iki ana test kategorisi sunuyor. İlk kategori, 7 farklı alanda 36 çeşit risk türünü kapsayan soru-cevap tarzı görevler içeriyor. İkinci kategori ise 20 farklı güvenlik testi ortamından uyarlanmış iş akışı görevlerini içeriyor.
Test sistemi, çok turlu etkileşimler sırasında zararsız ve yanıltıcı hafıza havuzlarını karıştırarak, AI ajanlarının güvenilir bilgiler arasında ayrım yapma becerilerini değerlendiriyor. Bu yenilikçi yaklaşım, AI güvenliği alanında standardize edilmiş bir değerlendirme çerçevesi sağlayarak, gelecekteki hafıza güvenliği araştırmalarına önemli bir temel oluşturuyor.