Araştırmacılar, tekrarlı yapay zeka modellerinin çalışma şeklini inceleyerek önemli bir keşif yaptı. Bu modellerin iteratif hesaplama süreçlerinde aktivasyonların düşük boyutlu, neredeyse doğrusal bir alt uzayda toplandığını gözlemlediler. Bu yapısal özellikten yararlanarak geliştirilen LASER adlı yöntem, dinamik sıkıştırma çerçevesi kullanarak modellerin hafıza tüketimini yaklaşık %60 oranında azaltmayı başardı. Yöntem, gelişen düşük-rank temeli sürekli takip ederek ve gerektiğinde sıfırlama mekanizması kullanarak performans kaybı olmadan hafıza tasarrufu sağlıyor. Bu gelişme, kaynak sınırlı ortamlarda çalışan AI sistemleri için büyük önem taşıyor.

Araştırmacılar, yapay zeka ajanlarının daha verimli çalışması için yenilikçi bir hafıza sistemi geliştirdi. Memory Intelligence Agent (MIA) adlı bu framework, geçmiş deneyimleri akıllıca saklayan ve kullanan üç bileşenli bir yapı sunuyor. Sistem, mevcut hafıza sistemlerinin karşılaştığı depolama maliyeti ve verimsizlik sorunlarını çözmek için tasarlandı. MIA, bir yönetici-planlayıcı-uygulayıcı mimarisi kullanarak yapay zeka ajanlarının tarihsel bilgileri daha etkili şekilde değerlendirmesini sağlıyor. Bu gelişme, otonom çalışabilen ve sürekli kendini geliştirebilen yapay zeka sistemlerinin oluşturulmasında önemli bir adım olarak değerlendiriliyor.

Araştırmacılar, geleneksel zaman serisi tahminleme yöntemlerinin hesaplama maliyetini önemli ölçüde azaltan yeni bir framework geliştirdi. SPaRSe-TIME adlı bu sistem, tüm zaman adımlarını eşit olarak işleyen klasik yaklaşımların aksine, gerçek dünya verilerindeki bilgilendirici kalıpların seyrek dağıldığı gerçeğinden yola çıkıyor. Yeni yöntem, zaman serilerini üç temel bileşene ayırarak modelleme yapıyor: önem derecesi (saliency), hafıza ve trend. Bu yaklaşım, veriye bağlı seyreltme operatörü olarak çalışan önem derecesi, baskın düşük-ranklı zamansal kalıpları yakalayan hafıza ve düşük-frekanslı dinamikleri kodlayan trend bileşenlerini hafif ve uyarlanabilir bir haritalama ile birleştiriyor. Özellikle büyük veri setlerinde hesaplama verimliliği sağlarken yorumlanabilirliği de artırıyor.

Araştırmacılar, yapay zeka sistemlerinin zaman içinde anlamlı bağlamı koruma yeteneğini ölçen ilk kapsamlı değerlendirme çerçevesini geliştirdi. ATANT adlı bu sistem, AI'ların gerçekten 'hatırlayıp' öğrenip öğrenmediğini test ediyor. Günümüz AI teknolojilerinde hafıza bileşenleri mevcut olsa da, bunların gerçek süreklilik sağlayıp sağlamadığı belirsizdi. Yeni çerçeve, 7 temel özellik tanımlayarak ve 250 hikaye içeren test korpusu kullanarak bu boşluğu dolduruyor. Test sonuçları, gelişmiş mimarilerin %100'e varan başarı oranları gösterdiğini ortaya koyuyor.

Büyük dil modellerinin karmaşık sorguları çözmek için dış kaynaklardan bilgi toplarken yaşadığı hafıza sorununa yenilikçi bir çözüm geliştirildi. MemSearch-o1 adlı sistem, geleneksel hafıza yönetimi yaklaşımlarının aksine, bilgileri parça parça büyüten ve anlamsal bağlantıları koruyan bir yapı kullanıyor. Araştırmacılar, mevcut sistemlerin uzun hafıza dizilerinde önemli bilgilerin kaybolduğu 'hafıza seyrelmesi' problemini tanımlayarak, buna karşı token seviyesinde büyüyen yapılandırılmış bir hafıza sistemi öneriyorlar. Bu yenilik, yapay zeka ajanlarının daha etkili araştırma yapmasını ve karmaşık problemleri çözmesini sağlayabilir.

Araştırmacılar, akıllı telefonlar ve IoT cihazları gibi sınırlı kaynaklı ortamlarda çalışan küçük dil modellerinin hafıza kullanımını optimize eden yenilikçi bir teknoloji geliştirdi. VocabTailor adı verilen bu sistem, modellerin kelime dağarcığını dinamik olarak ayarlayarak hafıza tüketimini önemli ölçüde azaltıyor. Geleneksel yöntemlerin aksine, her görev için sabit kelime setleri kullanmak yerine, anlık ihtiyaçlara göre esnek kelime seçimi yapıyor. Bu yaklaşım, edge computing ve mobil yapay zeka uygulamalarının yaygınlaşması için kritik bir adım olarak değerlendiriliyor.

Büyük dil modellerinin sürekli öğrenme sürecinde karşılaştıkları 'felaket untuluş' sorununa, insan hafızasından ilham alan yenilikçi bir çözüm geliştirildi. FOREVER adlı sistem, Hermann Ebbinghaus'un ünlü unutma eğrisi teorisini yapay zeka modelleri için uyarlayarak, modellerin yeni bilgileri öğrenirken eski bilgileri tamamen kaybetmesini önlüyor. Geleneksel yöntemler sabit zaman aralıklarında hafıza tekrarı yaparken, bu yeni yaklaşım modelin iç dinamiklerine göre optimal tekrar zamanlaması yapıyor. Araştırma, yapay zekanın insan benzeri öğrenme kalıpları sergileyebileceğini gösteriyor ve büyük dil modellerinin daha verimli sürekli öğrenme kapasitesi kazanmasının önünü açıyor.

Yapay zeka alanındaki en kritik mimari sorun, modelin boyutu değil, öğrendiklerini gelecek oturumlara taşıyacak bir katmanın eksikliği. Araştırmacılar, mevcut AI sistemlerinin oturum içinde güçlü olmasına rağmen, oturumlar arası amnezik davrandığını belirtiyor. Context pencereleri dolduğunda veya oturumlar sona erdiğinde, modeller önceki deneyimlerini kaybediyor ve her seferinde sıfırdan başlamak zorunda kalıyor. Bu durum, AI'ın gerçek potansiyelini sınırlıyor ve sürdürülebilir öğrenmeyi engelliyor. Yeni araştırma, 'süreklilik katmanı' adı verilen bir altyapının bu sorunu çözebileceğini öne sürüyor.

Araştırmacılar, yapay zeka ajanlarının kendi deneyimlerinden öğrenerek sürekli gelişebilmesi için SEARL adlı yeni bir framework geliştirdi. Bu sistem, büyük dil modellerine ihtiyaç duymadan araç ve hafıza entegrasyonu ile çalışıyor. Geleneksel yöntemlerin aksine, sadece görev tamamlandığında geri bildirim alan ajanlar yerine, planlama ve uygulama süreçlerini birleştiren yapılandırılmış bir deneyim hafızası kullanıyor. SEARL, kaynak kısıtlı ortamlarda bile etkili çalışabilecek şekilde tasarlanmış ve tek seferlik akıl yürütme görevlerinden çok daha karmaşık, sürekli öğrenme gerektiren uygulamalar için umut vaat ediyor. Bu gelişme, yapay zeka ajanlarının daha az kaynak tüketimi ile daha akıllı hale gelebileceğini gösteriyor.

Araştırmacılar, büyük dil modellerinin mantık yürütme yeteneklerini hücresel otomata sistemi kullanarak test etti. Çalışma, AI modellerinin tek adımlı tahminlerde başarılı olduğunu ancak birden fazla ara adım gerektiren karmaşık mantık zincirlerinde performanslarının keskin bir şekilde düştüğünü ortaya koydu. Test sonuçları, model derinliğinin artırılmasının kritik önem taşıdığını ve tekrarlama, hafıza ya da test zamanı hesaplama ile etkili derinliğin genişletilmesinin sonuçları iyileştirdiğini gösterdi. Ancak bu iyileştirmeler de sınırlı kaldı. Bulgular, mevcut AI sistemlerinin gerçek mantık yürütme yerine büyük ölçüde ezberleme yoluyla çalıştığını düşündürüyor.

Araştırmacılar, büyük dil modeli ajanlarının hafıza sorunlarını çözen yenilikçi bir sistem geliştirdi. LightMem adlı bu sistem, küçük dil modellerini kullanarak ajanların uzun süreli etkileşimlerde tutarlılığını korurken işlem hızını artırıyor. Mevcut hafıza sistemleri ya yavaş çalışıyor ya da doğruluk sorunları yaşıyor. LightMem ise hafızayı üç katmana ayırarak bu sorunu çözüyor: kısa vadeli hafıza anlık konuşma bağlamını, orta vadeli hafıza yeniden kullanılabilir etkileşim bilgilerini saklıyor. Sistem, çevrimiçi işlemleri çevrimdışı birleştirme süreçlerinden ayırarak sınırlı hesaplama kaynakları altında verimli çalışmayı mümkün kılıyor. Bu gelişme, AI ajanlarının daha karmaşık görevlerde daha iyi performans göstermesini sağlayacak.