Yapay zeka alanında devrim niteliğinde bir gelişme yaşanıyor: Dil modelleri artık sadece öğrenmeyi değil, unutmayı da öğrenebiliyor. Araştırmacıların geliştirdiği Neural Garbage Collection (NGC) sistemi, yapay zekanın bellek yönetiminde yeni bir çağ başlatabilir.
Chain-of-thought (düşünce zinciri) akıl yürütme yöntemi, dil modellerinin yeteneklerini dramatik şekilde artırmış durumda. Ancak her akıl yürütme adımı, KV önbelleğini büyüterek sistem kaynaklarında darboğaz yaratıyor. Bu durum, daha büyük ölçekli uygulamaların önünde ciddi bir engel oluşturuyor.
Geleneksel yaklaşımlarda, bu kısıtlamaları yönetmek için insan tasarımcıların elle belirlediği kriterler kullanılıyor. NGC sistemi ise bu süreci tamamen otomatikleştiriyor ve modelin kendi öğrenme sürecine bırakıyor. Sistem, model akıl yürütürken periyodik olarak duraklatıyor, hangi önbellek girişlerinin silineceğine karar veriyor ve kalan önbellekle işleme devam ediyor.
Bu yaklaşımın en önemli özelliği, hem düşünce zincirindeki token'ları hem de önbellek silme kararlarını, dil modelinden örneklenen ayrık eylemler olarak ele alması. Bu sayede pekiştirmeli öğrenme teknikleri kullanılarak sistem optimize edilebiliyor.
NGC, yapay zekanın bellek verimliliğini artırırken performansını koruyabileceğini gösteriyor ve gelecekte daha büyük ölçekli AI uygulamalarının önünü açabilir.