Yapay zeka alanında büyük dil modellerinin dış bilgi kaynaklarıyla desteklenmesi konusunda önemli bir gelişme yaşandı. Araştırmacılar, mevcut RAG (Retrieval-Augmented Generation) sistemlerinin mimarisini tamamen yeniden tasarlayan LAnR adlı bir framework geliştirdi.
Geleneksel RAG sistemleri, büyük dil modellerini dış bilgi kaynaklarıyla desteklemek için her adımda doğal dil sorguları oluşturuyor ve bilgi alma ile metin üretme bileşenlerini ayrı tutuyor. Bu yaklaşım, modelin tam temsil kapasitesinden yararlanmayı engelliyor ve sistem verimliliğini düşürüyor.
LAnR sistemi ise radikal bir değişiklik sunuyor. Tek bir büyük dil modeli, kodlama, bilgi arama ve metin üretme işlemlerini tamamen kendi gizli katman uzayında gerçekleştiriyor. Sistem, metin sorguları üretmek yerine, özel bir [PRED] token'ının gizli durumlarından yoğun arama vektörleri oluşturuyor ve bunları aynı modelden kodlanmış belge temsilleriyle eşleştiriyor.
Sistemin en dikkat çekici özelliklerinden biri, ne zaman yeterli kanıt toplandığına dair adaptif karar verebilmesi. Hafif bir MLP bileşeni kullanarak, sistem optimal bilgi toplama noktasını belirliyor ve gereksiz aramalardan kaçınıyor.
Bu yaklaşım, yapay zeka sistemlerinin bilgi doğruluğunu artırma ve halüsinasyon problemlerini çözme konusunda umut vadediyor.