Yapay zeka arama sistemlerinde yaşanan veri kaybı problemi için yeni bir çözüm geliştirildi. Araştırmacılar, RAG (Retrieval-Augmented Generation) sistemlerinin eksik veya bozuk veri parçalarıyla başa çıkabilmesi için gelişmiş bir matematiksel model ortaya koydu.
Çalışmada, arama sorgularının kelime sıklığı özelliklerine dayalı olarak temsil edildiği ve önemli kelimelere anlamsal uyarlanabilir koruma sağlandığı bir sistem tasarlandı. Araştırmacılar, benzerlik marjlarının çok değişkenli Gauss dağılımına yakınsadığını göstererek, arama hata olasılığını matematiksel olarak karakterize etmeyi başardı.
Geliştirilen yöntem, TF-IDF ağırlıklı benzerlik kullanarak belge erişimi gerçekleştiriyor. Sayısal sonuçlar teorik analizleri desteklerken, gerçek dünya verileri üzerinde yapılan embedding tabanlı değerlendirmeler de aynı önem farkındalığı prensiplerinin modern arama sistemlerine genişletilebileceğini ortaya koyuyor.
Bu gelişme, ChatGPT gibi dil modellerinin bilgi erişim kalitesini önemli ölçüde artırabilir ve veri bütünlüğü sorunlarına karşı daha dayanıklı yapay zeka sistemleri oluşturulmasına katkı sağlayabilir.