Yapay zeka destekli soru-cevap sistemlerinin temelinde yer alan Retrieval-Augmented Generation (RAG) teknolojisinde önemli bir ilerleme kaydedildi. Araştırmacılar, bu sistemlerin karşılaştığı 'semantik dolaşıklık' problemini tanımlayarak etkili bir çözüm geliştirdi.
RAG sistemleri, soruları yanıtlarken önce ilgili belgeleri bulur, ardından bu belgelerden yola çıkarak cevap üretir. Ancak birden fazla konuyu içeren metinlerde, standart vektör temsilcileri farklı anlamları aynı matematiksel uzayda birbirine karıştırıyor. Bu durum, sistemin yanlış veya ilgisiz bilgileri seçmesine neden olabiliyor.
Çalışmada sunulan Entanglement Index (EI), bu karmaşıklığı sayısal olarak ölçebilen ilk metrik olma özelliği taşıyor. Yüksek EI değerlerinin, Top-K arama yöntemlerinin hassasiyetini sınırladığı matematiksel olarak kanıtlandı.
Geliştirilen Semantic Disentanglement Pipeline (SDP), belgeleri dört aşamada yeniden yapılandırarak bu sorunu çözüyor. Sistem ayrıca kullanım kalıplarına göre belge yapısını şekillendiren bağlam-koşullu ön işleme özelliği sunuyor.
Bu gelişme, chatbot'lardan arama motorlarına kadar geniş bir yelpazede kullanılan yapay zeka sistemlerinin performansını artıracak nitelikte.