Teknoloji & Yapay Zeka

Yapay Zeka Halüsinasyonlarını Tespit Eden Yeni Yöntem Geliştirildi

Araştırmacılar, yapay zeka sistemlerinde bilgi yanılsamalarını tespit etmek için TPA adlı yeni bir yöntem geliştirdi. Retrieval-Augmented Generation (RAG) sistemlerinde yaşanan halüsinasyon sorununu çözmek üzere tasarlanan bu teknik, AI'nin her kelime üretimini yedi farklı kaynağa dayalı olarak analiz ediyor. Önceki yaklaşımların aksine, sadece dahili bilgi ve dış kaynak çelişkisine odaklanmak yerine, kullanıcı sorgusu, önceki kelimeler ve diğer model bileşenlerinin etkilerini de hesaba katıyor. Bu kapsamlı analiz, yapay zekanın neden yanlış bilgi ürettiğini daha iyi anlamamızı sağlayarak, güvenilir AI sistemleri geliştirilmesi yolunda önemli bir adım oluşturuyor.

Yapay zeka teknolojisinde karşılaşılan en büyük sorunlardan biri olan halüsinasyon tespiti için yeni bir çözüm geliştirildi. TPA (Token Probability Attribution) adlı bu yöntem, AI sistemlerinin neden gerçek dışı bilgiler ürettiğini anlamak için kapsamlı bir yaklaşım sunuyor.

Retrieval-Augmented Generation (RAG) sistemleri, dış kaynaklardan bilgi alarak cevap üreten AI modelleridir. Ancak bu sistemler bazen gerçekle uyuşmayan bilgiler üretebiliyor. Geleneksel yaklaşımlar bu sorunu, modelin dahili bilgisi ile dış kaynaklardan gelen bilgiler arasındaki çelişkiye bağlıyordu.

Yeni TPA yöntemi ise bu sınırlı bakış açısını aşarak, AI'nin her kelime üretimini yedi farklı kaynağa dayalı olarak inceliyor: kullanıcı sorgusu, RAG bağlamı, önceki kelimeler, mevcut kelime, dahili bilgi ağları, son katman normalizasyonu ve başlangıç gömme katmanı. Bu analiz, her kaynağın bir sonraki kelimenin üretilmesine ne kadar katkıda bulunduğunu matematiksel olarak hesaplıyor.

Araştırmacılar, kelime türü etiketlemesi kullanarak bu katkı puanlarını topluyor ve böylece modelin hangi bileşenlerinin hangi kelime türlerini üretmekte etkili olduğunu belirliyor. Bu yaklaşım, AI halüsinasyonlarının kökenini daha derinlemesine anlamamızı sağlayarak, gelecekte daha güvenilir yapay zeka sistemleri geliştirilmesine katkıda bulunacak.

Özgün Kaynak
arXiv (CS + AI)
TPA: Next Token Probability Attribution for Detecting Hallucinations in RAG
Orijinal makaleyi oku

Bu içerik, özgün kaynaktaki bilgiler temel alınarak BilimKapsül editörleri tarafından yeniden kaleme alınmıştır. Orijinal metnin birebir çevirisi değildir. Telif hakkı özgün yayıncıya aittir.