Yapay zeka araştırmacıları, büyük dil modellerinin en ciddi sorunlarından biri olan halüsinasyon problemine karşı yeni bir çözüm geliştirdi. HIVE (Hidden-Evidence Verification) adı verilen bu sistem, modellerin yanlış veya uydurma bilgiler üretmesini tespit etmek için tamamen yeni bir yaklaşım benimsiyor.
Geleneksel halüsinasyon tespit yöntemleri genellikle sadece modelin son çıktısına odaklanıyor ve belirsizlik seviyesini ölçüyor. Ancak araştırmacılar, difüzyon tabanlı dil modellerinin metin üretim sürecinin çok daha karmaşık bir dinamiğe sahip olduğunu keşfetti. Bu modeller metni adım adım 'gürültü giderme' yöntemiyle üretiyor ve halüsinasyon sinyalleri sadece son çıktıda değil, tüm süreç boyunca ortaya çıkabiliyor.
HIVE sistemi, bu gizli süreçlerden kanıt topluyor ve bunları analiz ederek halüsinasyonları tespit ediyor. Sistem sadece bir doğruluk skoru vermekle kalmıyor, aynı zamanda halüsinasyon türlerini kategorize ediyor ve kararının gerekçesini açıklıyor.
Üç farklı soru-cevap veri setinde yapılan testlerde, HIVE sekiz farklı mevcut yöntemden daha başarılı performans sergiledi. Sistem 0.9236 AUROC ve 0.9537 AUPRC değerlerine ulaşarak, yapay zeka güvenilirliği alanında önemli bir ilerleme kaydetti.