Stanford Üniversitesi araştırmacıları, büyük dil modellerinde 'çıpalı konfabulasyon' adını verdikleri yeni bir kalibrasyon sorunu keşfetti. Bu fenomen, modellere çok adımlı mantık yürütme gerektiren sorularda kısmi doğru bilgi verildiğinde, yanlış cevaplara olan güvenlerinin paradoks bir şekilde artmasıyla karakterize ediliyor.
Araştırma ekibi, bu durumu Parametrik Halüsinasyon Güveni (PHC) olarak formülleştirdi. Yapılan deneylerde, hiç bilgi verilmeyen durumdan kısmi bilgi verilen duruma geçişte güvenli-yanlış cevap oranının 0.613'ten 0.656'ya yükseldiği, tam kanıt sunulduğunda ise 0.536'ya düştüğü gözlemlendi.
Beş farklı model ailesi üzerinde yapılan ölçeklendirme analizi, model kapasitesi arttıkça bu etkinin güçlendiğini ortaya koydu. Araştırmacılar, 'Çıpalama Eşiği Yasası' adını verdikleri k*(n)=floor(n/3) formülüyle PHC amplifikasyonunun adım derinliğine göre nasıl değiştiğini tahmin edebileceklerini gösterdi.
Bu bulguların pratik uygulamaları da var. PHC'yi kullanan LearnedRouter sistemi, RAG (Retrieval-Augmented Generation) yönlendirmesinde oracle performans açığının %81.1'ini kapatmayı başardı. Sonuçlar, yapay zeka sistemlerinin güvenilirlik değerlendirmesinde yeni yaklaşımların gerekliliğini vurguluyor.