Teknoloji & Yapay Zeka

Yapay Zeka Modelleri Kısmi Bilgiyle Daha Fazla Hata Yapıyor

Araştırmacılar, büyük dil modellerinde şaşırtıcı bir keşif yaptı: çok adımlı mantık yürütme süreçlerinde modellere kısmi bilgi verildiğinde, yanlış cevaplara olan güvenleri artıyor. 'Çıpalı konfabulasyon' adı verilen bu olgu, modelin verilen kısmi bilgiyi sabit nokta kabul ederek geriye kalan adımları parametrik hafızasından tamamlama eğiliminde olmasından kaynaklanıyor. Altı farklı model ailesi üzerinde yapılan deneylerde, bu durumun model kapasitesi arttıkça daha belirgin hale geldiği gözlemlendi. Bulgular, yapay zeka sistemlerinin güvenilirlik kalibrasyonu konusunda önemli çıkarımlara sahip.

Stanford Üniversitesi araştırmacıları, büyük dil modellerinde 'çıpalı konfabulasyon' adını verdikleri yeni bir kalibrasyon sorunu keşfetti. Bu fenomen, modellere çok adımlı mantık yürütme gerektiren sorularda kısmi doğru bilgi verildiğinde, yanlış cevaplara olan güvenlerinin paradoks bir şekilde artmasıyla karakterize ediliyor.

Araştırma ekibi, bu durumu Parametrik Halüsinasyon Güveni (PHC) olarak formülleştirdi. Yapılan deneylerde, hiç bilgi verilmeyen durumdan kısmi bilgi verilen duruma geçişte güvenli-yanlış cevap oranının 0.613'ten 0.656'ya yükseldiği, tam kanıt sunulduğunda ise 0.536'ya düştüğü gözlemlendi.

Beş farklı model ailesi üzerinde yapılan ölçeklendirme analizi, model kapasitesi arttıkça bu etkinin güçlendiğini ortaya koydu. Araştırmacılar, 'Çıpalama Eşiği Yasası' adını verdikleri k*(n)=floor(n/3) formülüyle PHC amplifikasyonunun adım derinliğine göre nasıl değiştiğini tahmin edebileceklerini gösterdi.

Bu bulguların pratik uygulamaları da var. PHC'yi kullanan LearnedRouter sistemi, RAG (Retrieval-Augmented Generation) yönlendirmesinde oracle performans açığının %81.1'ini kapatmayı başardı. Sonuçlar, yapay zeka sistemlerinin güvenilirlik değerlendirmesinde yeni yaklaşımların gerekliliğini vurguluyor.

Özgün Kaynak
arXiv (Dilbilim & NLP)
Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs
Orijinal makaleyi oku

Bu içerik, özgün kaynaktaki bilgiler temel alınarak BilimKapsül editörleri tarafından yeniden kaleme alınmıştır. Orijinal metnin birebir çevirisi değildir. Telif hakkı özgün yayıncıya aittir.