Yapay zeka alanında önemli bir sorun çözüldü. Büyük dil modellerinin sistematik olarak aşırı güvenli davranma sorununun ardında yatan temel neden keşfedildi ve etkili bir çözüm geliştirildi.
Araştırmacılar, dil modellerinin güven tahminlerinde 'cevap-bağımsızlık' adı verilen kritik bir sorun tespit etti. Bu durumda modeller, güven seviyelerini belirlerken kendi verdikleri cevabı göz önünde bulundurmuyorlar. Örneğin model yanlış bir cevap verse bile yüksek güven ifade edebiliyor.
Bu soruna çözüm olarak ADVICE (Answer-Dependent Verbalized Confidence Estimation) adlı yeni bir ince ayar çerçevesi geliştirildi. Bu yöntem, modellerin güven tahminlerini kendi cevaplarına dayandırmasını sağlıyor.
Kapsamlı deneyler ADVICE'ın güven kalibrasyonunu önemli ölçüde iyileştirdiğini ortaya koydu. Sistem görmediği durumlarla karşılaştığında da güçlü genelleme performansı sergiliyor ve asıl görev performansını düşürmüyor.
Bu gelişme yapay zeka sistemlerinin şeffaflığı ve güvenilirliği için kritik önem taşıyor. Özellikle tıp, hukuk gibi hassas alanlarda AI sistemlerinin güven seviyelerini doğru ifade etmesi hayati öneme sahip.