Yapay zeka alanındaki en büyük sorunlardan biri, büyük dil modellerinin kendinden emin görünmesine rağmen sıklıkla yanlış bilgiler üretmesidir. Araştırmacılar, bu modellerin belirsizlik seviyelerini daha iyi anlayabilmek için yeni bir yaklaşım geliştirdi.
Mevcut yöntemler genellikle 'kendini tutarlılık' adı verilen bir tekniği kullanıyor. Bu yöntem, aynı modelin aynı soruya verdiği farklı cevapları karşılaştırarak belirsizlik ölçmeye çalışıyor. Ancak model aşırı özgüvenli olduğunda ve sürekli aynı yanlış cevabı verdiğinde bu yaklaşım işe yaramıyor.
Yeni araştırma, modeller yanlış cevap verdiğinde aralarındaki semantik anlaşmazlığın önemli ölçüde arttığını keşfetti. Bu gözleme dayanarak, araştırmacılar 'epistemik belirsizlik' adını verdikleri yeni bir ölçüm geliştirdi. Bu yöntem, küçük bir model topluluğunun ürettiği metinleri analiz ederek, modeller arası ve model içi benzerlik farkını hesaplıyor.
7-9 milyar parametre içeren beş farklı model ve on uzun form görev üzerinde yapılan kapsamlı testlerde, bu yeni toplam belirsizlik ölçümünün performansı önemli ölçüde iyileştirdiği görüldü. Bu gelişme, yapay zeka sistemlerinin daha güvenilir hale gelmesi için kritik bir adım olarak değerlendiriliyor.