Büyük dil modelleri (LLM) güvenilir olmak için yetersiz güven duyduklarında cevap vermekten kaçınmalı. Ancak yeni bir araştırma, mevcut modellerin bu konuda ciddi eksiklikler yaşadığını gösteriyor.
Araştırmacılar, yapay zeka modellerinin 'bilmiyorum' derken aslında iki farklı durumu birbirine karıştırdığını keşfetti. Birincisi, sorunun kendisinin belirsiz veya çok anlamlı olması (veri belirsizliği), ikincisi ise modelin bu konuda yetersiz bilgiye sahip olması (model belirsizliği). Bu ayrımı yapamamak, AI'ın hangi durumda ne yapması gerektiği konusunda yanlış kararlar vermesine yol açıyor.
Bilim insanları, altı farklı veri setinden 3.500'den fazla sorudan oluşan UA-Bench adlı yeni bir test sistemi geliştirdi. Bu sistemde hem bilgi yoğun hem de mantıksal çıkarım gerektiren görevler yer alıyor. 18 farklı gelişmiş dil modeli üzerinde yapılan testler şaşırtıcı sonuçlar verdi.
En dikkat çekici bulgu, yüksek doğrulukla cevap veren modellerin bile belirsizlik türlerini ayırt etmede başarısız olmasıydı. Bu durum, sadece doğru cevap vermenin yeterli olmadığını, modellerin kendi bilgi sınırlarını da doğru değerlendirmesi gerektiğini gösteriyor.
Araştırmacılar bu sorunu çözmek için hafif veri sentezi ve pekiştirmeli öğrenme stratejisi önerdiler. Bu yaklaşım, gelecekte daha güvenilir ve bilinçli AI sistemlerinin geliştirilmesine katkı sağlayabilir.