Yapay zeka modellerinin en büyük sorunlarından biri, bilmedikleri konularda bile aşırı güven göstermeleridir. Yeni bir araştırma, bu modellerin kendi bilgi sınırlarını daha iyi tanıyabilmesi için metakognisyon yeteneklerinin nasıl geliştirilebileceğini araştırıyor.
Metakognisyon, kısaca 'düşünce hakkında düşünme' olarak tanımlanabilir. İnsanlarda bu yetenek, bir sorunun cevabını bilip bilmediğimizi değerlendirmemizi sağlar. Büyük Dil Modelleri'nde (LLM) ise bu yeteneği ölçmek oldukça zordur çünkü modeller çeşitli önyargılar ve sezgisel yargılardan etkilenir.
Araştırmacılar, bu önyargıları kontrol altına almak için d'_type2 adlı özel bir ölçüm yöntemi geliştirdi. Bu metrik sayesinde modellerin gerçek metakognitif yetenekleri daha net bir şekilde değerlendirilebiliyor.
Çalışmanın en önemli katkısı ise 'Metakognitif Uyum için Evrim Stratejisi' (ESMA) adlı eğitim yöntemidir. Bu strateji, modellerin sadece eğitildikleri veri setlerinde değil, hiç görmedikleri veri kümeleri, farklı diller ve yeni öğrendikleri bilgi alanlarında da metakognitif yeteneklerini koruyabilmesini sağlıyor.
Araştırmanın şaşırtıcı bulgularından biri, bu iyileştirmelerin modelin çok az sayıdaki parametresini değiştirerek elde edilebilmesidir. Bu keşif, gelecekte daha hedefli ve verimli metakognitif optimizasyon yöntemlerinin geliştirilmesi için yeni olanaklar sunuyor.