Yapay zeka alanında önemli bir gelişme yaşanırken, araştırmacılar dil modellerinin bilmedikleri konularda yanıt vermekten kaçınabilmelerini sağlayan yenilikçi bir yöntem geliştirdi. Bu sistem, modellerin yanlış bilgi üretmek yerine 'bilmiyorum' deme yetisini kazanmalarını hedefliyor.
Conformal Abstention (CA) olarak adlandırılan yeni yaklaşım, conformal prediction teorisinden uyarlanarak geliştirildi. Sistem, bir sorguya yanıt verip vermeyeceğini belirlerken modelin güven seviyesini temel alıyor. Bu sayede hem katılım olasılığı hem de verilen yanıtın doğruluğu için matematiksel garantiler sağlanabiliyor.
Geleneksel yöntemlerden farklı olarak, CA açık uçlu metin üretimi için uygun olmayan uyumsuzluk skorları yerine tahmin güvenini kullanıyor. Araştırmacılar ayrıca tahmin güvenini modelin bilgisizliğiyle daha iyi hizalamak için temsil geometrisi tabanlı bir kalibrasyon stratejisi geliştirdi.
Bu yöntemin en önemli avantajı, mevcut modelleri yeniden eğitmek zorunda kalmadan uygulanabilmesi. Modelleri susma davranışı için yeniden eğitmek genellikle aşırı temkinli davranışlara ve zayıf genelleme performansına yol açıyor. CA ise bu riskleri ortadan kaldırırken, yapay zeka sistemlerinin güvenilirliğini önemli ölçüde artırıyor.