Yapay zeka sistemlerinin en büyük sorunlarından biri, bilmedikleri konularda bile cevap verme eğilimidir. Araştırmacılar bu soruna yönelik geliştirdikleri Abstain-R1 modeliyle, yapay zekanın 'bilmiyorum' demeyi öğrenmesini sağladı.
Geleneksel pekiştirmeli öğrenme yöntemleri, büyük dil modellerinin mantıksal çıkarım yeteneklerini artırsa da, aynı zamanda yetersiz bilgiyle tahmin yapmaya da teşvik ediyor. Bu durum, modellerin halüsinasyon yapmasına ve yanlış bilgi üretmesine neden oluyor.
Yeni geliştirilen sistem, anlamı açık ancak verilen bilgilerden güvenilir şekilde çözülemeyen sorular üzerinde odaklanıyor. Abstain-R1 modeli, sadece cevap vermekten kaçınmakla kalmıyor, aynı zamanda hangi bilgilerin eksik olduğunu da açıklıyor.
Araştırmacılar, 'açıklama farkında pekiştirmeli öğrenme' adını verdikleri yeni bir ödüllendirme sistemi geliştirdi. Bu sistem, cevaplanabilir sorularda doğru yanıtları ödüllendirirken, cevaplanamayan sorularda açık ret ve anlam bakımından uyumlu açıklamaları teşvik ediyor.
3 milyar parametreli Abstain-R1 modeli, test sonuçlarında cevaplanamayan sorularda hem ret hem de açıklama performansını artırırken, güçlü çıkarım yeteneklerini koruduğunu gösterdi. Bu gelişme, yapay zeka sistemlerinin güvenilirliği açısından önemli bir ilerleme olarak değerlendiriliyor.