Büyük dil modellerinin 'halüsinasyon' olarak adlandırılan gerçek dışı bilgi üretme eğilimi, yapay zeka alanının en büyük sorunlarından biri haline geldi. Özellikle sağlık, hukuk ve finans gibi hassas sektörlerde kullanılan bu sistemlerin ne zaman yanıltıcı bilgi üreteceğini önceden bilmek kritik önem taşıyor.
Yeni araştırma, 117 milyon ile 7 milyar parametre arasında değişen 7 farklı transformer modelini üç farklı veri seti üzerinde test etti. TriviaQA, Simple Facts ve Biography veri setlerinden toplam 552 etiketli örnek kullanılarak modellerin iç dinamikleri incelendi.
Sonuçlar dikkat çekici bir eşik etkisi ortaya koydu: 400 milyon parametrenin altındaki modeller hiçbir üretim aşamasında güvenilir bir doğruluk sinyali vermedi. Bu küçük modellerin performansı rastgele tahminle aynı seviyede kaldı.
Ancak yaklaşık 1 milyar parametreyi aşan modellerde tamamen farklı bir davranış gözlendi. Bu büyük modeller, henüz tek bir kelime bile üretmeden önce - yani 'sıfırıncı pozisyonda' - halüsinasyon yapacaklarının en güçlü sinyalini veriyordu. Bu bulgu, gelecekte yapay zeka sistemlerinin güvenilirliğini artırmak için erken uyarı mekanizmaları geliştirilmesinin mümkün olabileceğini gösteriyor.