Yapay zeka alanında yeni nesil büyük dil modelleri olan difüzyon dil modellerinin (DLM) beklenmedik bir sorunu keşfedildi. Araştırmacılar, bu modellerin aynı soruya farklı zamanlarda verdikleri yanıtların tutarsız olabildiğini, ancak geleneksel değerlendirme yöntemlerinin bu kararsızlığı maskelediğini ortaya koydu. Mevcut test sistemleri, binlerce örneğin ortalamasına bakarak modelin genel performansını ölçüyor, böylece bireysel örneklerdeki büyük farklılıklar gözden kaçıyor. Bu durum, aynı genel performansa sahip iki model konfigürasyonunun, tekil sorularda tamamen farklı davranabilmesi anlamına geliyor. Araştırma ekibi, her bir örneği ayrı ayrı inceleyerek modellerin ne kadar tutarsız olduğunu daha detaylı ölçen yeni bir değerlendirme sistemi geliştirdi.

arXiv (CS + AI) 0