Yapay Zeka Hakemlerinin Değerlendirmelerini Parçalara Ayıran Yeni Sistem
Araştırmacılar, büyük dil modellerinin yapay zeka çıktılarını değerlendirirken kullandığı 'YZ-Hakem' yaklaşımının sorunlarına çözüm geliştirdi. Stanford Üniversitesi'nden bilim insanları, geleneksel yöntemlerin verdiği genel puanların hangi unsurlara dayandığını anlamayı zorlaştırdığını tespit etti. Geliştirdikleri 'işlevsel parçalanma' yöntemi, her çıktıyı kilit parçalara ayırıp bu parçaların değerlendirme kriterlerine göre hangi retorik işlevleri yerine getirdiğini analiz ediyor. Evalet adlı interaktif sistem, parça düzeyindeki işlevleri görselleştirerek kullanıcıların değerlendirmeleri incelemesini, puanlamasını ve karşılaştırmasını kolaylaştırıyor. On katılımcılı kullanıcı çalışması, sistemin değerlendirme uyumsuzluklarını tespit etmede %48 daha başarılı olduğunu gösterdi. Bu gelişme, yapay zeka değerlendirmelerinin şeffaflığını artırarak daha güvenilir YZ sistemlerine giden yolu açabilir.
