Yapay zeka araştırmacıları, büyük dil modellerinin eğitim verilerini ne ölçüde ezberlediklerini belirlemek için çığır açıcı bir yöntem geliştirdi. Bu yenilik, AI güvenliği ve şeffaflığı açısından kritik öneme sahip.
Büyük dil modelleri, eğitim sırasında maruz kaldıkları verilerin bir kısmını ezberleyebiliyor ve uygun şekilde yönlendirildiğinde bu içerikleri kelimesi kelimesine yeniden üretebiliyorlar. Ancak şimdiye kadar bu ezberleme sürecini güvenilir şekilde ölçmek mümkün değildi.
Yeni araştırma, veri sıkıştırılabilirliği kavramını kullanarak bu soruna çözüm getiriyor. Bilim insanları, önceki çalışmaların neden yetersiz kaldığını analiz ettikten sonra, tekil veri örnekleri yerine veri kümeleri üzerinden değerlendirme yapmanın çok daha güvenilir sonuçlar verdiğini keşfetti.
Bu yaklaşım sayesinde 'Entropi-Ezberleme Doğrusallığı' adını verdikleri yeni bir fenomen ortaya çıktı. Bu yasa, küme düzeyindeki veri entropi tahmincilerinin, ezberleme skorlarıyla doğrusal bir korelasyon sergilediğini gösteriyor.
Buluş, yapay zeka modellerinin hangi bilgileri sakladıklarını ve hangi koşullarda bu bilgileri açığa çıkarabileceklerini anlamamızı derinleştiriyor. Bu da özellikle telif hakları, veri gizliliği ve model güvenilirliği konularında önemli çıkarımlar sunuyor.