Yapay zeka modellerinin farklı dillerdeki bilgiyi birbirine aktarabilme yeteneği, teknolojinin küresel erişilebilirliği açısından kritik bir konudur. Ancak bu yeteneği doğru bir şekilde ölçmek şimdiye kadar zorlu bir görev olmuştur.
Araştırmacılar, bu sorunu çözmek için LiveCLKTBench adını verdikleri otomatik bir değerlendirme sistemi geliştirdiler. Bu sistem, yapay zeka modellerinin gerçekten diller arası bilgi transferi yapıp yapmadığını, yoksa sadece eğitim sürecinde karşılaştığı bilgileri mi hatırladığını ayırt edebiliyor.
Sistem, gerçek dünyadan zaman açısından hassas bilgi parçalarını belirliyor ve bunları modelin önceden bilip bilmediğini kontrol ediyor. Ardından bu bilgilerden sorular oluşturup farklı dillere çevirerek, modellerin diller arası transfer performansını ölçüyor.
Beş farklı dilde yapılan testlerde önemli bulgular elde edildi. Diller arasındaki dilbilimsel uzaklığın transfer başarısını güçlü bir şekilde etkilediği görüldü. Ayrıca bu transfer sürecinin genellikle asimetrik olduğu, yani bir dilden diğerine geçişin her iki yönde de aynı başarıyı göstermediği tespit edildi.
Bu araştırma, küresel çapta kullanılabilecek daha etkili çok dilli yapay zeka sistemlerinin geliştirilmesi için önemli bir temel oluşturuyor.