Yapay zeka teknolojisinin hızla geliştiği günümüzde, bu sistemlerin farklı kültür ve dillerdeki performansı kritik bir soru haline geldi. Güney Koreli araştırmacılar, bu soruya yanıt bulmak için KMMMU (Korean Massive Multi-discipline Multimodal Understanding) adlı kapsamlı bir test sistemi geliştirdi.
KMMMU, tamamen Korece hazırlanmış 3.466 soru içeriyor ve dokuz farklı akademik disiplini kapsıyor. Test, matematik problemlerinden tarih sorularına, fen bilimlerinden sosyal bilimlere kadar geniş bir yelpazede görsel ve metinsel içeriği birleştiren sorular sunuyor. Araştırmacılar ayrıca özellikle Kore kültürüne özgü 300 soruluk bir alt grup ve 627 zor sorudan oluşan özel bir bölüm hazırladı.
Test sonuçları, yapay zeka alanındaki mevcut durumu gözler önüne seriyor. En başarılı açık kaynak model genel testte sadece %42,05 başarı gösterirken, en iyi ticari model zor sorularda %52,42 doğruluk oranına ulaşabildi. Daha da çarpıcı olan, Kore kültürüne özgü sorularda modellerin performansının %13'e varan oranlarda düştüğünün gözlenmesi.
Araştırmacıların hata analizi, başarısızlıkların mantıksal akıl yürütme eksikliğinden ziyade yerel gelenekler, resmi standartlar ve disiplin-spesifik görsel formatları anlayamama sorunlarından kaynaklandığını gösteriyor. Bu bulgular, yapay zeka modellerinin küresel çapta etkili olabilmesi için kültürel çeşitliliği daha iyi yansıtması gerektiğini vurguluyor.