İşaret dili teknolojileri alanında önemli bir adım atılırken, araştırmacılar yapay zeka modellerinin işaret dilini ne kadar derinlemesine anlayabildiğini test edecek yeni bir sistem geliştirdi.
Tarihsel olarak işaret dili modelleri, konuşma dili ve metin tabanlı modellerin gerisinde kalmıştı. Son dönemde işaret dili çevirisi ve işaret tanıma görevlerinde önemli ilerlemeler kaydedilse de, bu modellerin işaret dilinin karmaşık dil bilimsel yapılarını ne ölçüde kavradığı belirsizliğini koruyor.
Yeni geliştirilen ASL-MTP veri seti, Amerikan İşaret Dili'ndeki farklı dil bilimsel olguları kategorize ederek, minimal çeviri çiftleri oluşturuyor. Bu yaklaşım, modellerin belirli dil yapılarını anlama kapasitesini hassas bir şekilde ölçmeyi mümkün kılıyor.
Araştırma ekibi, güncel bir ASL-İngilizce çeviri modelini bu sistem üzerinde test etti. Çalışmada, modelin eğitim ve çıkarım süreçlerinde farklı girdi ipuçları (el hareketleri, üst vücut hareketleri, yüz ifadeleri) kaldırılarak, her birinin model performansına etkisi ayrı ayrı incelendi.
İşaret dilinin çok eklemli yapısı - ellerin, üst vücudun ve yüzün eş zamanlı kullanımı - bu analizi özellikle değerli kılıyor. Elde edilen sonuçlar, gelecekteki işaret dili teknolojilerinin geliştirilmesinde önemli ipuçları sunacak.