İşaret dili tanıma teknolojilerinde önemli bir gelişme yaşandı. Araştırmacılar, SignX adını verdikleri yeni bir yapay zeka sistemi geliştirerek işaret dili videolarının sürekli tanınmasında çığır açıcı bir yöntem sundular.
Geleneksel işaret dili tanıma sistemleri, RGB videolarını pose bilgileri aracılığıyla kelime tabanlı kimliklere çeviriyor. SignX ise bu süreci tamamen yeniden tasarladı. Sistem, SMPLer-X, DWPose, Mediapipe gibi farklı pose formatlarını tek bir kompakt ve bilgi yoğun uzayda birleştiren birleşik bir temsil oluşturuyor.
Sistemin kalbi, Vision Transformer tabanlı Video-to-Pose modülü. Bu modül, ham videolardan doğrudan latent temsilleri çıkarabiliyor. Ardından, tamamen bu latent uzayda çalışan bir zaman modellemesi ve dizi iyileştirme yöntemi devreye giriyor.
Bu çok aşamalı tasarım, uçtan uca işaret dili tanıma sağlarken hesaplama tüketimini önemli ölçüde azaltıyor. Deneysel sonuçlar, sistemin hem doğruluk hem de verimlilik açısından mevcut yöntemleri geride bıraktığını gösteriyor.
Bu gelişme, işaret dili kullanan topluluklar için daha erişilebilir ve pratik teknolojilerin kapısını açabilir.