Almanya'dan araştırmacılar, işaret dilindeki duygusal ifadeleri otomatik olarak tanıyabilen bir yapay zeka sistemi geliştirmeyi başardı. Bu çığır açan çalışma, özellikle işitme engelli bireylerin dijital platformlardaki deneyimini iyileştirme potansiyeli taşıyor.
Araştırmacılar, Alman İşaret Dili (DGS) ile anlatılan masal videolarından oluşan kapsamlı bir veri seti oluşturdu. İlk aşamada, dört farklı büyük dil modelini kullanarak Almanca masal metinlerinin duygusal tonunu belirledi ve çoğunluk oylamasıyla güvenilir etiketlemeler elde etti.
Sistemin kalbi, MediaPipe teknolojisini kullanarak video segmentlerinden yüz ve vücut hareket özelliklerini çıkaran algoritmada yatıyor. XGBoost tabanlı açıklanabilir model, bu özelliklerden negatif, nötr veya pozitif duyguları %63,1 dengeli doğrulukla tahmin edebiliyor.
Araştırmanın en çarpıcı bulgusu, duygu aktarımında sadece kaş ve ağız hareketlerinin değil, kalça, dirsek ve omuz hareketlerinin de eşit derecede önemli rol oynadığının keşfedilmesi. Bu sonuç, işaret dilinde duygusal ifadenin tüm vücut dinamiklerini kapsadığını bilimsel olarak doğruluyor.
Bu teknoloji, gelecekte işaret dili çeviri sistemlerinin duygusal tonları da aktarabilmesini sağlayacak ve işitme engelli topluluğun dijital içeriklerle etkileşimini zenginleştirecek.