Yapay zeka alanında duygu analizi, insanların yüz ifadeleri, ses tonu ve kullandıkları kelimeler gibi farklı ipuçlarından duygusal durumlarını anlama üzerine odaklanıyor. Ancak bu sistemlerin karşılaştığı en büyük zorluklardan biri, bazen bu veri türlerinden birinin eksik olması durumu.
Araştırmacılar, bu sorunu çözmek için yenilikçi bir bilgi transferi ağı geliştirdi. Bu sistem, eksik ses verilerini görsel ve metin bilgilerinden yararlanarak yeniden oluşturabiliyor. Örneğin, bir video kaydında ses kalitesi bozuksa veya hiç ses yoksa, sistem kişinin yüz ifadelerinden ve konuşma şeklinden ses özelliklerini tahmin edebiliyor.
Sistemin en dikkat çekici özelliği, çapraz modalite dikkat mekanizması. Bu teknoloji, hem gerçek verilerden hem de yapay olarak üretilen verilerden en fazla bilgiyi çıkararak duygu tespitinde kullanıyor. Böylece sistem, eksik veri olsa bile yüksek doğrulukla çalışabiliyor.
Üç farklı halka açık veri seti üzerinde yapılan kapsamlı testler, bu yaklaşımın mevcut yöntemlerden önemli ölçüde daha iyi performans gösterdiğini ortaya koydu. En önemlisi, sistem tüm veri türlerinin eksiksiz olduğu durumlarla neredeyse aynı başarı oranına ulaştı.