Yapay zeka alanında yeni bir gelişme, konuşmadaki duygusal nüansları anlayarak gerçekçi 3D yüz animasyonları oluşturabilen bir sistem ortaya çıktı. SEDTalker olarak adlandırılan bu teknoloji, ses verilerinden duygu durumlarını sürekli analiz ederek yüz ifadelerini dinamik olarak şekillendiriyor.
Sistemin en önemli yeniliği, duyguları sabit kategoriler halinde değil, zaman içinde değişen bir spektrum olarak ele alması. Geleneksel yöntemler genellikle tüm konuşma boyunca tek bir duygu durumu varsayarken, SEDTalker her an için farklı duygu yoğunluklarını tespit edebiliyor. Bu sayede, örneğin bir cümlede başlayan neşe tonunun ortada ciddileşip sonunda tekrar yumuşaması gibi doğal geçişler yakalanabiliyor.
Teknolojinin arkasında Transformer ve Mamba mimarilerinin hibrit kullanımı bulunuyor. Bu yaklaşım, konuşmanın dilsel içeriği ile duygusal stilini birbirinden ayırırken, kişinin kimliğini ve zamansal tutarlılığı koruyor. Sistem, konuşmacının sesindeki duygu sinyallerini öğrenilmiş gömülümler haline getirip 3D animasyon modeline besliyor.
Araştırmacılar sistemi geniş çaplı veri setleri üzerinde test etti ve sonuçların an bazında duygu tanımada güçlü performans sergilediğini gösterdi. Bu gelişme, dijital avatarların daha doğal ve ifadeli görünmesi için önemli bir adım sayılıyor.