Bilim insanları, videoların sesli versiyonlarını üretebilen yapay zeka teknolojisinde önemli bir atılım gerçekleştirdi. Geliştirilen yeni sistem, nesnelerin fiziksel özelliklerini analiz ederek daha gerçekçi ses efektleri oluşturabiliyor.
Mevcut video-ses dönüştürme teknolojileri genellikle görüntüdeki nesnelerin türüne bakarak ses üretiyordu. Örneğin bir arabayı gördüğünde araba sesi, bir kuşu gördüğünde kuş sesi çıkarıyordu. Ancak bu yaklaşım, aynı nesnenin farklı koşullardaki ses farklılıklarını yakalayamıyordu.
Yeni geliştirilen fizik-farkında AI sistemi ise devrim niteliğinde bir yaklaşım sergiliyor. Sistem, videodan nesnelerin kütlesini ve hızını tahmin ederek bu bilgileri ses üretim sürecine dahil ediyor. Bu sayede ağır bir kamyonla hafif bir arabanın motor seslerindeki farkı, ya da yavaş yürüyen bir fil ile koşan bir filin ayak seslerindeki değişimi doğru şekilde modelleyebiliyor.
Araştırmacılar, insanların doğal olarak nesnelerin fiziksel özelliklerinden yola çıkarak ses tahminleri yaptığına dikkat çekiyor. Film endüstrisinden oyun sektörüne kadar pek çok alanda kullanım potansiyeli bulunan bu teknoloji, sanal gerçeklik deneyimlerini de daha immersif hale getirebilir.