Sosyal medya platformlarında metin, görsel ve video içeriklerinin bir arada kullanımının yaygınlaşması, yanlış bilgi tespitini giderek zorlaştırıyor. Yanıltıcı içerikler artık sadece yanlış metinler veya manipüle edilmiş görsellerden değil, bu farklı medya türleri arasındaki anlam tutarsızlıklarından da kaynaklanabiliyor.
Bu soruna çözüm bulmak için araştırmacılar MOMENTA adlı yeni bir yapay zeka sistemi geliştirdi. Bu sistem, çoklu medya içeriklerini analiz ederken hem farklı modların özelliklerini hem de bunlar arasındaki etkileşimi dikkate alıyor. MOMENTA'nın en önemli özelliği, içeriklerin zaman içindeki değişimlerini de takip edebilmesi.
Sistemin mimarisi, her medya türü için özelleşmiş uzman modüller kullanıyor. Bu modüller, çeşitli yanlış bilgi türlerinin farklı örüntülerini öğrenebiliyor. Ayrıca, metin ve görseller arasında çift yönlü dikkat mekanizması kurarak, bu iki medya türünün ortak anlam uzayında nasıl eşleştiğini analiz ediyor.
Geleneksel yöntemlerin aksine, MOMENTA farklı veri setleri ve konular arasında daha tutarlı performans sergiliyor. Bu, sistemin çeşitli sosyal medya platformları ve içerik türleri için uyarlanabilir olduğunu gösteriyor. Özellikle metin ve görsel arasındaki anlam tutarsızlıklarını tespit etmede başarılı sonuçlar elde ediyor.