Deepfake teknolojisinin yaygınlaşmasıyla birlikte sahte görüntü tespiti kritik bir ihtiyaç haline geldi. Ancak mevcut sistemler genellikle sadece 'sahte mi gerçek mi' sorusuna yanıt veriyor, manipülasyonun doğası hakkında detaylı bilgi sunmuyor.
Yeni araştırma bu sınırlılığı aşmak için 'Sahtecilik Atıf Raporu Üretimi' adında çok modlu bir yaklaşım öneriyor. Bu sistem iki temel soruya yanıt veriyor: sahte bölgeler nerede (Where) ve neden bu değişiklikler yapılmış (Why). Böylece geleneksel adli tıp yöntemlerinin ötesinde kapsamlı bir anlayış sağlıyor.
Araştırma ekibi, Multi-Modal Tamper Tracing (MMTT) adında 152.217 örneklik büyük ölçekli bir veri seti oluşturdu. Her örnek, işlem türevli doğru maske ve insan yazarlı metin açıklaması içeriyor, bu da yüksek açıklama hassasiyeti ve dilsel zenginlik sağlıyor.
ForgeryTalker framework'ü, görüntü kodlayıcısı ve Q-former aracılığıyla görsel ve dilsel verileri entegre ediyor. Bu birleşik yaklaşım, sahte içerik analizinde yeni bir standart belirliyor ve dijital medya güvenliği alanında önemli ilerlemeler vadediyor.