Yapay zeka alanında önemli bir sorun tespit edildi: mevcut sentetik veri üreticileri, dolandırıcılık tespiti için kritik olan davranışsal kalıpları koruyamıyor. Araştırmacılar, bu durumu 'davranışsal sadakat' kavramıyla açıklıyor.
Geleneksel değerlendirme yöntemleri, üretilen verilerin istatistiksel özelliklerini ve sınıflandırma performansını ölçerken, gerçek tespit sistemlerinin dayandığı davranışsal sinyalleri göz ardı ediyor. Araştırma ekibi, dört temel dolandırıcılık davranış kalıbı tanımladı: olaylar arası zamanlama, patlama yapıları, çoklu hesap graf motifleri ve hız kuralı tetikleme oranları.
Özellikle dikkat çeken bulgu, satır-bağımsız üreticilerin yapısal olarak çoklu hesap graf motiflerini yeniden üretemediğinin matematiksel olarak kanıtlanması. Bu durum, mevcut teknolojinin temel bir sınırlılığını ortaya koyuyor.
Araştırmacılar, gerçek veri gürültü seviyesine kalibre edilmiş bir 'bozulma oranı' metriği geliştirdi. Bu metrik, 1.0 değerinde gerçek değişkenliği eşlerken, k değeri k-kat daha kötü performans anlamına geliyor.
Bu bulgular, finansal güvenlik ve dolandırıcılık tespit sistemlerinin geliştirilmesinde yapay verilerin kullanımına yönelik önemli sınırlamaları gözler önüne seriyor.