Yapay zeka ve doğal dil işleme alanında çalışan araştırmacılar, öznel değerlendirme gerektiren görevlerde karşılaşılan etiketleme problemlerine çözüm getiren yeni bir tanılama yöntemi geliştirdi. Bu yöntem, uzmanlar arasındaki görüş farklılıklarının nedenlerini sistematik olarak analiz etme imkanı sunuyor.
Geleneksel yaklaşımda, birden fazla uzmanın yaptığı değerlendirmeler tek bir 'altın standart' etikete dönüştürülüyor. Ancak bu süreçte uzmanlar arasındaki anlaşmazlıkların gerçek nedenleri belirsiz kalıyor. Yeni geliştirilen şema-düzeyi tanılama sistemi, bu soruna iki farklı açıdan yaklaşıyor: operasyonel hale getirilmesi zor sınırları olan kararsız kriterler ve birbirini dışlayan kategoriler arasındaki sistematik örtüşmeler.
Araştırmacılar, yöntemlerini ticari belgelerdeki ikna edici değerleri çıkarma görevi üzerinde test ettiler. Sonuçlar, uzman görüş ayrılıklarının rastgele olmadığını ortaya koydu. Kararsızlık birkaç kriterde yoğunlaşırken, incelenen cümlelerin yaklaşık yarısında birden fazla kategori aktif hale geliyor.
Bu bulgular, alan uzmanlarının anlaşmazlık yaşadığı noktalarda sistemin verdiği sinyallerle örtüşüyor. Böylece etiketleme kılavuzlarının sıkılaştırılması ve kategori yapılarının yeniden düzenlenmesi için kanıta dayalı bir denetleme süreci mümkün hale geliyor.