Gelişmekte olan ülkelerde milyonlarca kişinin finansal hizmetlere ulaşmak için kullandığı mobil bankacılık uygulamalarının kalitesi, bu hizmetlere erişimi doğrudan etkiliyor. Bangladeş'teki araştırmacılar, bu durumun önemini anlayarak kapsamlı bir analiz gerçekleştirdi.
Çalışmada, dört farklı Bangladeş devlet bankacılık uygulamasına ait toplam 11.414 ham yorumdan filtrelenen 5.652 İngilizce ve Bengalce Google Play yorumu incelendi. Araştırmacılar, yorumları analiz etmek için hibrit bir etiketleme yaklaşımı geliştirdi. Bu yöntem, kullanıcıların verdiği yıldız puanlarını XLM-RoBERTa sınıflandırıcısı ile birleştirerek orta düzeyde bir uyum sağladı.
Araştırmanın en çarpıcı bulgusu, geleneksel makine öğrenmesi modellerinin transformer tabanlı yapay zeka modellerinden daha başarılı performans göstermesiydi. Random Forest algoritması yüzde 81.5 doğruluk oranıyla en yüksek başarıyı elde ederken, Linear SVM modeli yüzde 80.4 ağırlıklı F1 skoru ile öne çıktı. Her iki sonuç da fine-tune edilmiş XLM-RoBERTa'nın yüzde 79.3'lük performansını geride bıraktı.
McNemar testinin sonuçları, tüm klasik modellerin hazır XLM-RoBERTa'dan istatistiksel olarak anlamlı şekilde üstün olduğunu doğruladı. Bu bulgular, finansal teknoloji uygulamalarının kullanıcı yorumlarını analiz ederken hangi yapay zeka yaklaşımlarının daha etkili olduğuna dair değerli bilgiler sunuyor.