Yapay zeka destekli sohbet sistemlerinin bilgi arama ve soru-cevap alanında yaygınlaşmasıyla birlikte, bu sistemlerin verdikleri cevapların güvenilirliği de kritik hale geldi. Yeni bir araştırma, popüler AI sohbet botlarının kaynak kullanım kalitesini sistematik olarak inceleyerek dikkat çekici sonuçlar ortaya koydu.
Araştırmacılar, dokuz farklı yapay zeka sisteminden 30 soru-cevap çiftinde toplam 1517 kaynağı analiz etti. İnceleme, kaynakların kullanıcı arayüzündeki sunumu ve CRAAP kriterlerine göre kalite değerlendirmesini kapsıyordu. CRAAP kriterleri, kaynakların güncellik, uygunluk, yetki, doğruluk ve amaç açısından değerlendirilmesini sağlayan akademik bir standart.
Bulgular, sistemler arasında kaynak sayısı ve kalitesinde belirgin farklılıklar olduğunu gösterdi. ChatGPT, yanıt başına ortalama 9,5 kaynak sunarak en yüksek kalite puanını (20 üzerinden 15,48) alırken, Hunyuan-TurboS sistemi sadece 4 kaynak göstererek 11,65 kalite puanıyla geride kaldı.
Araştırmanın kullanıcı davranışı bölümü de ilginç sonuçlar verdi. Ön çalışma, insanların AI sistemlerinin sunduğu kaynaklarla nadiren etkileşime geçtiğini ve davranışlarının sistemlere göre değiştiğini ortaya koydu. Bu durum, AI sistemlerinin kaynak sunma yöntemlerinin iyileştirilmesi gerektiğini vurguluyor.