Büyük dil modellerine (LLM) dayalı arama sistemlerinin güvenilirliği üzerine yapılan ilk kapsamlı araştırma, bu teknolojilerin beklenmedik zayıflıklarını gün yüzüne çıkardı. Akademisyenler, geleneksel BERT mimarisinin yerini hızla alan bu yeni nesil sistemlerin performansını iki temel açıdan inceledi.
Araştırma kapsamında 30 farklı veri seti kullanılarak gerçekleştirilen genelleştirme testleri, talimat odaklı modellerin genel olarak başarılı olduğunu gösterdi. Ancak karmaşık mantık yürütme için özelleştirilmiş modellerde 'uzmanlaşma vergisi' adı verilen bir fenomen keşfedildi. Bu modeller, belirli alanlarda mükemmel sonuçlar verirken, farklı bağlamlarda sınırlı uyum gösteriyor.
Stabilite analizleri ise bu sistemlerin tutarlılık konusunda sorunlar yaşadığını ortaya koydu. Aynı sorguya farklı zamanlarda verilen yanıtlar arasında önemli farklılıklar gözlemlendi.
Uzmanlar, bu bulguların yapay zeka destekli bilgi erişim sistemlerinin yaygın kullanımı açısından kritik önem taşıdığını belirtiyor. Özellikle güvenilirlik gerektiren uygulamalarda bu sınırlılıkların dikkate alınması gerektiği vurgulanıyor. Çalışma, gelecekteki model geliştirme süreçlerinde dayanıklılık kriterlerinin önceliklendirilmesi gerektiğine işaret ediyor.