Yapay zeka destekli arama sistemlerinde kullanılan sorgu geliştirme yöntemlerinin güvenilirliğini araştıran kapsamlı bir çalışma, bu teknolojilerin etkinliği konusundaki mevcut bulguların ne kadar tutarlı olduğunu inceledi.
Büyük Dil Modelleri (LLM), kullanıcıların arama sorgularını daha etkili hale getirmek için yaygın şekilde kullanılıyor. Ancak farklı araştırmalar bu konuda farklı koşullarda çalışma yaptığı için hangi sonuçların gerçekten güvenilir olduğunu anlamak zorlaşıyordu.
Araştırmacılar bu problemi çözmek için on farklı LLM tabanlı sorgu geliştirme yöntemini tamamen aynı koşullarda test etti. Çalışmada iki farklı LLM mimarisi, iki parametre ölçeği, üç arama paradigması ve TREC Deep Learning ile BEIR kıyaslama setlerinden dokuz veri seti kullanıldı.
Sonuçlar oldukça çarpıcı bulgular ortaya koydu. Sorgu geliştirme yöntemlerinin başarısı, kullanılan arama paradigmasına güçlü şekilde bağlı çıktı. Özellikle geleneksel kelime tabanlı arama sistemlerinde gözlemlenen iyileştirmeler, modern yoğun arama sistemlerine aktarılamıyor.
Bu bulgular, yapay zeka destekli arama teknolojilerinin geliştirilmesinde daha dikkatli ve sistematik yaklaşımlar benimsenمesi gerektiğini gösteriyor.