Yapay zeka destekli arama sistemlerinde yeni bir sorun gün yüzüne çıktı: Algoritmalar ilgili bilgileri bulmakta başarılı olsa da, gerçekten faydalı olanları ayırt etmekte zorlanıyor.
Araştırmacılar, geleneksel bilgi erişim sistemlerinin temel bir eksikliğini ortaya koyan UsefulBench adlı özel bir veri seti geliştirdi. Bu çalışma, 'ilgili' ve 'faydalı' bilgi arasındaki kritik ayrımı netleştiriyor.
Mevcut arama algoritmaları, kelimsel ve anlamsal benzerlik üzerine kurulu. Bu yaklaşım, kullanıcının sorusuna konusal olarak bağlı metinleri bulabiliyor ancak gerçek çözüm değeri taşıyan bilgileri belirleyemiyor. Araştırma ekibi verdiği örnekte, 'Paris Berlin'den büyük mü?' sorusuna 'Paris Fransa'nın başkentidir' yanıtının ilgili ama tamamen faydasız olduğunu vurguluyor.
Üç profesyonel analist tarafından etiketlenen veri setinin analizi, klasik benzerlik tabanlı sistemlerin bu açığını net şekilde gösteriyor. Büyük dil modelleri bu önyargıyı kısmen dengeleyebilse de, uzmanlık gerektiren alanlarda yetersiz kalıyor.
Bu bulgular, yapay zeka destekli arama sistemlerinin gelecekteki gelişim yönünü işaret ediyor: Sadece benzerlik değil, gerçek kullanım değeri odaklı algoritmalar.