Öneri sistemleri uzun yıllardır özellik mühendisliği üzerine kurulmuş olsa da, metin tabanlı ürün özelliklerini etkili şekilde kullanmak hala önemli bir zorluk teşkil ediyordu. Son dönemde büyük dil modellerinin (LLM) gelişimiyle birlikte, bu modellerin semantik kodlayıcı olarak öneri sistemlerinde kullanımı mümkün hale geldi.
Araştırmacılar, mevcut çalışmaların genellikle genel amaçlı gömme benchmark'larını (MTEB gibi) kullanarak LLM seçimi yaptığını, ancak öneri görevlerinin kendine özgü karakteristiklerini gözden kaçırdığını belirtiyor. Bu eksikliği gidermek amacıyla BLaIR (Bridging Language and Items for Retrieval) benchmark'ı geliştirildi.
BLaIR'in üç temel katkısı bulunuyor: İlk olarak, 570 milyondan fazla inceleme ve 48 milyon ürün içeren büyük ölçekli Amazon Reviews 2023 veri seti oluşturuldu. İkinci olarak, sıralı öneri, işbirlikçi filtreleme ve ürün araması görevlerini kapsayan birleşik bir benchmark sistemi kuruldu. Üçüncü olarak ise hem yarı-sentetik hem de gerçek dünya değerlendirmelerini içeren karmaşık sorgu ürün arama görevi tanıtıldı.
Bu gelişme, büyük dil modellerinin öneri sistemlerindeki rollerinin daha iyi anlaşılmasına ve e-ticaret, müzik, film önerileri gibi alanlarda daha etkili çözümlerin geliştirilmesine katkı sağlayacak.