Öneri sistemleri alanında önemli bir ilerleme kaydedildi. Araştırmacılar, büyük ölçekli reklam öneri sistemlerinde yaşanan temsil kapasitesi sorununu çözmek için RankUp adı verilen yeni bir mimari geliştirdiler.
Öneri sistemlerinde ölçeklendirme yasaları giderek daha fazla doğrulanıyor ve MetaFormer tabanlı mimariler, artan model derinliği, gizli boyutluluk ve kullanıcı davranış dizisi uzunluğundan tutarlı şekilde faydalanıyor. Ancak temsil kapasitesinin parametre artışıyla orantılı olarak ölçeklenip ölçeklenmediği büyük ölçüde keşfedilmemiş durumda kalıyordu.
RankMixer üzerine yapılan önceki çalışmalar, token temsillerinin etkili sıralamasının katmanlar boyunca sönümlü salınımlı bir yörünge sergilediğini ve derinlikle tutarlı bir şekilde artmadığını, hatta daha derin katmanlarda bozulduğunu ortaya koymuştu.
Bu gözlemden yola çıkan araştırmacılar, RankUp mimarisini temsil çökmesini hafifletmek ve ifade kapasitesini artırmak için tasarladılar. Sistem, seyrek özellikler üzerinde rastgele permütasyon bölme, çoklu gömme paradigması, global token entegrasyonu, çaprazlanmış önceden eğitilmiş gömme tokenları ve göreve özgü token ayrıştırma gibi yenilikçi yaklaşımları içeriyor.
RankUp, büyük ölçekli üretim ortamında tam olarak devreye alınmış durumda ve dijital reklamcılık sektörü için önemli performans iyileştirmeleri sunuyor.