Video analizi yapabilen büyük dil modelleri (Video-LLM), günlük yaşam aktivitelerini içeren yavaş tempolu videolarda başarılı performans gösterse de, e-spor gibi hızlı ve bilgi yoğun sanal ortamlardaki yetenekleri henüz yeterince araştırılmamıştı.
Bu eksikliği gidermek için araştırmacılar, EgoEsportsQA adında yenilikçi bir video soru-cevap test sistemi geliştirdi. Bu sistem, profesyonel e-spor maçlarından elde edilen 1.745 yüksek kaliteli soru-cevap çiftini içeriyor ve üç farklı birinci şahıs nişancı oyununu kapsıyor.
Test sistemi, altı aşamalı ölçeklenebilir bir süreçle hazırlandı ve sorular iki boyutlu bir sınıflandırma sistemine göre düzenlendi. Bilişsel yetenek boyutunda algı ve akıl yürütme seviyelerini kapsayan 11 alt görev, e-spor bilgisi boyutunda ise 6 alt görev bulunuyor.
Mevcut en gelişmiş Video-LLM modellerinin kapsamlı değerlendirmesi, bu modellerin e-spor ortamlarında sınırlı kaldığını ortaya koydu. Bu durum, yapay zeka sistemlerinin hızlı tempolu, kural tabanlı sanal ortamlarda akıl yürütme konusunda geliştirilmesi gerektiğini gösteriyor.
EgoEsportsQA, yapay zekanın oyun stratejilerini anlama ve hızlı karar verme becerilerini değerlendiren ilk kapsamlı araç olarak, bu alandaki gelecek araştırmalara önemli bir temel oluşturuyor.