Görme-dil modelleri (VLM'ler) hala uzamsal anlama ve bakış açısı tanıma gibi görsel algı görevlerinde zorlanıyor. Araştırmacılar, doğal görüntü veri setlerinin düşük seviyeli görsel beceriler için sınırlı denetim sağladığını ve hedeflenmiş sentetik denetimin bu zayıflıkları giderebileceğini öne sürüyor.

Büyük görsel-dil modelleri güçlü çok modlu akıl yürütme yetenekleri gösterse de, sık sık halüsinasyonlar yaşar ve yüksek kesinlikle yanlış cevaplar verir. Bu durum kritik alanlarda kullanımlarını sınırlar.

Araştırmacılar, görsel açıdan zengin belgelerden bilgi çıkarma ve karmaşık sorulara yanıt verme konusunda mevcut sistemlerden daha başarılı olan VISOR adlı yeni bir yapay zeka sistemi geliştirdi.