Araştırmacılar, 3D görüntü sentezleme teknolojisi olan Gaussian Splatting'i multispektral verilerle geliştirerek, sadece görünür ışık değil tüm dalga boylarını işleyebilen yeni bir sistem oluşturdular. MSGS adı verilen bu yöntem, her Gaussian nesneyi spektral parlaklık bilgileriyle zenginleştiriyor ve RGB ile multispektral sinyalleri birleştiren ikili kayıp fonksiyonu kullanıyor. Sistem, renk dönüşümünü piksel seviyesinde gerçekleştirerek daha zengin spektral bilgileri koruyabiliyor. Özellikle yarı saydam malzemeler ve anizotropik yansımalar içeren zorlu sahnelerde başarılı sonuçlar veriyor.

Görme-dil modelleri (VLM'ler) hala uzamsal anlama ve bakış açısı tanıma gibi görsel algı görevlerinde zorlanıyor. Araştırmacılar, doğal görüntü veri setlerinin düşük seviyeli görsel beceriler için sınırlı denetim sağladığını ve hedeflenmiş sentetik denetimin bu zayıflıkları giderebileceğini öne sürüyor.

Büyük görsel-dil modelleri güçlü çok modlu akıl yürütme yetenekleri gösterse de, sık sık halüsinasyonlar yaşar ve yüksek kesinlikle yanlış cevaplar verir. Bu durum kritik alanlarda kullanımlarını sınırlar.

Araştırmacılar, görsel açıdan zengin belgelerden bilgi çıkarma ve karmaşık sorulara yanıt verme konusunda mevcut sistemlerden daha başarılı olan VISOR adlı yeni bir yapay zeka sistemi geliştirdi.

Araştırmacılar, uzun metinlerde önemli bilgileri bulma ve mantıklı çıkarımlar yapma konusunda geliştirilmiş yeni bir yapay zeka modeli olan RecaLLM'i geliştirdi. Bu model, bağlamsal bilgi alma ve mantıklı düşünme süreçlerini birleştirerek daha etkili sonuçlar elde ediyor.

Araştırmacılar, matematik veya kodlamadan farklı olarak ara adımların doğruluğunun büyük dış bilgi kaynaklarından ipuçları sentezleyerek değerlendirilmesi gereken bilgi yoğun alanlardaki akıl yürütme sorunlarını çözmek için süreç ödül modellerini geliştirdi.