Yapay zeka sistemleri bir görseli incelediğinde iki ayrı süreç devreye girer: algılama ve akıl yürütme. Model bir soruyu yanlış yanıtladığında, hatanın bu iki aşamadan hangisinde oluştuğunu belirlemek bugüne kadar neredeyse imkânsızdı. Mevcut yöntemlerin tamamı, değerlendirme sürecine ikinci bir modelin dahil edilmesini gerektiriyor; bu da ölçümün güvenilirliğini başından sarsıyordu.

Yeni çalışmada araştırmacılar bu kısır döngüyü kırmak için 'render tavanı' kavramını ortaya attı. Temel fikir şu: eğer görseli siz oluşturduysanız, doğru cevabı da zaten biliyorsunuzdur. Bilgisayar ortamında üretilen kristal yapı görsellerinde kameralar sabit tutularak çapraz açılardan alınan görüntüler arasındaki geometrik ilişkiler matematiksel olarak çözülebiliyor. Bu sayede modelin ne görmesi gerektiği, herhangi bir ek modele ihtiyaç duymadan kesin biçimde belirleniyor.

Araştırmacılar 2.160 farklı kristal yapısı üzerinde bu yöntemi test etti ve sistemin başarısız olabileceği geometrik çakışma durumlarının hiçbirinin bu veri kümesinde gerçekleşmediğini kanıtladı. Böylece bir modelin gösterdiği her performans düşüşünün yalnızca modelin kendisinden kaynaklandığı güvence altına alındı.

On dört görsel-dil modeli bu sistem üzerinde değerlendirildi. Modellere kristal yapıların geometrik bilgisi metin olarak sağlandığında performanslarının arttığı gözlemlendi; ancak bu iyileşme modeller arasındaki farkı tam olarak kapatmadı. On üç modelde açığın yarısından azı kapanabildi.

En çarpıcı bulgu ise dil bileşeni hiç içermeyen, yalnızca görsel işleme için eğitilmiş bir modelden geldi. Bu model, aynı görüntüler üzerinde 0,8952 doğruluk oranına ulaşarak tüm görsel-dil modellerinin üzerine çıktı. Bu sonuç, büyük dil modellerine entegre edilen görsel sistemlerin algı aşamasında köklü sorunlar yaşadığına dair somut bir kanıt sunuyor.

Çalışma aynı zamanda modellerin zaman zaman görüntüden hiç elde edemeyecekleri bilgileri üretiyormuş gibi davrandığını, yani bir tür 'uydurma' davranışı sergilediğini de ortaya koyuyor. Render tavanı yöntemi, bu tür hataların sistematik biçimde tespitinde güçlü bir araç olarak öne çıkıyor.