Yapay zeka destekli robotlar standart testlerde etkileyici sonuçlar alsa da, gerçek dünyada akıl yürütme konusunda ciddi sınırları olduğu ortaya çıktı. Araştırmacılar, mevcut değerlendirme sistemlerinin yanıltıcı olabileceğini düşünerek yeni bir test yöntemi geliştirdi.
BeTTER (Gerçek Somutlaşmış Akıl Yürütmeyi Test Etme Kıyaslaması) adlı bu sistem, robotların yüksek seviye düşünce yeteneklerini düşük seviye hareket kabiliyetlerinden ayırarak değerlendiriyor. Test, mekansal düzen değişiklikleri ve zamansal genelleme gibi hedefli müdahaleler uygulayarak robotların gerçek anlayış düzeyini ölçüyor.
Sonuçlar oldukça çarpıcı: En gelişmiş görme-dil-eylem modelleri bile dinamik senaryolarda büyük başarısızlıklar yaşıyor. Robotlar, gerçek akıl yürütme yerine kelime-hareket kısayolları kullanıyor, davranışsal atalet gösteriyor ve anlam özelliklerinde çöküş yaşıyor.
Bu bulgular, robot yapay zekasının mevcut değerlendirme yöntemlerinin gerçek yetenekleri yansıtmadığını gösteriyor. Yüksek test skorları, gerçek bilişsel kapasiteyi değil, sistemin kısayolları kullanma becerisini yansıtıyor olabilir.