Yapay zeka araştırmacıları, büyük dil modellerinin mantık yürütme kapasitelerini anlamak için yenilikçi bir deneysel yaklaşım geliştirdi. Çalışmada, modellerin gerçek mantık yürütme yeteneklerini test etmek için hücresel otomata adı verilen matematiksel bir sistem kullanıldı.
Araştırma kapsamında, AI modelleri kısa bir durum dizisi verildiğinde gizli yerel kuralı çıkarsamak ve ardından bu kuralı zincirleme şekilde uygulayarak gelecekteki birden fazla adımı tahmin etmek zorunda bırakıldı. Bu yaklaşım, modellerin ezberleme yerine gerçek mantık yürütme kullanmalarını sağlamak için özel olarak tasarlandı.
Sonuçlar oldukça çarpıcı oldu. Büyük dil modellerinin bu görevi güvenilir şekilde çözemediği ortaya çıktı. Sıfırdan eğitilen sinir ağları kural çıkarsama konusunda başarılı olsa da, gerekli ara mantık adımlarının sayısı arttıkça performansları dramatik şekilde düştü.
Araştırmacılar, model derinliğinin artırılmasının kritik öneme sahip olduğunu keşfetti. Tekrarlama, hafıza sistemleri veya test zamanında ek hesaplama gücü kullanılması sonuçları iyileştirse de, bu iyileştirmeler sınırlı kaldı. Bu bulgular, mevcut AI sistemlerinin gerçek mantık yürütmede hâlâ önemli sınırlarla karşı karşıya olduğunu gösteriyor.