Stanford ve diğer kurumlardan araştırmacılar, büyük dil modellerinin matematik problemlerini nasıl çözdüklerini anlamak için kapsamlı bir çalışma yürüttü. Araştırma, bu modellerin iç işleyişlerinde şaşırtıcı detaylar ortaya çıkardı.
Bilim insanları, modellerin her katmanında nasıl tahminler yaptığını izlemek için 'erken kod çözme' tekniğini kullandı. Bu yöntemle, aritmetik işlemlerin adım adım nasıl gerçekleştiğini gözlemleyebildiler. Sonuçlar, modellerin matematik görevlerini ilk katmanlarda tanımasına rağmen, doğru cevabı ancak en son katmanlarda üretebildiğini gösterdi.
Araştırmanın en çarpıcı bulgusu, matematik konusunda başarılı modellerde net bir iş bölümünün varlığıydı. Dikkat mekanizmaları girdi bilgisini katmanlar arasında taşırken, MLP (Çok Katmanlı Algılayıcı) modülleri bu bilgileri toplayıp işliyor. Bu organizasyon, matematik becerisi zayıf olan modellerde görülmüyor.
Çalışma ayrıca, daha karmaşık aritmetik görevlerin işlevsel olarak farklı şekilde işlendiğini ve bu durumun gerçek muhakeme yeteneklerinin varlığını işaret ettiğini ortaya koydu. Bu keşifler, yapay zekanın problem çözme becerilerini geliştirmek için yeni yollar açabilir.