Büyük dil modelleri ve görsel-dil modellerinin sayma yeteneği, bu sistemlerin en temel becerilerinden biri olarak kabul ediliyor. Yeni bir araştırma, bu modellerin sayısal bilgiyi nasıl işlediğini ve sayma görevlerini nasıl gerçekleştirdiğini derinlemesine inceledi.
Araştırmacılar, CountScope adlı özelleştirilmiş bir analiz aracı geliştirerek, modellerin sayısal içeriği nasıl yorumladığını mekanik düzeyde açıkladı. Kontrollü deneyler sonucunda, modellerin her bir token veya görsel özelliğin gizli konumsal sayı bilgisini kodladığı ve bu bilgiyi farklı bağlamlara aktarabildiği keşfedildi.
Katman bazlı analizler, sayısal temsillerin aşamalı olarak ortaya çıktığını gösterdi. Alt katmanlar daha küçük sayıları kodlarken, üst katmanlar büyük sayıları temsil ediyor. En dikkat çekici bulgu ise, modellerin her öğeyi işlerken güncelleyen ve ağırlıklı olarak son token'da saklanan bir iç sayaç mekanizmasına sahip olduğunun ortaya çıkması.
Bu keşif, yapay zeka modellerinin matematiksel düşünce süreçlerini anlamamız için kritik bir adım oluşturuyor. Sayma gibi temel bir becerinin altında yatan mekanizmaları çözmek, gelecekte daha güçlü ve güvenilir yapay zeka sistemleri geliştirmemize yardımcı olabilir.