Büyük dil modellerinin matematik ve bilimsel akıl yürütmedeki en büyük zayıflıklarından biri, sayıları nasıl işlediğiyle ilgili. Standart alt-kelime tokenizasyon yöntemleri sayıları tutarsız parçalara böldüğü için modeller pozisyonel ve ondalık yapıyı kaybediyor, bu da aritmetik ve bilimsel akıl yürütmede hatalara yol açıyor.
Araştırmacılar bu sorunu çözmek için Triadic Suffix Tokenization (TST) adında yeni bir deterministik sistem geliştirdi. Bu yöntem, sayıların rakamlarını üçlü gruplara bölerek her gruba açık büyüklük işaretleyicileri ekliyor. Sistem, tam sayı kısmı için (binler, milyonlar, milyarlar gibi) sabit, bire-bir eşleşen son ekler tanımlarken, kesirli derinlik için (ondalıklar, bindalıklar, milyondalıklar) paralel işaretleyici sistemi kullanıyor.
Bu yaklaşımın en önemli avantajı, pozisyonel çıkarıma dayanan mevcut yöntemlerin aksine tutarlı gradyan sinyali sağlaması. Bu özellik, modelin kararlı bir şekilde öğrenmesini garanti ediyor ve sayısal işlemlerdeki doğruluğu artırıyor.
Araştırmacılar iki farklı uygulama varyantı öneriyor. İlki, mevcut kelime dağarcığına en fazla 10.000 sabit token ekleyen sözlük tabanlı yaklaşım. İkincisi ise daha esnek alternatif sunuyor. Bu yenilikçi sistem, yapay zeka modellerinin matematik ve bilim alanlarındaki performansını önemli ölçüde iyileştirme potansiyeli taşıyor.