Dil modelleri metni anlamlandırırken ilk adım olarak kelimeleri parçalara böler, ancak bu işlem kelimelerin sesli yapısını hiç dikkate almaz. Araştırmacılar, bu durumun modellerin fonolojik bilgiyi - yani kelimelerin ses yapısını - öğrenmesini nasıl engellediğini ortaya koydu. Alt-kelime tabanlı tokenizasyonun hem yerel (kafiye gibi) hem de genel (hece yapısı gibi) ses özelliklerinin kodlanmasını sistematik olarak zayıflattığı bulundu. Çalışmada, modelin tokenizasyonu ile kelimelerin doğal hece sınırları arasındaki uyumsuzluğu ölçen STAD metriği geliştirildi. Uyumsuzluk arttıkça fonolojik temsil kalitesinin düştüğü gözlemlendi. Bu sorunu çözmek için araştırmacılar, Uluslararası Fonetik Alfabe (IPA) tabanlı hafif bir ince ayar yöntemi önerdi. Bu yaklaşım, dil modellerine fonolojik farkındalık kazandırarak tutarlı iyileşmeler sağladı.

arXiv (CS + AI) 0