Büyük dil modellerinin kod üretme yetenekleri hızla gelişirken, bu sistemlerin iç işleyişini anlamak kritik önem taşıyor. Yeni bir araştırma, Mixture-of-Experts (MoE) mimarisine sahip yapay zeka modellerinin kod üretimi sırasındaki davranışlarını mercek altına aldı.
Araştırmacılar, 256 uzman modül içeren ve en iyi 8'ini seçen Qwen3.5-35B modelini kullanarak kapsamlı bir analiz gerçekleştirdiler. Aynı kod başlangıcından hareketle 851 farklı kod örneği ürettiler ve bu süreçte hangi uzman modüllerin devreye girdiğini incelediler.
Çalışmanın en dikkat çekici bulgusu, modelin aynı kod parçalarını ürettiği durumlarda uzman seçimlerinin %64.9 oranında benzerlik göstermesidir - bu oran rastgele seçimden 40 kat daha yüksektir. Daha da ilginç olan, farklı kodlar üretildiğinde bile bu benzerliğin %17.5 seviyesinde kalması ve rastgeleden 11 kat fazla olmasıdır.
Katman bazlı analiz, modelin farklı seviyelerinde uzman kullanım desenlerinin değişkenlik gösterdiğini ortaya koydu. Bu bulgular, gelecekte kod üretimi yapan AI sistemlerinin daha verimli çalışması için önemli ipuçları sunuyor.
Sonuçlar, büyük dil modellerinin kod üretiminde tahmin edilenden daha düzenli davrandığını ve bu özelliğin hesaplama kaynaklarının daha akıllıca kullanılması için fırsat yarattığını gösteriyor.