Büyük dil modellerinin (LLM) beklenmedik davranışlar sergilemesinin matematiksel kökenini araştıran yeni bir çalışma, yapay zeka güvenilirliği alanında önemli bulgular ortaya koydu. ArXiv'de yayınlanan araştırma, bu modellerin öngörülemezliğinin temelinde sayısal hassasiyet sınırlarının yattığını gösteriyor.
Araştırmacılar, kayan nokta sayı sistemlerindeki sınırlı hassasiyetin nasıl sorun yarattığını detaylı şekilde inceledi. Transformer mimarisinin katmanları boyunca yuvarlama hatalarının nasıl yayıldığını, büyüdüğünü veya kaybolduğunu izleyerek, modellerin davranışlarındaki karmaşıklığın kaynağını belirledi.
Çalışmanın en çarpıcı bulgusu, erken katmanlarda ortaya çıkan 'çığ etkisi' olarak adlandırılan fenomen. Bu kaotik süreçte, çok küçük değişiklikler iki farklı sonuç doğuruyor: ya hızla büyüyerek tüm sistemi etkiliyor ya da tamamen sönüyor. Bu durum, modellerin davranışlarını tahmin etmeyi zorlaştırıyor.
Bulgular özellikle yapay zeka sistemlerinin otonom süreçlerde kullanımı arttıkça kritik önem kazanıyor. LLM'lerin karar verme süreçlerinde rol aldığı uygulamalarda bu öngörülemezlik, güvenilirlik açısından ciddi riskler barındırıyor.
Araştırma ayrıca, farklı ölçeklerdeki modellerin evrensel bir davranış sergilediğini ve üç farklı kararlılık rejimi gösterdiğini ortaya koyuyor. Bu keşifler, gelecekteki AI sistemlerinin daha güvenilir hale getirilmesi için önemli ipuçları sunuyor.