Teknoloji & Yapay Zeka
Yapay Zeka Modellerinin Beklenmedik Davranışlarının Matematiksel Kökeni Keşfedildi
Büyük dil modellerinin (LLM) öngörülemeyen davranışlar sergilemesinin ardındaki temel sebep ortaya çıkarıldı. ArXiv'de yayınlanan yeni araştırma, bu modellerin kaotik davranışlarının sayısal hassasiyet sınırlarından kaynaklandığını gösteriyor. Bilim insanları, kayan nokta sayılarındaki küçük yuvarlama hatalarının transformer katmanları boyunca nasıl yayıldığını ve büyüdüğünü izledi. Araştırmacılar, erken katmanlarda 'çığ etkisi' adını verdikleri kaotik bir fenomen keşfetti - küçük değişiklikler ya hızla büyüyor ya da tamamen sönüyor. Bu bulgular, yapay zeka sistemlerinin güvenilirliği için kritik önem taşıyor. Özellikle LLM'lerin otonom süreçlerde kullanımı arttıkça, bu öngörülemezlik ciddi bir güvenilirlik sorunu haline geliyor. Çalışma, farklı ölçeklerdeki modellerin üç farklı davranış rejimi sergilediğini ortaya koyuyor.