Teknoloji & Yapay Zeka
Yapay Zeka Modellerinde Gizli Hesaplama Hatası: FP16 Keşfi
Araştırmacılar, büyük dil modellerinde yaygın kullanılan KV önbellekleme optimizasyonunun, bugüne kadar varsayıldığı gibi sayısal olarak eşdeğer olmadığını keşfetti. FP16 hassasiyetinde, önbellek kullanan ve kullanmayan hesaplama yolları farklı sonuçlar üretiyor. LLaMA-2-7B, Mistral-7B-v0.3 ve Gemma-2-2B modellerinde yapılan testlerde, tüm örnekleme stratejilerinde %100 token farklılığı gözlemlendi. Bu durum, rastgele örneklemenin değil, sistematik bir hesaplama farkının olduğunu gösteriyor. İlginç şekilde, önbellek kullanan versiyonlar 9 koşuldan 8'inde daha yüksek doğruluk gösterdi. Problem FP16 formatının değişmeli olmayan özelliğinden kaynaklanıyor ve FP32 kullanıldığında sekiz kat azalıyor.